cebrap.lab online - Raspagem de dados com R

Introdução ao curso

Beatriz Milz

setembro de 2025

Ministrante

Informações gerais

• Data/horário: 29/09 a 03/10;
  • Segunda, Terça e Quinta: aula ao vivo, online, das 19h00 às 22h00.
  • Quarta e Sexta: haverão tarefas para casa, para praticar os conceitos.

Sobre o material

• Parte do material adaptado do curso de Web Scraping, da Curso-R, ministrado por Julio Trecenti.

Pré-requisitos

• R e RStudio instalados no seu computador:

• Links para instalação:

  • R
  • RStudio

Pré-requisitos

• Instalar pacotes:

install.packages(c(
  # Pacotes de limpeza, manipulação, iteração
  "tidyverse",  "fs", "janitor", "cli", 
  
  # Pacotes usados para acessar a web e extrair informações do HTML
  "httr", "rvest", "xml2",
  
  # Pacotes necessários para os exemplos de HTML dinâmico
   "RSelenium"
))

Pré-requisitos

• Conhecimento básico de R e tidyverse.

• Na página do curso, indiquei alguns materiais que podem ajudar a relembrar ou aprender esses conceitos.

• Esse curso não é sobre introdução ao R, mas sim de raspagem de dados com R.

Plano das aulas

O curso abordará conceitos, como:

• O que é raspagem de dados?;

• Política de uso;

• Tipos de problemas de raspagem

• APIs disponíveis e “escondidas”;

• Raspagem de HTML (estático e dinâmico);

O que é raspagem de dados?

• Envolve acessar, baixar e organizar dados provenientes da web.

• Em inglês chamamos de “web scraping”.

• Muito do que vemos na internet pode se transformar dados para analisar!

Política do web scraping

Quando usar

• Quando precisamos coletar um volume grande de dados da internet

Quando não usar

• Existem formas mais simples de obter os dados (API, base de dados, etc.)

• Os termos de uso do site não nos permitem fazer isso.

• As informações do site não são públicas.

Cuidados

• Risco de derrubar ou comprometer a estabilidade do site.

• Vale à pena conversar com a entidade detentora dos dados.

Fluxo do Web Scraping

Tipos de problemas de raspagem de dados

• APIs disponíveis: O site fornece uma forma estruturada e documentada para acessar as páginas (com ou sem necessidade de fazer login).

• APIs escondidas: O site não fornece uma forma estruturada e documentada para acessar as páginas, mas internamente é alimentado por uma API não documentada, que podemos descobrir e usar.

Tipos de problemas de raspagem de dados

• HTML estático: O site não fornece uma forma estruturada de acessar as páginas, e as páginas são geradas de forma estática (carregam sem necessidade de usar um navegador).

• HTML dinâmico: O site não fornece uma forma estruturada de acessar as páginas, e as páginas são geradas de forma dinâmica.

• …

Tipos de problemas de raspagem de dados

Veremos exemplos de raspagem de dados em cada um desses tipos de problemas.

Vamos começar?