Skip to content

Web Scraping dinâmico de páginas do Climatempo para verificar a consistências das previsões.

Notifications You must be signed in to change notification settings

davifelix5/ttalks-dynamic-webscraping

Repository files navigation

turing-webscrapingclima

Projeto para entrada na área de ciência de dados do Grupo Turing. Consiste na raspagem e no armazenamento de dados relacionados ao clima de diferentes regiões ao longo do tempo.

Como rodar o projeto

  1. Crie uma virtualenv: virtualenv env
  2. Instale as dependências: pip install -r requirements.txt
  3. Rode o notebook e seja feliz

Como raspar dados de locais diferentes?

Nós raspamos e armazenamos previsões do tempo do site ClimaTempo. O projeto foi construído de maneira a ser genérico e funcionar com qualquer cidade que possua as informações no site. Para adicionar um local à raspagem do projeto, faça o seguinte:

  1. Vá até o site ClimaTempo e pesquise pela cidade que você quer adicionar
  2. Clique no nome da cidade e copie a URL
  3. Na pasta do projeto, abra o arquivo locais.csv localizado na pasta data
  4. Acrescente uma nova linha no arquivo, onde a primeira coluna é o nome da cidade e a segunda coluna é o link que você copiou no passo 2.
  5. Rode todas as células do arquivo .ipynb em sequência.

Obs: Só adicionar o local ao arquivo CSV não é o suficiente para fazer o notebook passar a buscar informações dele! O projeto na verdade pega as informações dos locais armazenados na tabela local do banco de dados. No notebook, há uma célula responsável por carregar no banco o que estiver no arquivo. Essa célula precisa ser executada para que seu local passe a ser raspado!

About

Web Scraping dinâmico de páginas do Climatempo para verificar a consistências das previsões.

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published