turing-webscrapingclima

Projeto para entrada na área de ciência de dados do Grupo Turing. Consiste na raspagem e no armazenamento de dados relacionados ao clima de diferentes regiões ao longo do tempo.

Como rodar o projeto

1. Crie uma virtualenv: virtualenv env
2. Instale as dependências: pip install -r requirements.txt
3. Rode o notebook e seja feliz

Como raspar dados de locais diferentes?

Nós raspamos e armazenamos previsões do tempo do site ClimaTempo. O projeto foi construído de maneira a ser genérico e funcionar com qualquer cidade que possua as informações no site. Para adicionar um local à raspagem do projeto, faça o seguinte:

1. Vá até o site ClimaTempo e pesquise pela cidade que você quer adicionar
2. Clique no nome da cidade e copie a URL
3. Na pasta do projeto, abra o arquivo locais.csv localizado na pasta data
4. Acrescente uma nova linha no arquivo, onde a primeira coluna é o nome da cidade e a segunda coluna é o link que você copiou no passo 2.
5. Rode todas as células do arquivo .ipynb em sequência.

Obs: Só adicionar o local ao arquivo CSV não é o suficiente para fazer o notebook passar a buscar informações dele! O projeto na verdade pega as informações dos locais armazenados na tabela local do banco de dados. No notebook, há uma célula responsável por carregar no banco o que estiver no arquivo. Essa célula precisa ser executada para que seu local passe a ser raspado!