acho uma boa oportunidade para já remover os scripts antigos e referências a eles :

• corona_??_spider.py
• collect.sh (existe referência no README.md)
• Makefile target docker-collect

eu não sei avaliar qual impacto disto, se estão sendo usados, e nem se a estrutura que está em ./web já está usável de forma automatizada, parece-me que ainda depende de executar o script ./web.sh que também não tem instruções neste PR

Sim, depois que mandei o PR pensei em incluir mesmo as instruções para rodar o web.sh. Por outro lado, já começa a ficar muito texto para apenas uma seção do README. O que acha de separar as instruções para criar scrapers em um documento específico?

acho uma boa oportunidade para já remover os scripts antigos e referências a eles :

* `corona_??_spider.py`

* `collect.sh` (existe referência no `README.md`)

* `Makefile` target `docker-collect`

Sim. Essas coisas que não são documentação podem ser feitas em outro PR. A parte do collect.sh poderia já mudar, mas não sei o que escrever, pois fiquei sabendo do modo de funcionamento dos novos scraper de uma forma quase que uma engenharia reversa. Vou deixar isso para outra pessoa fazer, alguém que conheça melhor o seu funcionamento que eu. 🙂

Sim, depois que mandei o PR pensei em incluir mesmo as instruções para rodar o web.sh. Por outro lado, já começa a ficar muito texto para apenas uma seção do README. O que acha de separar as instruções para criar scrapers em um documento específico?

acho válido sim, o README.md tá ficando poluído mesmo

eu tinha feito um PR que foi rejeitado, colocando tudo que é *.md numa pasta ./docs

o motivo da rejeição foi que alguns documentos já eram linkados diretamente

talvez os novos documentos já pudessem ser criados dentro de ./docs

Massa esse PR! Eu acabei escrevendo um spider no modelo antigo porque não sabia que existia um novo.

Acrescentei as instruções para subir o serviço de scaping com o ./web.sh.

A parte do collect.sh eu resolvi não mexer. Talvez o pessoal ainda queira automatizar e mudar esse arquivo para coletar pelos scrapers novos.

@turicas, foi feito o rebase para tornar novamente possível o merge.

Lembrando o PR, @turicas.

@turicas, podemos fazer rebase/merge?

ping @turicas

Estou desistindo deste PR.