Create METODOLOGIA.md

METODOLOGIA.md

@@ -0,0 +1,229 @@
+
+# Metodologia de coleta dos dados
+
+
+
+## Informações Gerais
+
+-   A coleta de dados é feita das Secretarias Estaduais, que divulgam o total de casos e mortes no estado e para cada município (por favor, não sugira que façamos por município - já é muito trabalho, o Brasil tem 5500+ municípios).
+
+-   Cada estado terá duas pessoas voluntárias como responsáveis, que estarão no grupo de sua região geográfica - esses voluntários terão acesso total às planilhas dessa região;
+
+-   Todos podem colaborar com todos os estados;
+
+-   O ideal é que os dados sejam publicados (planilha "final" - veja abaixo) apenas depois de serem checados por outra pessoa;
+
+-   Inscreva-se para notificações [nas issues no GitHub](https://github.com/turicas/covid19-br/issues) dos estados que você colabora, pois alguém pode criar um código que automatize o processo.
+
+-   Se for mais fácil fazer algum tipo de tarefa por videoconferência com as pessoas envolvidas no seu estado, vocês podem acessar o link da plataforma Jitsi para seu estado - está disponível na [planilha de Links por UF](https://drive.google.com/open?id=1S77CvorwQripFZjlWTOZeBhK42rh3u57aRL1XZGhSdI);
+
+-   Antes de começar a contribuir, veja [o vídeo que a Flávia Menani fez sobre o processo de checagem e atualização dos dados](https://drive.google.com/open?id=1EqmmPaUtN-OVNqt5hukRzO_afBAjpPQc).
+
+
+## Boletins Epidemiológicos
+
+-   A frequência e os horários de publicação dos boletins é diferente por estado. Cada responsável tem que ficar atento para essas horas e coletar os dados o mais rápido possível;
+
+-   Na planilha Links por UF, a coluna contato_assessoria deve ser preenchida somente com OK, logo após o contato com AI solicitando que eles publiquem, de forma regular, os dados em formato aberto.
+
+-   Ainda na planilha Links por UF, tem a coluna mudou_formato, que deve ser preenchida após observarmos se, após o contato com a Assessoria de Imprensa, eles mudaram o formato dos dados para aberto ou não. Portanto, este campo deve ser preenchido com sim ou não
+
+-   Caso uma Secretaria não tenha emitido boletim em um determinado dia, esse dia não deve entrar em nossas planilhas;
+
+-   Usaremos apenas Secretarias de Saúde Estaduais como fontes oficiais. NÃO use outros sites como referência. Verifique o ".UF.gov.br" no endereço do site; No caso de Goiás o Lucas pegou de notícias do G1 os dados antes do dia 18. Ok fazer isso? Se não existir comunicação oficial, então sim. mas o ideal é evitarmos notícias (e quando for o caso, usar apenas de veículos que sejam confiáveis)
+
+-   As Secretarias têm divulgado os dados tanto por meio de boletins epidemiológicos, quanto por meio de notícias/press releases (no próprio site). Nem sempre o título da publicação deixa explícito que no conteúdo dela existam informações sobre os casos, ou seja, não busque apenas por "boletim" ou "informe". Exemplo: no Alagoas não existe boletim para dizer o dia do primeiro caso, mas [nessa notícia](http://www.saude.al.gov.br/2020/03/11/alagoas-tem-nove-casos-em-investigacao-para-covid-19/) temos como definir que foi no dia 8 de março;
+
+-   Algumas Secretarias alternam entre "covid19" e "coronavírus" nos títulos de notícias/boletins - cuidado ao buscar, pois mais de um termo pode ser usado pela mesma Secretaria;
+
+-   Caso o processo de coleta dos dados seja muito ruim, como dados em imagens, em PDFs ou faltando (idealmente deveriam disponibilizar em uma planilha), envie uma mensagem para a secretaria com [essas recomendações](https://github.com/turicas/covid19-br/blob/master/recomendacoes.md#para-secretarias-de-sa%C3%BAde) (costuma ser mais eficiente entrar em contato com a assessoria de imprensa do que criar um pedido de acesso à informação - quando for possível telefonar, a resposta vem mais rápido que por email).
+
+
+## Comunicação e Coordenação
+
+Toda comunicação deve ser feita através do [https://chat.brasil.io](https://chat.brasil.io), onde existe um canal para cada região do Brasil.
+
+
+
+1.  Acesse o link [https://chat.brasil.io](https://chat.brasil.io);
+
+2.  Faça seu cadastro;
+
+3.  Entre nos canais #covid19, #covid19-anuncios e #covid19-<regiao>;
+
+4.  Atualize a planilha de voluntário informando seu apelido na coluna rocket.chat;
+
+
+
+
+Todos os colaboradores devem participar do canal #covid19 e #covid19-anuncios.
+
+
+
+O #covid-19 é aberto para discussões gerais, e o #covid19-anuncios será apenas para mensagens importantes dos administradores do projeto para o time de voluntários.
+
+
+
+Quem participa da coleta e/ou revisão de estados de regiões distintas, deve participar de quantos canais forem necessários.
+
+
+
+Toda conversa referente a coleta de informações e revisão dos dados deve ficar restrita aos canais correspondentes.
+
+
+Seguem os canais regionais :
+
+
+
+#covid19-nordeste
+
+#covid19-norte
+
+#covid19-sudeste
+
+#covid19-sul
+
+#covid19-centro-oeste
+
+## Planilhas
+
+Dicas para preenchimento e checagem:
+
+1. *NUNCA* crie linhas novas nas planilhas ou altere a ordem das linhas. Se você não encontrar alguma cidade para preencher, limpe os filtros, ela está lá. Qualquer dúvida, leve para o canal.
+
+2. os filtros são traiçoeiros, apesar de úteis: ao acessar a planilha, você deve desabilitá-los e habilitá-los novamente (para fazer sua filtragem), já que não sabe o que foi filtrado/escondido por quem mexeu antes.
+
+3. os filtros são traiçoeiros, apesar de úteis 2: remova-os antes de fazer a transferência dos dados para a planilha final (copiar e colar).
+
+4. para transferir os dados do rascunho para a aba final, *SEMPRE* copie e cole as novas colunas inteiras. *NUNCA* copie e cole linhas ou células específicas.
+
+5. não esqueça de preencher os zeros nas colunas em que a sua par (casos < > mortes) tenha número preenchido, *ATENÇÃO* especialmente nas cidades que passam a entrar nas estatísticas.
+
+6. se por algum motivo você precisou atualizar dias anteriores, avise quem vai checar para que a atualização seja completa.
+
+7. cuidado extra nos estados que soltam mais de um boletim por dia: muitas vezes não será o caso de criar uma nova coluna para [hoje], mas apenas de atualizar os dados já preenchidos mais cedo
+
+8. *ATENÇÃO* com os headers das colunas (especialmente das novas): confiram se as datas e o formato padrão do estão corretos.
+
+9. não esqueça de preencher as abas dos links dos boletins (rascunho e final) - elas devem ficar sempre iguais
+
+10. nas abas dos boletins, *NUNCA* escreva as datas: para preencher um dia novo, arraste a célula da data da véspera para a linha de baixo. se for necessário repetir o mesmo dia, copie e cole a célula com a data.
+
+11. O programa sempre pega o dado mais atual para cada município. Se o município ou Importados/Indefinidos passou a não ser mais reportado, os dias seguintes devem ser preenchidos com 0; não deixar em branco.
+
+12. *NUNCA* use fórmulas nas planilhas (isso irá fazer com que o script não consiga extrair os dados de seu estado). Vamos sempre digitar os dados que estamos coletando.
+
+13. *SEMPRE* confira se o somatório de casos/mortes de todos os municípios é igual ao total por estado. Caso não sejam iguais, pode ser que tenha acontecido algum erro na escrita dos dados na planilha (mas também pode significar que a secretaria reportou o número errado - nesse caso, coloque o valor reportado pela secretaria).
+
+14. Acompanhem os reports do robo no canal #covid19-anuncios e avalie as inconsistências apontadas ali no seu estado. Caso não tenha o que corrigir, reporte o motivo da inconsistência no canal #covid19 com o link do report do robo.
+
+15. SOMENTE COLOQUE NA PLANILHA FINAL SE VOCÊ TIVER CERTEZA DE QUE A INFORMAÇÃO ESTÁ CORRETA. NÃO FAÇA TESTES NESSA ABA
+
+16. Assista ao vídeo: [tutorial_preenchimento_e_checagem.mov](https://drive.google.com/open?id=1EqmmPaUtN-OVNqt5hukRzO_afBAjpPQc)
+
+17. SEMPRE que forem transferir os dados da rascunho para a final copiem e colem as duas colunas (confirmados e mortes), nunca uma só. A atualização pode ter acontecido em uma, mas pode interferir na outra. Ex.: Primeiro caso em uma cidade - atualiza 1 em confirmados, mas também 0 em mortes.
+
+
+
+
+-   Separamos os dados em 2 tipos de planilha:
+
+
+-   Boletins: data e link para os boletins emitidos oficialmente pelas Secretarias de Saúde Estaduais.
+
+-   Casos: número de casos confirmados e mortes por município por dia (acumulado).
+
+
+-   Nos interessam apenas o número de casos confirmados e número de mortes por município por dia (acumulados, por padrão, mas pode acontecer de o valor diminuir quando deixa de ser contabilizado para uma cidade ou como importado/indefinido, por exemplo);
+
+-   Não vamos usar notificados/suspeitos, muito menos nomes dos pacientes;
+
+-   Se um município nunca teve dados de confirmados e de mortes, não é necessário preencher; Caso já tenha tido e passe a não ser mais divulgado, preencher com 0.
+
+-   Caso um dos campos seja preenchido para um município em uma determinada data, preencha ambos (mesmo que mortes seja 0, preencha com 0).
+
+
+-   Cada estado tem uma planilha no Google Spreadsheets, contendo as seguintes abas (sheets):
+
+
+-   boletins_rascunho: onde devem ser preenchidos e checados os dados; somente depois que os dados estiverem completos aqui é que copiamos/colamos na planilha final;
+
+-   boletins_final: planilha já finalizada, pronta para ir para o [Brasil.IO](https://brasil.io/). NÃO digite os dados aqui - apenas cole os da planilha boletins_rascunho quando estiverem prontos (você pode copiar apenas as linhas correspondentes aos novos dias que está adicionando);
+
+-   casos_rascunho: os casos são sempre os acumulados até o dia. Dias que a secretaria só divulgou números totais: preenche somente o TOTAL NO ESTADO para aquele dia. Pode acrescentar as colunas no final, mas siga o mesmo padrão de nomes (dia e mês sempre com dois digitos, exemplo: mortes_11_03, mortes_04_03 etc.)
+
+-   casos_final:planilha já finalizada, pronta para ir para o [Brasil.IO](https://brasil.io/). NÃO digite os dados aqui - apenas cole os da planilha casos_rascunho quando estiverem prontos (você pode copiar apenas as colunas correspondentes aos novos dias que está adicionando); SEMPRE copie e cole as colunas inteiras, e não linhas ou células específicas.
+
+-   controle: relatório de atualização dos dados (data, quem, atividade (coletou, checou) e qual planilha)
+
+
+-   NÃO use fórmulas (nem SUM) para o total de casos. Somente números inteiros.
+
+-   Use o total que o estado colocar como total (mesmo que não bata com a soma
+
+
+dos municípios). Se o estado não liberar o total, some o total por município;
+
+-   Boletins: o padrão de data é YYYY-MM-DD (ano-mês-dia, ano sempre com 4 dígitos, mês e dia com 2, completando com zero à esquerda);
+
+-   Não altere os nomes das colunas, dos municípios ou a estrutura da planilha - o programa que consolida os dados depende dessa estrutura (inclusive, diferenças entre maiúsculas e minúsculas podem afetá-lo);
+
+-   Caso não exista boletim para uma data, não precisam existir as colunas na aba "casos" para essa data;
+
+-   Digite apenas números inteiros nas colunas de valores (nada de asteriscos, pontos, vírgulas, parênteses etc.);
+
+-   Não escreva em células fora das colunas de confirmados/mortes;
+
+-   O processo de atualização dos dados no Brasil.IO baixa sempre os dados de todos os estados. Por isso, caso exista algum problema com um determinado estado (exemplo: planilha fora de padrão) a atualização não acontecerá. Por isso é muito importante que os dados que estejam nas abas "final" estejam realmente prontos para serem publicados.
+
+-   Para cada data com dados disponíveis, precisamos preencher além dos dados por município (quanto existirem), a linha "total no estado" (não some os dados municipais!). Cuidado: muitas vezes a soma dos casos reportados por município não é igual ao total
+
+
+por estado (nesse caso, preencha a linha do estado com o valor divulgado oficialmente). [Exemplo](http://www.saude.sc.gov.br/coronavirus/Boletim%20Novo%20%20Coronav%C3%ADrus%20%E2%80%93%20COVID-19.html) (total: 43 versus soma: 36 - nesse caso, coloque 43);
+
+-   As abas de boletins e casos não podem ser alteradas (estrutura e tal), mas fiquem à vontade pra criar abas nas planilhas de vocês que possam documentar processos e/ou facilitar o trabalho (só lembra que se for algo relevante para outros estados, coloca na metodologia e/ou no grupo);
+
+-   Sugestão pra preencher/atualizar as planilhas: pegue o dia de confirmados mais recente, clique no filtro e desmarque o (Blanks). Assim só aparecerão os municípios que já tiveram casos confirmados. Ou pode também ir no filtro de município e ir marcando os que já tiveram casos (assim se algum entrar é só marcá-lo).
+
+-   Deletar colunas que não tem dados, de dias anteriores e verificar se não tem colunas de dias repetidos;
+
+-   Quando a Secretaria Estadual de Saúde divulgar um número através do site, mas enviar um boletim com números de casos diferentes para jornalistas, use o dado público;
+
+-   Algumas Secretarias separam os casos importados de outros países ou estados, sem contabilizá-los no município onde o paciente recebeu o diagnóstico. Caso aconteça isso em sua Secretaria, contabilize no município "Importados" (Temos que verificar o caso de MG, que lista outros municípios. Pode ser que sejam importados.). No boletim de hoje da BA mencionam pela primeira vez um caso importado, mas contabilizam como Salvador. Tiro ele de Salvador e adiciono no importado, neste caso? [http://www.saude.ba.gov.br/2020/03/22/bahia-confirma-49-casos-de-covid-19/](http://www.saude.ba.gov.br/2020/03/22/bahia-confirma-49-casos-de-covid-19/) R- Põe como Salvador. só vamos usar importado quando não soubermos em que municipio a pessoa está
+
+-   O que vamos fazer para os dias em que não há boletim divulgado pela Secretaria Estadual de Saúde?
+
+
+
+
+
+## Checagem
+
+
+
+O processo de checagem deve ser feito observando a planilha [Links por UF](https://docs.google.com/spreadsheets/d/1S77CvorwQripFZjlWTOZeBhK42rh3u57aRL1XZGhSdI), nela, haverá uma coluna status, que identifica em que situação está o processo de verificação dos dados daquele estado.
+
+
+
+Os status são :
+
+
+
+-   AGUARDANDO BOLETIM
+
+-   RASCUNHO
+
+-   FINAL
+
+
+
+
+Deve ser definido para o status, AGUARDANDO BOLETIM, sempre no início do dia seguinte, quando todas as atualizações para o dia anterior já tiverem sido feitas e publicadas.
+
+
+
+A primeiro voluntário que coletar os dados, e preencher as planilhas de Boletins e Rascunho de um determinado Estado, deve modificar a coluna status, do Estado correspondente, para RASCUNHO, isso sinaliza para outros voluntários que já é possível fazer a checagem dos dados.
+
+
+
+O voluntário que fizer a checagem, e mandar os dados para as planilha de sufixo (FINAL), deve atualizar o status daquele Estado para FINAL, sinalizando que os dados podem ser processados e publicados na plataforma do Brasil.IO.