A metodologia do Radar Aos Fatos
O Radar Aos Fatos é uma ferramenta de monitoramento automático e em tempo real do ecossistema de desinformação brasileiro. Seu objetivo é coletar conteúdos de baixa qualidade e potencialmente enganosos que circulam em sites e diferentes redes sociais, identificando com rapidez as publicações com potencial de viralização.
São considerados conteúdos de baixa qualidade aqueles produzidos por fontes apócrifas, anônimas ou pouco confiáveis, que costumam usar expressões sensacionalistas e exageradas para arregimentar cliques. Conteúdos desse tipo costumam ser indicativos de fraudes ou de desinformação.
O Radar monitora sites, Twitter, YouTube, WhatsApp, Facebook e Instagram.
Metodologia. Para que o monitoramento do Radar seja possível, o Aos Fatos desenvolveu uma metodologia em cinco etapas que alia conhecimentos da Linguística, da Comunicação e da Ciência de Dados, implementada na linguagem de programação Python (faça o download da metodologia completa aqui).
1. Escolha do tema. Primeiro, a equipe do Aos Fatos seleciona um tema a ser pesquisado e mapeia termos relacionados a ele. O primeiro assunto monitorado pelo Radar foi a pandemia de Covid-19. Hoje, o monitor também acompanha o debate sobre o sistema judiciário e ataques à democracia.
2. Coleta de dados. Em seguida, são capturadas por meio de APIs as publicações que contêm termos relacionados ao tema de interesse.
3. Organização. Após coletado, o material passa por uma série de processos que têm como objetivo extrair dados relevantes sobre conteúdo, autoria, imagens e vídeos, entre outras informações.
4. Análise. Então, as publicações coletadas são avaliadas por uma série de critérios que, em resumo, tentam aferir duas coisas: se uma mensagem contém termos associados a campanhas de desinformação e se possui características típicas de conteúdos de baixa qualidade. Cada plataforma avaliada segundo uma metodologia um pouco diferente, que leva em conta as especificidades de cada rede.
O primeiro filtro se baseia em combinações complexas de termos de busca, que reúnem recortes do tema que representam maior risco de promover desinformação. Passíveis de mudanças e evoluções ao longo do tempo, os termos são monitorados e atualizados constantemente pelo núcleo linguístico do Radar.
Também é possível identificar marcas que são comuns a conteúdos de baixa qualidade em geral: o recurso da caixa alta é um exemplo, bem como a presença de erros gramaticais. Outros indícios comuns de informação de baixa qualidade são a presença de termos de natureza ofensiva, provocativa e alarmista.
5. Notas. Com os dados sistematizados, cada publicação é avaliada de acordo com um sistema de pesos entre as métricas. As notas compõem um índice que varia entre 1 e 10. Quanto menor a nota, maior as chances do conteúdo ser desinformativo ou conter erro. Apenas publicações com pontuação inferior a 5 são exibidas no Radar.
ACURÁCIA DO RADAR AOS FATOS
Mensalmente o monitor de desinformação do Radar Aos Fatos é submetido a uma análise de precisão de acerto. O objetivo é avaliar se o algoritmo apresenta resultados satisfatórios e fazer eventuais melhorias para que ele seja mantido o mais exato possível.
Esse grau de precisão é dimensionado por meio de dois indicadores: a faixa de acurácia, que considera todas as publicações coletadas pelo monitor; e a faixa de acerto, que é calculada apenas entre as publicações que foram classificadas como de baixa qualidade (veja com mais detalhes aqui).
Os dois cálculos são aplicados em todas as redes monitoradas (Twitter, WhatsApp, Youtube, Instagram, Facebook e Web). A tabela com os resultados detalhados está disponível para o público e pode ser acessada clicando aqui.
