Como raspar dados do X, ex-Twitter

Se treta gerasse receita, o X conseguiria pagar suas dívidas com facilidade. Como não é o caso, e menos anunciantes pagam por espaço na plataforma desde que Elon Musk a adquiriu, o plano de ação do bilionário para substituir essa perda de caixa tem sido o de reduzir recursos e vender privilégios.

Enquanto o passarinho azul ainda piava, a rede era o melhor destino para quem buscava entender disputas de poder no mundo: durante a Primavera Árabe, as Jornadas de Junho no Brasil e os protestos do movimento Black Lives Matter nos Estados Unidos, o Twitter foi a interface escolhida por jornalistas e pesquisadores para encontrar testemunhas dos fatos e medir o debate público, ainda que com limitações. O acesso gratuito à API da plataforma, encerrado em abril deste ano, também ajuda a explicar essa preferência.

O conflito entre Israel e Hamas é o primeiro evento de grande impacto global com a plataforma sob nova administração, e a performance até agora não é das melhores:

• Logo nos primeiros dias de conflito, Musk recebeu um pedido de explicações da União Europeia sobre a circulação de desinformação relacionada a Israel e ao Hamas;
• A plataforma informou que iria apurar o problema;
• Reportagens do Radar Aos Fatos também atestaram que o X privilegia perfis e conteúdos não confiáveis — e até desinformativos;
• Reportagem recente no site 404 Media corrobora a conclusão de que o que antes era um ambiente ao menos funcional hoje é tomado por charlatanismo e culto à imagem.

Além do fim da moderação de conteúdo, outras decisões da gestão Musk podem explicar essa piora para quem busca informações confiáveis e relevantes.

Em um primeiro momento, o selo de verificação — que nunca deveria ter sido compreendido como um atestado de que a conta produzia conteúdo confiável, mas como uma garantia da autenticidade de um perfil — era restrito a poucos usuários, apenas mediante aprovação. Hoje, o item está disponível para qualquer um que pague a assinatura do X Premium e garante privilégios além da verificação da conta, como a possibilidade de fazer parte de um programa de remuneração por publicações.

Essa política de pagamento por engajamento, aliada à capacidade deficiente de escrutínio do conteúdo e à eclosão de eventos alarmantes, é terreno fértil para a mentira.

Para sermos justos aqui, o X não é o primeiro a misturar os ingredientes a ponto de criar essa solução explosiva: o YouTube também já foi alvo de análises por parte do Radar Aos Fatos por ter ajudado a financiar a desinformação durante o processo eleitoral de 2022.

Assine já a newsletter do Radar Aos Fatos e receba a cada quinze dias técnicas de investigação com dados abertos.

Mas, como abordado em newsletter anterior, foi possível fazer as reportagens sobre o YouTube, já que a plataforma possui uma API documentada — ainda que com limitações — que permite a criação de softwares para raspagem de dados da rede. Não podemos mais contar com isso no X.

Para driblar esse problema, experimentamos em reportagens recentes a ferramenta Nitter, uma alternativa ao front-end da plataforma. Ela funciona como um proxy — espécie de intermediário entre o usuário e o servidor — para acessar o conteúdo publicado no X sem que seja necessário criar uma conta na rede e ainda fornece várias vantagens em relação ao acesso oficial:

• Disponibiliza feeds RSS — que notificam o usuário quando um conteúdo é atualizado — de determinadas partes da rede, como publicações de perfis;
• Tem carregamento mais leve, em parte por eliminar anúncios e scripts de rastreamento;
• Possui uma interface muito mais limpa e, consequentemente, mais fácil de se raspar usando linguagens de programação como R e Python.

O projeto, que pode ser usado por qualquer pessoa interessada em acompanhar o que acontece na rede com mais privacidade e transparência, pode ser acessado via Nitter.net.

Usuários avançados ainda podem replicar toda a aplicação em suas próprias máquinas, espelhando seu funcionamento e obtendo total controle sobre limites de conexões simultâneas, por exemplo.

Ainda que possa deixar de funcionar repentinamente devido a mudanças na arquitetura da rede social, que tem tentado reverter o quadro de êxodo de usuários e anunciantes, o Nitter é mantido por algumas centenas de pessoas graças à sua natureza aberta e pode ser reparado assim que falhas forem observadas.

Com redes sociais comerciais se fechando e adotando práticas danosas ao ecossistema informacional, essa é mais uma das alternativas adotadas pelo Radar Aos Fatos para obter dados e levá-los aos leitores.

BUSCA AVANÇADA

Mesmo com as melhores estratégias de pesquisa na internet, nem sempre conseguimos o resultado esperado. Isso porque às vezes a resposta que queremos está em links não indexados pelos serviços de busca.
Isso se aplica, por exemplo, a conteúdos publicados em redes sociais. Por isso, também é importante saber dicas para fazer buscas mais assertivas nessas plataformas.

Apesar de todas as suas limitações, o X disponibiliza filtros para pesquisas. Para acessá-los, basta digitar “twitter.com/search-advanced” ou clicar nos três pontos ao lado da caixa de texto de busca.

Lá, você pode limitar a pesquisa por publicações com:

• Palavras separadas ou usadas em conjunto;
• Hashtags específicas;
• Intervalos de data;
• Perfis;
• e até quantidade mínima de curtidas, compartilhamentos ou comentários.

A plataforma também permite salvar uma busca em seu perfil para consultar quando desejar.