Como raspar dados do X, ex-Twitter

Compartilhe

Se treta gerasse receita, o X conseguiria pagar suas dívidas com facilidade. Como não é o caso, e menos anunciantes pagam por espaço na plataforma desde que Elon Musk a adquiriu, o plano de ação do bilionário para substituir essa perda de caixa tem sido o de reduzir recursos e vender privilégios.

Enquanto o passarinho azul ainda piava, a rede era o melhor destino para quem buscava entender disputas de poder no mundo: durante a Primavera Árabe, as Jornadas de Junho no Brasil e os protestos do movimento Black Lives Matter nos Estados Unidos, o Twitter foi a interface escolhida por jornalistas e pesquisadores para encontrar testemunhas dos fatos e medir o debate público, ainda que com limitações. O acesso gratuito à API da plataforma, encerrado em abril deste ano, também ajuda a explicar essa preferência.

O conflito entre Israel e Hamas é o primeiro evento de grande impacto global com a plataforma sob nova administração, e a performance até agora não é das melhores:

  • Logo nos primeiros dias de conflito, Musk recebeu um pedido de explicações da União Europeia sobre a circulação de desinformação relacionada a Israel e ao Hamas;
  • A plataforma informou que iria apurar o problema;
  • Reportagens do Radar Aos Fatos também atestaram que o X privilegia perfis e conteúdos não confiáveis — e até desinformativos;
  • Reportagem recente no site 404 Media corrobora a conclusão de que o que antes era um ambiente ao menos funcional hoje é tomado por charlatanismo e culto à imagem.

Além do fim da moderação de conteúdo, outras decisões da gestão Musk podem explicar essa piora para quem busca informações confiáveis e relevantes.

Leia mais
BIPE Sem moderação, virais desinformativos ou não verificáveis sobre Israel e Hamas tomam o X

Em um primeiro momento, o selo de verificação — que nunca deveria ter sido compreendido como um atestado de que a conta produzia conteúdo confiável, mas como uma garantia da autenticidade de um perfil — era restrito a poucos usuários, apenas mediante aprovação. Hoje, o item está disponível para qualquer um que pague a assinatura do X Premium e garante privilégios além da verificação da conta, como a possibilidade de fazer parte de um programa de remuneração por publicações.

Essa política de pagamento por engajamento, aliada à capacidade deficiente de escrutínio do conteúdo e à eclosão de eventos alarmantes, é terreno fértil para a mentira.

Para sermos justos aqui, o X não é o primeiro a misturar os ingredientes a ponto de criar essa solução explosiva: o YouTube também já foi alvo de análises por parte do Radar Aos Fatos por ter ajudado a financiar a desinformação durante o processo eleitoral de 2022.


Assine já a newsletter do Radar Aos Fatos e receba a cada quinze dias técnicas de investigação com dados abertos.

Mas, como abordado em newsletter anterior, foi possível fazer as reportagens sobre o YouTube, já que a plataforma possui uma API documentada — ainda que com limitações — que permite a criação de softwares para raspagem de dados da rede. Não podemos mais contar com isso no X.

Para driblar esse problema, experimentamos em reportagens recentes a ferramenta Nitter, uma alternativa ao front-end da plataforma. Ela funciona como um proxy — espécie de intermediário entre o usuário e o servidor — para acessar o conteúdo publicado no X sem que seja necessário criar uma conta na rede e ainda fornece várias vantagens em relação ao acesso oficial:

  • Disponibiliza feeds RSS — que notificam o usuário quando um conteúdo é atualizado — de determinadas partes da rede, como publicações de perfis;
  • Tem carregamento mais leve, em parte por eliminar anúncios e scripts de rastreamento;
  • Possui uma interface muito mais limpa e, consequentemente, mais fácil de se raspar usando linguagens de programação como R e Python.

O projeto, que pode ser usado por qualquer pessoa interessada em acompanhar o que acontece na rede com mais privacidade e transparência, pode ser acessado via Nitter.net.

Usuários avançados ainda podem replicar toda a aplicação em suas próprias máquinas, espelhando seu funcionamento e obtendo total controle sobre limites de conexões simultâneas, por exemplo.

Ainda que possa deixar de funcionar repentinamente devido a mudanças na arquitetura da rede social, que tem tentado reverter o quadro de êxodo de usuários e anunciantes, o Nitter é mantido por algumas centenas de pessoas graças à sua natureza aberta e pode ser reparado assim que falhas forem observadas.

Com redes sociais comerciais se fechando e adotando práticas danosas ao ecossistema informacional, essa é mais uma das alternativas adotadas pelo Radar Aos Fatos para obter dados e levá-los aos leitores.


BUSCA AVANÇADA

Mesmo com as melhores estratégias de pesquisa na internet, nem sempre conseguimos o resultado esperado. Isso porque às vezes a resposta que queremos está em links não indexados pelos serviços de busca.
Isso se aplica, por exemplo, a conteúdos publicados em redes sociais. Por isso, também é importante saber dicas para fazer buscas mais assertivas nessas plataformas.

Apesar de todas as suas limitações, o X disponibiliza filtros para pesquisas. Para acessá-los, basta digitar “twitter.com/search-advanced” ou clicar nos três pontos ao lado da caixa de texto de busca.

Print de opções de busca alternativa no X (ex-Twitter)

Lá, você pode limitar a pesquisa por publicações com:

  • Palavras separadas ou usadas em conjunto;
  • Hashtags específicas;
  • Intervalos de data;
  • Perfis;
  • e até quantidade mínima de curtidas, compartilhamentos ou comentários.

A plataforma também permite salvar uma busca em seu perfil para consultar quando desejar.

Compartilhe

Leia também

Como ver menos conteúdos sobre política no Instagram

Como ver menos conteúdos sobre política no Instagram

Como não errar ao investigar dados sobre atividade parlamentar

Como não errar ao investigar dados sobre atividade parlamentar

Imigrantes nos Estados Unidos recebem anúncios de falsas vagas de emprego no Instagram

Imigrantes nos Estados Unidos recebem anúncios de falsas vagas de emprego no Instagram