IA não é capaz de detectar sozinha discurso de ódio nas redes, diz pesquisadora de Harvard

Por Ethel Rudnitzki

27 de julho de 2022, 18h30

Recursos de inteligência artificial não são capazes, por si só, de detectar discursos de ódio e extremistas nas redes — o que torna necessária a intervenção humana no processo de moderação de conteúdo. É o que aponta uma pesquisa recente do Shorenstein Center, da Universidade Harvard, que financia estudos sobre mídia, política e políticas públicas.

Bolsistas do centro, liderados pela antropóloga Sahana Udupa, juntaram evidências empíricas a partir de análises estatísticas de dados do projeto AI4Dignity, que envolve acadêmicos, ativistas sociais e jornalistas de Alemanha, Brasil, Índia e Quênia no desenvolvimento de sistemas de moderação de conteúdo.

Eles compararam as classificações de conteúdos extremistas feitas pela equipe humana do AI4Dignity com as categorizações feitas pelo modelo de aprendizado de máquina desenvolvido pelo Google, chamado Perspective API. A principal descoberta foi que conteúdos de ódio mais contextuais ou complexos identificados pelo projeto não eram classificados adequadamente pelo modelo da empresa.

Para Udupa, o estudo mostra que o principal problema do atual modelo de moderação de conteúdo utilizado pelas plataformas é o uso exclusivo de automação. “Esses sistemas precisam sinalizar, revisar, marcar e reagir a conteúdos problemáticos. Muitas vezes isso envolve remover um conteúdo, ou restringir sua circulação, e outras vezes é sobre filtrar”, disse, em entrevista por vídeo ao Aos Fatos.

“É uma curadoria a ser feita. Imagine toda essa tarefa sendo executada por uma máquina”, ela sugere.

Udupa alerta para a falta de investimento das plataformas em equipes humanas de moderação de conteúdo. “Atualmente, a moderação de conteúdo não faz parte do ciclo de geração de lucro dessas empresas”, ela diz. “Na verdade, é um gasto de recursos”, continua. “E, para cortar custos, elas exportam essa tarefa para países onde a mão de obra é mais barata e isso causa um problema de descontextualização.”

Barreira linguística. Outro problema identificado foi a prevalência de conteúdos extremistas em determinados idiomas da amostra em comparação a outros. Os pesquisadores buscaram por frases com expressões de ódio no Twitter e constataram que elas estavam mais presentes em postagens em português do Brasil, hindu e língua suaíli do que em inglês e alemão.

A questão já havia sido levantada por Frances Haugen, gerente de produto da Meta (ex-Facebook) que deixou a empresa e vazou documentos internos a jornalistas de todo o mundo. Em novembro do ano passado, ela afirmou em entrevista à Folha de S.Paulo que os sistemas de detecção de discurso de ódio na plataforma “não entendem português”.

Como solução, o AI4Dignity propõe a inclusão de equipes locais especializadas como intermediárias no processo de moderação de conteúdo. A ideia do projeto seria que checadores de fatos, acadêmicos, integrantes de grupos antiódio e outros membros da sociedade civil pudessem ajudar no processo de aprendizado de máquina, alimentando com exemplos e determinando uma “escala de toxicidade” a ser adotada.

“A moderação de conteúdo precisa levar em conta variação linguística, inovação tecnológica e a mistura entre discurso de ódio e desinformação”, afirma Udupa. “O ódio está nas entrelinhas. Só é possível identificar conteúdos problemáticos entendendo o contexto, e é por isso que precisamos de pessoas que conheçam esse universo no processo [de moderação].”

Topo

Usamos cookies e tecnologias semelhantes de acordo com a nossa Política de Privacidade. Ao continuar navegando, você concordará com estas condições.