Uma manifestação de homens negros e musculosos atrapalha o trânsito. Uma repórter se aproxima para entrevistar um representante e pergunta qual o motivo do ato. Um deles diz: “o Paulo falou que ninguém mais vai poder comer o escondidinho dele”. O vídeo preconceituoso, gerado por inteligência artificial e publicado no TikTok, somava 2,8 milhões de visualizações até o início da semana passada, antes de ser tirado do ar.
A publicação, entretanto, não é um caso isolado. Levantamento do Aos Fatos identificou outras 55 postagens na plataforma que compartilham conteúdo racista criado por IA sob o pretexto de piada. Juntos, os vídeos analisados acumulavam ao menos 34 milhões de visualizações.
Especialistas ouvidos pelo Aos Fatos apontam que as gravações reforçam estereótipos, como a hipersexualização dos corpos negros, e minimizam violências.
Segundo a legislação brasileira, o racismo é crime previsto na Constituição e em normas específicas, como a lei nº 7.716/1989, além de estar sujeito à responsabilização civil.
Na teoria, esse tipo de conteúdo vai contra as diretrizes das plataformas e das ferramentas de IA — que deveriam conter filtros contra a criação de material discriminatório. Na prática, no entanto, peças como essa foram recomendadas ao Aos Fatos pelo próprio algoritmo do TikTok.
Humor para esconder o racismo
“Os vídeos podem ser considerados racistas e fazem isso de uma forma extremamente explícita, extremamente intencional”, afirma Helton Souto, presidente do Instituto DACOR, que analisou as publicações a pedido do Aos Fatos. A ONG se dedica a propor ações de combate ao racismo a partir da análise de dados e evidências.
Segundo Souto, além do racismo, as peças também reúnem todo um conjunto de violências, como apologia ao estupro, homotransfobia e preconceito contra pessoas com deficiência e contra nordestinos.
De acordo com o especialista, o uso do humor é central para a análise das publicações. Embora a violência seja explícita, a forma como é apresentada dilui a crítica sob o pretexto da liberdade de expressão.
“A linguagem do humor cai muito dentro do discurso do, ‘olha, não era bem isso que eu quis dizer’ ou ‘não é para ser levado nada a sério’. Mas a questão aqui é que, intencionalmente e de forma muito proposital, eles utilizam o humor para atacar de forma muito violenta”, afirma Souto.
Para ele, a “piada” funciona como dissimulação, mas esconde um processo e uma intenção muito bem definidas de violência. Ele cita o jurista Adilson Moreira, autor do livro “Racismo Recreativo” (Pólen Livros, 2019), que descreve o humor como instrumento para ampliar as possibilidades do racismo, reproduzir privilégios raciais e promover uma política cultural de naturalização do desprezo.
“A inteligência artificial nestes casos é usada para criar personagens negros que falam, de modo jocoso e aviltante, sobre a existência de outros grupos marginalizados. Isso desumaniza e reforça estigmas já enraizados na sociedade”, completa Souto.
Além dos vídeos com roupagem humorística, a reportagem também identificou, mesmo que em menor número, casos mais explícitos do uso de inteligência artificial para promover violência racial e transfobia.
Em um deles, a imagem de um macaco é sobreposta ao rosto do jogador de futebol Vinicius Júnior. Em outro, a deputada federal Erika Hilton (PSOL-SP) aparece representada como se nunca houvesse feito a transição de gênero ou com o rosto e os cabelos “transformados” com soldas.
O Ministério de Igualdade Racial afirmou ao Aos Fatos que repudia a proliferação de vídeos racistas, transfóbicos e discriminatórios de qualquer natureza nas redes sociais, ao mesmo tempo que "reconhece a questão e tem empreendido esforços para combater essa prática nociva à construção de um país mais justo e igualitário."
A pasta afirmou que o governo brasileiro tem proposto medidas estruturais que atuam tanto na prevenção quanto no enfrentamento de violências digitais, e citou a recente decisão do STF (Supremo Tribunal Federal) sobre o artigo 19 do Marco Civil da Internet como uma medida que "demonstra sintonia entre os poderes e abre espaço para que o Executivo possa atuar para a proteção de direitos fundamentais no ambiente virtual."
Racismo algorítmico
A produção e popularidade dos vídeos não é fruto do acaso. A conta usada pelo Aos Fatos para a busca e análise dos conteúdos rapidamente passou a receber recomendações em série de publicações semelhantes, evidenciando a forma como o algoritmo reforça e amplia o alcance dos materiais discriminatórios.
O efeito está ligado ao que especialistas chamam de racismo algorítmico — conceito que descreve como sistemas de inteligência artificial e algoritmos, treinados com dados que refletem preconceitos sociais, reproduzem ou até intensificam a discriminação.
A questão se manifesta de diferentes formas, que vão desde os mecanismos de recomendação das redes e a possibilidade de produção de conteúdos do tipo com uso de IA até o uso de ferramentas de reconhecimento facial.
Nesse contexto, especialistas afirmam que as tecnologias digitais carregam uma dupla fragilidade: de um lado, ainda são incapazes de identificar nuances de racismo; de outro, retroalimentam vieses ao aprender com dados disponíveis.
Responsabilidade das plataformas
O fenômeno de produção de conteúdo racista com o auxílio de IA não é isolado e integra uma tendência mais ampla de uso da tecnologia para criar material criminoso, como a geração de deepnudes de artistas, parlamentares mulheres e até de crianças e adolescentes.
De acordo com o código de conduta do TikTok, a plataforma não tolera discursos e ideologias de ódio, e não recomenda conteúdos que contenham estereótipos negativos sobre os chamados grupos protegidos, que envolvem questões de gênero, raça, sexualidade, religião, deficiência, entre outros.
As diretrizes citam expressamente “piadas e memes que disseminam estereótipos e normalizam a discriminação e a intolerância” como ataques indiretos que integram o conceito de discurso de ódio, reforçando que “alguns dos quais nem sempre são óbvios”.
Na prática, porém, os conteúdos permanecem ativos na plataforma, sem qualquer tipo de moderação. “É uma responsabilidade que precisa ser encarada de frente. As plataformas precisam fazer um melhor trabalho de mediação disso”, avalia Souto.
Para ele, é essencial que haja também controle social e políticas públicas que pressionem empresas de tecnologia a agir, especialmente considerando outro ponto crítico: os vídeos estão disponíveis para qualquer usuário, inclusive crianças e adolescentes.
“Estamos falando de pessoas que estão formando sua visão de mundo, sua forma de posicionamento. Então, quando nós temos adolescentes e jovens consumindo esse tipo de informação, nós estamos diante de uma questão que é bastante grave.”
Souto defende que o TikTok e outras plataformas precisam ser responsabilizados em relação a esse tipo de conteúdo e que devem operar não apenas na remoção de publicações que incitem o discurso de ódio, mas também na construção de travas que os impeçam de ser publicados.
Outro lado. Procurado pela reportagem, o TikTok informou que a plataforma é um local de encontro para comunidades diversas e não um espaço para promover ideologias de ódio, e por isso “analisou e removeu prontamente aqueles [conteúdos] que violavam nossas Diretrizes da Comunidade.”
Nota completa do Tiktok
O TikTok é um local de encontro para comunidades diversas e não um espaço para promover discursos, comportamentos ou a promoção de ideologias de ódio. Por isso, não permitimos:
-
Incentivar a violência, segregação, discriminação ou outros danos contra pessoas com base em atributos protegidos.
-
Apoiar ou disseminar ideologias de ódio.
-
Desumanizar pessoas, inclusive comparando a animais ou objetos
-
Alegar que um grupo protegido é física ou mentalmente inferior a outros
-
Usar termos ofensivos ou insultos discriminatórios associados a um atributo protegido
Além de remover conteúdos violativos, o TikTok também pode tornar vídeos não recomendados para o feed Para você. Em nossas Diretrizes esclarecemos quais os critérios para esse tipo de moderação, entre eles estão:
-
Estereótipos, generalizações, insinuações ou declarações que possam rebaixar ou minar a inclusão de grupos ou identidades protegidos.
-
Adultos usando linguagem sexualmente explícita.
Após análise da plataforma, 33 dos vídeos enviados (60%) e 14 perfis (25%) haviam sido removidos até esta quarta-feira (29). Dentre os perfis que permaneceram no ar, estão vídeos e perfis dedicados à criação de conteúdo que promove estereótipos sexuais de homens negros.
O caminho da apuração
Aos Fatos criou uma conta no TikTok para identificar vídeos discriminatórios que circulavam na plataforma sob o pretexto de humor. O material foi mapeado e sistematizado, e as 56 publicações foram analisadas em parceria com o Instituto DACOR. Também foram realizadas buscas para verificar o alcance dos posts, incluindo métricas de visualização e interação.
Além disso, Aos Fatos recorreu à bibliografia sobre racismo algorítmico para contextualizar o fenômeno e analisar os impactos do uso de inteligência artificial na produção desse tipo de conteúdo. O código de conduta do TikTok foi consultado para verificar as regras aplicáveis às peças, e a plataforma foi questionada oficialmente sobre a manutenção dos vídeos em circulação.
A reportagem também entrou em contato com as assessorias de imprensa da deputada federal Erika Hilton e do jogador de futebol Vinicius Jr., vítimas de conteúdos discriminatórios. Não houve resposta até a publicação da reportagem.
