A decisão da Autoridade Nacional de Proteção de Dados (ANPD) de suspender temporariamente as transmissões ao vivo do Discord no Brasil foi motivada por uma tragédia: a morte de uma adolescente de 13 anos, que teria sido incentivada por integrantes de uma comunidade online a cometer atos de violência contra si mesma.

As investigações ainda precisarão esclarecer a responsabilidade de cada empresa, mas o percurso já revela uma deficiência fundamental na maneira como regulamos as plataformas. A transmissão ocorreu no Discord, mas os indícios disponíveis apontam para uma trajetória que atravessou diferentes plataformas. Redes como TikTok e Instagram teriam sido usadas para divulgação e contato, enquanto Telegram e o próprio Discord ofereciam espaços mais fechados para organização, intensificação e coerção.

Conheça o JOTA PRO Poder, plataforma de monitoramento que oferece transparência e previsibilidade para empresas

Cada serviço observa apenas um fragmento do processo e pode alegar que o dano começou ou terminou em outro lugar. No conjunto, porém, formam uma cadeia capaz de localizar pessoas vulneráveis, aproximá-las de comunidades perigosas e transportá-las para ambientes progressivamente menos visíveis. É por isso que remover conteúdo ou suspender contas, embora necessário, já não basta.

A moderação tradicional pergunta se determinada publicação viola as regras e deve ser retirada – muitas vezes após um crime ter ocorrido e quando já é tarde demais para evitar seus efeitos negativos. Mas, é óbvio, devemos também evitar medidas como censura prévia ou filtros de upload, ou seja, cada conteúdo adicionado a uma rede social seria previamente verificado (possivelmente por IA) para saber se respeita ou não as regras.

Uma alternativa seria a governança algorítmica. Ela faz perguntas anteriores e mais importantes: por que aquele conteúdo foi mostrado àquela pessoa? Por que voltou a aparecer? Que sinal fez o sistema interpretar choque ou curiosidade como interesse? A plataforma recomendou conteúdos progressivamente mais extremos? Seu desenho facilitou o contato entre recrutadores e usuários vulneráveis? A busca por engajamento prevaleceu sobre sinais de perigo?

Governar algoritmos não significa entregar ao Estado o poder de decidir o que cada pessoa pode ler ou dizer. Significa retirar das empresas o controle exclusivo e opaco sobre sistemas que organizam a atenção de milhões de pessoas. Significa ainda não esperar boa vontade das big techs e nem ficar refém de ameaças de governos estrangeiros, como no caso recente em que os EUA acusaram o Brasil de censura pelo X, antigo Twitter, ter mudado o algoritmo para as eleições – quando, na verdade, ganhou-se transparência.

Tudo isso exige avaliações de risco, auditorias independentes, acesso seguro de pesquisadores a dados, transparência sobre os objetivos dos sistemas de recomendação, alternativas não baseadas em perfilamento e responsabilidade pelos efeitos previsíveis das escolhas de design.

O ECA Digital representa um avanço justamente porque começa a deslocar a discussão do conteúdo isolado para a arquitetura da plataforma. A lei determina que fornecedores adotem medidas para prevenir e mitigar riscos de acesso, exposição, recomendação ou facilitação de contato de crianças e adolescentes com conteúdos e práticas prejudiciais. Não se trata apenas de apagar aquilo que já causou danos, mas de avaliar como funcionalidades, sistemas e decisões automatizadas contribuem para produzi-lo.

Isso não significa, claro, que o ECA Digital deva ser recebido sem críticas. Sua aposta na verificação de idade acompanha uma tendência global de tentar proteger crianças condicionando seu acesso às plataformas e, no processo, forçando que toda a população seja verificada.

É uma resposta aparentemente simples, mas frequentemente contornável por declarações falsas, contas emprestadas ou ferramentas de localização e que também exige documentos, dados biométricos ou outros identificadores de todos os usuários, inclusive adultos. Na Austrália, dados iniciais indicaram que a maioria dos menores de 16 anos continuava usando redes abrangidas pela proibição mesmo após sua entrada em vigor.

Ao concentrar a proteção na idade de quem entra, governos podem preservar intacta a arquitetura que produz o risco: uma política criada para proteger menores não deveria produzir uma infraestrutura de identificação permanente de toda a população enquanto deixa intocado o modelo de negócios das plataformas.

O caso também traz à tona um processo político mais amplo. Os mecanismos que conduzem pessoas vulneráveis a comunidades destrutivas têm paralelo na radicalização política. Um sinal inicial de medo, frustração ou ressentimento é registrado como preferência; essa preferência alimenta novas recomendações. E o conteúdo se torna progressivamente mais extremo; o usuário é levado de feeds públicos a grupos fechados nos quais a repetição se transforma em pertencimento, identidade e mobilização.

Para serem prejudiciais, algoritmos não precisam ser programados para favorecer a extrema direita. Eles provocam danos ao tecido social e aos direitos individuais quando são otimizados para premiar medo, indignação, ódio, conflito e reação identitária, e oferecem uma vantagem estrutural aos atores mais dispostos a organizar sua comunicação em torno desses afetos. A extrema direita tornou-se particularmente eficiente em transformar insegurança e ressentimento em narrativas de ameaça existencial e conspiração.

Assine gratuitamente a newsletter Últimas Notícias do JOTA e receba as principais notícias jurídicas e políticas do dia no seu email

Às vésperas das eleições brasileiras, limitar o debate à desinformação e à remoção de publicações significa agir quando boa parte do processo já aconteceu. Antes que um conteúdo falso chegue aos moderadores, o sistema pode já ter identificado seu público, reforçado suas emoções, formado uma comunidade e conduzido seus integrantes a espaços fechados.

A contribuição mais importante do ECA Digital talvez seja obrigar o Brasil a abandonar a ficção de que plataformas são atores neutros. Se empresas devem avaliar como seus sistemas expõem crianças a riscos previsíveis, também devem explicar como esses mesmos sistemas transformam ressentimento em radicalização e influência política. A democracia não depende apenas daquilo que pode ser dito, mas também de quem controla as máquinas que decidem o que será visto, repetido e amplificado.