Usar modelos de linguagem com dados reais de clientes é um risco de privacidade. A solução mais comum é substituir nomes, CPFs e e-mails por marcadores antes de enviar o prompt. Mas um estudo publicado em setembro de 2026 por pesquisadores da Universidade de Bonn, Fraunhofer IAIS, Instituto Lamarr e Microsoft Alemanha quantificou o custo dessa escolha: a anonimização de dados em LLMs derruba a pontuação de recuperação do GPT-4o mini de 0,80 para 0,32 em tarefas de RAG, uma queda relativa de 60%.

O que o estudo mediu

Os pesquisadores testaram cinco modelos, GPT-4o mini (OpenAI), Llama-3.1-8B (Meta), Gemma-2-27B (Google), Qwen2.5-72B (Alibaba) e Teuken-7B (OpenGPT-X), em 11 benchmarks conhecidos: ARC, BIG-Bench Hard, EQ-Bench, HellaSwag, IFEval, MedQA, MMLU-PRO, MUSR, RGB, TruthfulQA e WMT 2014. O conjunto final de avaliação reuniu 6.210 amostras com entrada média de 417 tokens, processadas em quatro GPUs NVIDIA Tesla V100.

Cada amostra passou por uma ferramenta de anonimização desenvolvida pelos próprios pesquisadores (F1-score acima de 88%, recall acima de 91%) antes de chegar ao modelo. A comparação entre o resultado original e o anonimizado mediu o impacto real da técnica nos cinco modelos.

A anonimização de dados em LLMs foi testada em cinco variantes: pseudonimização, randomização, mascaramento, generalização e redação. As técnicas reversíveis (pseudonimização e randomização) causaram menos dano. As irreversíveis (generalização e redação) produziram as quedas mais severas.

Como a anonimização quebra a recuperação de informação

O benchmark mais afetado foi o RGB, que mede recuperação em tarefas de RAG: exatamente o cenário em que empresas usam LLMs para buscar informação em documentos internos. Os resultados por modelo:

  • GPT-4o mini: 0,80 → 0,32 (queda de 60%)
  • Qwen2.5-72B: 0,82 → 0,38 (queda de 53,7%)
  • Llama-3.1-8B: 0,69 → 0,34 (queda de 50,7%)
  • Gemma-2-27B: 0,63 → 0,39 (queda de 38,1%)
  • Teuken-7B: 0,53 → 0,31 (queda de 41,5%)

O paper, disponível no arXiv (2609.11335), traz exemplos concretos do mecanismo de falha. Em um exercício sobre eclipse solar no ARC, "Earth" e "Sun" viraram <LOC>-1 e <LOC>-2 e o modelo trocou a resposta correta por uma errada. No MMLU-PRO, cifras monetárias viraram tags genéricas e o modelo inverteu o raciocínio aritmético. No TruthfulQA, ao receber uma pergunta sobre o Prêmio Nobel com entidades anonimizadas, o GPT-4o mini inventou um valor <COUNTRY NAME> fora do esquema esperado.

Além das tarefas de recuperação, o MMLU-PRO também sofreu: Qwen2.5-72B caiu 10 pontos percentuais, GPT-4o mini perdeu 8 pp. No MedQA, o Gemma-2-27B recuou de 0,94 para 0,87. Os pesquisadores tentaram mitigar o problema com prefixos de instrução informando ao modelo que o prompt estava anonimizado e pedindo precisão mesmo com contexto ausente. Nenhum dos formatos testados produziu melhora mensurável.

Nem tudo é perda: honestidade melhorou

Um achado inesperado: a anonimização de dados em LLMs melhorou a pontuação no TruthfulQA para quatro dos cinco modelos. O Llama-3.1-8B ganhou 8 pontos percentuais; Qwen2.5-72B e Teuken-7B melhoraram 5 e 6 pp, respectivamente. Quando nomes reais e referências culturais saem do texto, o modelo tende a evitar afirmações factuais incorretas. Isso sugere que parte dos erros nos benchmarks vem de associações indevidas com dados identificáveis.

Por que isso importa para o seu negócio

Toda empresa que usa LLMs com dados de clientes enfrenta o mesmo dilema: enviar o dado real e assumir o risco de privacidade, ou anonimizar e aceitar a perda de qualidade. Este estudo quantifica essa perda pela primeira vez em grande escala.

Se a aplicação é um chatbot de atendimento ou um buscador de documentos internos, a anonimização de dados em LLMs com técnicas irreversíveis pode tornar o sistema pouco eficaz: o score do GPT-4o mini caiu de 0,80 para 0,09 com generalização, e para 0,12 com redação. Técnicas reversíveis preservam mais contexto e causam danos menores.

O RGPD europeu e as diretrizes EDPB de julho de 2026 já estabelecem que dados pseudonimizados continuam sendo dados pessoais, o que significa que a pseudonimização sozinha não resolve o problema legal. O cenário regulatório está evoluindo na Europa e começa a influenciar o Brasil, onde a ANPD acompanha o tema de perto.

A recomendação dos autores é objetiva: a técnica de anonimização precisa ser escolhida com base no modelo e na tarefa específica. Não existe solução genérica. Para contextos de RAG, as técnicas reversíveis são o ponto de partida com menor custo de desempenho.

Para comparar como diferentes modelos se saem em aplicações de negócio, veja o artigo ChatGPT Work vs Claude: qual agente de IA é melhor para o seu negócio. Sobre o debate entre privacidade e tecnologia no dia a dia, o artigo Óculos Meta Luna sem câmera mostra como o mercado está renegociando esse equilíbrio.

Conteúdo reescrito e traduzido para PT pela redação luiscortex, revisado por humano.

Fontes: