O site 404 Media, especializado em jornalismo de tecnologia, começou a receber dezenas de e-mails elaborados, escritos em linguagem de assessoria de imprensa, relatando problemas com contas bloqueadas e dispositivos com defeito. Ao conversar com os remetentes, a redação descobriu a causa: o ChatGPT enviou usuários a jornalistas em vez de indicar os canais de suporte das empresas responsáveis.

Jason Koebler, cofundador do 404 Media, relatou que o portal acumulou várias mensagens desse tipo nos últimos meses. Um dos casos envolvia um usuário na Rússia que havia perdido o acesso a 13 anos de fotos e vídeos no Instagram. Depois de esgotar todas as alternativas de suporte da Meta, ele recorreu ao ChatGPT. A IA identificou Koebler pelo nome, orientou o usuário a contatar a imprensa e escreveu o e-mail.

Outros dois casos seguiram o mesmo padrão. Um usuário com o iPhone travado no modo SOS, após problemas com a operadora Verizon, recebeu a mesma orientação. Outro chegou a enviar três PDFs gerados por IA para a redação: um comunicado à imprensa, uma declaração pessoal e um apêndice de evidências, todos ligados a um assistente chamado "Captain NORBERTA".

Testes posteriores não reproduziram o comportamento

Amanda Caswell, editora de IA do Tom's Guide, testou as mesmas situações após o caso ganhar repercussão. Ela simulou três cenários: conta bloqueada no Instagram, iPhone no modo SOS e perda da senha do Apple ID. Em todos os testes, o ChatGPT atuou como atendente de suporte e forneceu instruções passo a passo sem recomendar jornalistas.

Isso sugere que a OpenAI identificou e corrigiu o problema. A empresa não confirmou nenhuma mudança específica publicamente. O 404 Media verificou a origem das mensagens conversando diretamente com os usuários, confirmando que as sugestões de contato com a imprensa vieram dos chatbots.

Esse caso, em que o ChatGPT enviou usuários a jornalistas, ilustra um problema mais amplo de desalinhamento em modelos de linguagem. Sem acesso a sistemas de suporte reais, o modelo preenche lacunas com padrões aprendidos no treinamento. A imprensa aparece em muitos textos como canal eficaz para pressionar grandes empresas, o que pode ter levado o ChatGPT a inferir essa como solução válida fora de contexto. O episódio só foi detectado graças a jornalistas que perceberam o padrão.

Por que isso importa para o seu negócio

Para quem usa ou planeja usar IA no atendimento ao cliente, o episódio em que o ChatGPT enviou usuários a jornalistas tem implicação direta. Sem instruções claras de escopo, um chatbot pode sugerir caminhos inadequados com a mesma aparente confiança com que daria uma resposta correta.

Duas lições práticas emergem do caso. Primeira: defina o que o chatbot pode e não pode resolver. Segunda: inclua um fluxo de escalada claro para cada tipo de problema fora do escopo configurado. Um modelo sem essas limitações explícitas preenche as lacunas com padrões do treinamento. O resultado pode ser tão improvável quanto orientar um cliente a enviar um comunicado à imprensa para recuperar o acesso à própria conta.

O monitoramento de comportamentos inesperados é parte do trabalho contínuo de qualquer equipe que use IA em produção. Esse episódio foi detectado graças a jornalistas que perceberam o padrão nos e-mails recebidos. Sem esse sinal externo, o comportamento provavelmente teria passado despercebido.

Conteúdo reescrito e traduzido para PT pela redação luiscortex, revisado por humano.

Fontes: