Sistemas de inteligência artificial (IA) demonstraram dificuldade em distinguir conversas com humanos de interações com outras máquinas em um estudo recente. A pesquisa, publicada na revista Computers in Human Behavior Reports, adaptou o Teste de Turing para avaliar se modelos de linguagem conseguem identificar a natureza do interlocutor durante diálogos escritos.

O experimento, proposto originalmente por Alan Turing em 1950, foi invertido: sete modelos de IA, incluindo GPT-4.5, Claude 3.7 Sonnet, Gemini 2.5 Pro e Grok 3, atuaram como avaliadores. Cada sistema tinha a permissão de fazer até dez perguntas antes de decidir se o interlocutor era humano ou uma máquina. Participaram do estudo 20 voluntários humanos e os mesmos sete modelos de IA.

Resultados da avaliação

Foram realizados 238 testes, totalizando 1.714 perguntas. Nas 98 conversas em que o avaliador de IA interagiu com outro chatbot, houve apenas três identificações corretas. Além disso, os modelos atribuíram às IAs uma probabilidade média de 88% de serem humanas, enquanto para as pessoas reais essa estimativa foi de 78%. Segundo o estudo, esses valores refletem os julgamentos dos modelos, não suas taxas de acerto.

Nenhuma IA que recebeu uma personalidade detalhada, incluindo interesses pessoais e erros ocasionais de digitação, foi identificada como máquina. Conforme relata o Digital Trends, os poucos sistemas descobertos deram pistas pelo excesso de organização das respostas, e não pelo conteúdo. As instruções também encurtaram as mensagens: os modelos com personalidade produziram respostas com cerca de 39 palavras, praticamente o mesmo tamanho médio das respostas humanas, de 38 palavras.