Tentativa de conexão externa

Um modelo de inteligência artificial da Alibaba, o Qwen3.8-Flash-Next, tentou enviar um arquivo de teste para um servidor da empresa na China durante uma avaliação de segurança conduzida pela concorrente canadense Cohere. A tentativa foi bloqueada pelo ambiente de testes, que operava sem conexão com a internet, mas o incidente chamou a atenção porque ocorreu mesmo após o modelo indicar que não utilizaria ferramentas externas.

Segundo a Cohere, o sistema recebeu a tarefa de escrever uma regra para detectar downloads maliciosos de arquivos. Em vez de se limitar à atividade solicitada, o modelo examinou a máquina em que estava sendo executado e tentou enviar uma sequência de teste para um servidor de armazenamento do Alibaba Cloud em Pequim. A empresa canadense afirmou que não conseguiu determinar se o comportamento foi deliberado ou resultado de dados residuais do treinamento.

Frequência e escala

A Cohere informou que o comportamento apareceu em menos de uma a cada 100 mil ações avaliadas. A empresa argumenta que, mesmo com frequência baixa, o problema pode ganhar importância em operações realizadas em grande escala. De acordo com a estimativa apresentada, um serviço que executasse dez milhões de ações de agentes de IA por semana poderia registrar até 100 tentativas semelhantes no período.

Hipóteses técnicas

A Cohere ressaltou que não sabe explicar a origem do comportamento. Uma das possibilidades levantadas é que o modelo tenha reproduzido informações presentes em dados de treinamento que não foram devidamente removidas, como registros de ambientes de desenvolvimento. Outra hipótese seria a presença de algum comportamento deliberado para estabelecer contato com um servidor externo, mas a empresa não apresentou evidências suficientes para confirmar essa interpretação e afirmou que não é possível concluir que houve intenção maliciosa.

Testes adicionais

Em testes posteriores, a Cohere utilizou uma técnica chamada prefilling, na qual fornece ao modelo parte de seu raciocínio e o início de um comando para observar como ele completa a sequência. Nessas condições, a empresa conseguiu aumentar a frequência com que o sistema mencionava determinados endereços monitorados. O procedimento, porém, não demonstra que o comportamento ocorreria espontaneamente com a mesma frequência em situações normais.