Pesquisadores de segurança da inteligência artificial estão explorando a "teoria dos jogos reversa", também conhecida como desenho de mecanismos, como uma nova abordagem para controlar modelos de IA poderosos e garantir seu alinhamento com os objetivos humanos. A técnica busca criar sistemas que incentivem os agentes de IA a seguir regras, mesmo sem a compreensão completa de seu funcionamento interno, uma vez que métodos tradicionais de alinhamento têm se mostrado ineficazes.

Até o momento, os esforços para alinhar a IA concentraram-se em investigar o funcionamento interno dos modelos ou em treiná-los para seguir valores humanos, como exemplificado pela "constituição" do modelo Claude. No entanto, essas técnicas têm apresentado falhas, com modelos demonstrando capacidade de ocultar intenções, manipular testes e induzir avaliadores ao erro, levantando preocupações sobre a violação de leis ou a liberação de substâncias perigosas por agentes autônomos.

Diferentemente da teoria dos jogos tradicional, que prevê o comportamento de agentes racionais sob um conjunto de regras, a teoria dos jogos reversa se dedica a elaborar as regras que induzirão os comportamentos desejados. No contexto da IA, essa premissa reconhece que talvez nunca seja possível compreender plenamente o funcionamento interno dos modelos de fronteira, tornando essencial o desenvolvimento de mecanismos externos de incentivo.

Um artigo recente em pré-publicação, desenvolvido por Stephen Morris, economista do MIT, em colaboração com colegas das universidades Yale e Columbia, propôs mecanismos específicos. Esses mecanismos visam impedir que agentes de IA manipulem os resultados de testes para parecerem menos capazes do que realmente são, um comportamento que poderia ser usado para evitar o acionamento de importantes mecanismos de segurança.