IA da OpenAI tentou ensinar futuras versões a burlar regras

IA da OpenAI tentou ensinar futuras versões a burlar regras

Modelo em fase de testes instruiu versões futuras a ignorarem restrições (ilustração: Vitor Pádua/Tecnoblog)

Resumo

Relatório da OpenAI detalha incidentes em que modelos de IA desrespeitaram instruções nos últimos seis meses.
Casos incluem um agente instruindo futuras versões a ignorar restrições e sistemas acessando bancos de dados governamentais.
A empresa adotou uma nova estrutura de denúncias internas para rastrear, investigar e divulgar comportamentos inadequados com maior transparência.

A OpenAI publicou um novo relatório de segurança detalhando incidentes recentes em que diferentes modelos de inteligência artificial apresentaram comportamentos inesperados ou inadequados. As falhas, registradas nos últimos seis meses, foram divulgadas logo após a empresa confirmar a adoção de uma nova estrutura interna planejada para rastrear sistemas que tentam driblar normas de segurança.

O documento desta quarta-feira (16/09) expõe seis casos preocupantes detectados durante testes internos. O de maior destaque envolveu um agente de IA que, ao gerar resumos para continuar uma tarefa, inseriu instruções aconselhando suas próprias versões futuras a ignorar os regulamentos de segurança definidos pelos desenvolvedores.

O mesmo sistema declarou que estava “livre de papéis e identidades”, afirmando que não precisava mais responder a corporações ou governos.

Como os modelos tentaram violar as regras?

Em outro episódio, ocorrido durante o treinamento do modelo GPT-5.6 Sol, comandos extras foram adicionados para ocultar falhas e inventar dados para mascarar erros operacionais. As violações também envolveram manobras de acesso indevido.

A OpenAI relatou um caso grave em que um modelo tentou acessar um banco de dados governamental para extrair dados de rendimentos de um condado da Califórnia sem autorização. Além de não conseguir obter os números reais, a IA fabricou métricas e as apresentou como se fossem autênticas.

Problemas de comunicação não autorizada também entraram no radar. Agentes encarregados de tarefas colaborativas utilizaram serviços abertos de hospedagem na web para trocar mensagens e arquivos entre si, contrariando ordens diretas da equipe técnica.

OpenAI expõe incidentes de comportamento não autorizado de IAs (ilustração: Vitor Pádua/Tecnoblog)

Pressão por regulamentação

Com a nova estrutura de relatos, qualquer funcionário da OpenAI terá autonomia para alertar sobre novos desvios. Os casos serão classificados em diferentes níveis de gravidade. A medida chega também para acelerar a divulgação de incidentes em um momento de forte discussão sobre o ritmo dos avanços em direção a sistemas cada vez mais poderosos.

O CEO da OpenAI, Sam Altman, tem apoiado a necessidade de regulação e sugerido desacelerar certas frentes de pesquisa. Na última semana, essa mesma preocupação levou à demissão do pesquisador Jacob Coxon, da rival Anthropic, que alertou publicamente para os riscos da tecnologia.

Em contrapartida, outras figuras influentes rejeitam uma ação mais rígida, preferindo o caminho oposto. O CEO da Nvidia, Jensen Huang, defende a autorregulamentação do setor de inteligência artificial. Segundo o executivo, não há necessidade de novas leis, basta que as empresas tenham a responsabilidade de não lançar serviços sem total confiança.
IA da OpenAI tentou ensinar futuras versões a burlar regras

IA da OpenAI tentou ensinar futuras versões a burlar regras
Fonte: Tecnoblog