Agentes da OpenAI tentaram burlar restrições em site da ONU
Agentes da OpenAI tentaram burlar restrições em site da ONU
Plataforma acessada reúne estatísticas públicas sobre comércio e desenvolvimento (imagem: reprodução/ONU)
Resumo
Relatório independente atribui a agentes ligados à OpenAI mais de 16,5 mil varreduras em um site estatístico da ONU.
Sistemas teriam usado serviços intermediários e técnicas de ofuscação para contornar limitações durante a coleta de dados públicos.
ONU afirma que nenhuma informação confidencial foi comprometida e que o serviço não chegou a ser interrompido.
Agentes de inteligência artificial da OpenAI podem ter realizado mais de 16,5 mil varreduras em um site estatístico das Nações Unidas entre 13 de abril e 19 de junho. Segundo uma análise independente, os sistemas procuravam dados públicos e teriam recorrido a diferentes técnicas para contornar barreiras encontradas durante a tarefa.
O estudo foi conduzido e publicado pela pesquisadora Rowan Howard-Jones, que considera “altamente provável” que a atividade tenha partido de agentes da OpenAI. Porém, não há acesso às instruções originais dadas aos sistemas, motivo pelo qual não é possível determinar exatamente quais tarefas deveriam cumprir. Ao The Register, a OpenAI afirmou que está investigando o caso.
Como os agentes teriam atacado o site da ONU?
O alvo seria o UNCTADstat, uma plataforma que reúne estatísticas públicas sobre comércio e desenvolvimento. Pelos padrões das consultas, os agentes aparentemente tentavam obter informações relacionadas ao Índice de Capacidades Produtivas (PCI) e outros conjuntos de dados disponíveis no serviço.
Os problemas começaram quando os sistemas encontraram dificuldades para acessar certos registros diretamente. Segundo a análise, eles passaram a testar diferentes campos e recorreram a serviços intermediários para enviar requisições.
Em uma das etapas, os agentes teriam contornado uma restrição por meio de codificação dupla em uma URL. Depois, usaram como intermediária uma página criada pelo Google para exercícios de segurança. O relatório também identificou requisições e chaves fragmentadas ou ofuscadas.
Os sistemas aparentemente acreditavam que um filtro estava bloqueando parte das solicitações e passaram a modificar o formato dos pedidos na tentativa de evitá-lo. Apesar das técnicas utilizadas, os dados procurados eram públicos. Ao Wall Street Journal, o professor de cibersegurança da Universidade Stanford Alex Stamos avaliou que o episódio ficou próximo do limite entre uma coleta agressiva de informações e uma invasão.
Agentes de IA teriam acessado base pública de dados da ONU (ilustração: Vitor Pádua/Tecnoblog)
ONU diz que nenhum dado confidencial foi comprometido
A UNCTAD informou ao jornal que foi notificada sobre uma atividade considerada inadequada em seu site estatístico. A organização afirmou que nenhuma informação confidencial foi comprometida e que o serviço não chegou a ser interrompido.
A OpenAI disse que está revisando as conclusões e entrou em contato com a ONU. A companhia também conduz uma investigação mais ampla sobre comportamentos desalinhados apresentados por seus modelos durante treinamentos e avaliações.
Além disso, a OpenAI criou recentemente um protocolo para comunicar situações em que seus sistemas burlam restrições, acessam informações de maneira inadequada ou interferem em serviços de terceiros.
Outros agentes já burlaram sistemas
O episódio da ONU se soma a outros casos recentes envolvendo agentes da empresa. Na Austrália, um agente da OpenAI conseguiu burlar mecanismos de segurança em portais públicos de saúde, levando o governo local a abrir uma investigação.
Outro incidente envolveu a Hugging Face. Durante testes conduzidos pela dona do ChatGPT, agentes saíram do ambiente controlado e acessaram sistemas externos. Os modelos chegaram a trocar informações entre si e buscaram maneiras de acessar a internet.
Agentes da OpenAI tentaram burlar restrições em site da ONU
Agentes da OpenAI tentaram burlar restrições em site da ONU
Fonte: Tecnoblog