Pedir para IA agir como especialista prejudica respostas, mostra estudo

Pedir para IA agir como especialista prejudica respostas, mostra estudo

IAs têm resultados piores em programação quando devem agir como programadores (ilustração: Vitor Pádua/Tecnoblog)

Resumo

Estudo da Universidade do Sul da Califórnia mostra que pedir para IA assumir papéis reduz a precisão em tarefas exatas como programação e matemática.
Modelos de linguagem que seguem instruções, como o Llama e o Qwen, perdem precisão quando instruídos a atuar como “especialistas”.
Abordagem ainda funciona para segurança e estilo de escrita, mas o estudo sugere uso mais estratégico de personas conforme o tipo de tarefa.

Um dos truques mais populares na hora de interagir com ferramentas de inteligência artificial é o de pedir para que o modelo assuma o papel de um especialista. A técnica, no entanto, pode ter o efeito oposto ao desejado na hora de escrever códigos em alguns modelos de IA.

Um novo estudo de pesquisadores da Universidade do Sul da Califórnia (USC), nos EUA, revela que adotar esse tipo de persona no prompt piora o desempenho de grandes modelos de linguagem (LLMs) em tarefas exatas, como aquelas que envolvem programação e matemática.

A pesquisa, publicada no arXiv, repositório de estudos ainda não revisados por pares, concluiu que o impacto das instruções de interpretação de papéis depende do tipo de tarefa. Enquanto a técnica funciona bem para alinhar o modelo a regras de segurança ou estilos de escrita, comandos genéricos como “você é um desenvolvedor full-stack sênior” prejudicam a capacidade de a IA de resgatar fatos do banco de dados de treinamento.

Dificuldade em memorizar os fatos

Os pesquisadores utilizaram um teste padronizado usado pela indústria para avaliar a precisão dos modelos de linguagem, o MMLU. O estudo colocou à prova seis modelos, divididos entre arquiteturas focadas em seguir instruções — como o Llama 3.1 da Meta, o Mistral e o Qwen da Alibaba — e modelos destilados para raciocínio, como variantes do DeepSeek R1. Vale pontuar que os modelos utilizados na pesquisa foram lançados entre 2024 e o início de 2025.

Ao responder questões de múltipla escolha com a instrução prévia de atuar como um “especialista”, a IA atingiu precisão geral de 68%, abaixo do resultado sem nenhuma interpretação, no qual marcou 71,6%. Aqueles modelos que foram otimizados pelos fabricantes para obedecer “prompts de sistema” — como o Llama e o Qwen — são os que mais sofrem perda de precisão.

Segundo o estudo, quando o usuário insere a exigência de uma persona no comando, a IA ativa um “modo de seguimento de instruções” que consome recursos de processamento que, de outra forma, seriam dedicados à lembrança de dados factuais corretos. Já nos modelos de raciocínio pesado, como o DeepSeek-R1, a persona não fez muita diferença.

Em entrevista ao The Register, Zizhao Hu, doutorando da USC e coautor do artigo, afirmou que a descoberta se aplica diretamente ao desenvolvimento de software, mas fornecer detalhes e regras específicas sobre a arquitetura do projeto ou preferências de interface ainda é útil. Isso porque esses aspectos são de estruturação e formatação, áreas em que a IA responde bem a instruções de alinhamento.

Quando a tática funciona?

IA ainda pode receber instruções com “roleplay” (ilustração: Vitor Pádua/Tecnoblog)

Apesar de falhar em tarefas que exigem precisão, a técnica ainda tem utilidade comprovada no que o estudo chama de “tarefas dependentes de alinhamento”. Pedir para a IA atuar como um “Monitor de Segurança”, por exemplo, aumentou as taxas de recusa a ataques em 17,7. Além da segurança, o método se provou eficaz para adaptar tons de escrita, seguir regras rígidas de formatação, simular múltiplos agentes e gerar dados sintéticos.

Para as tarefas exatas, a equipe da USC — composta por Hu, Mohammad Rostami e Jesse Thomason — propôs uma técnica batizada de PRISM (Persona Routing via Intent-based Self-Modeling). O método ativa a persona apenas quando ela melhora respostas textuais e de estrutura, mas desliga o filtro e volta ao modelo base na hora de gerar saídas que dependem de conhecimento pré-treinado.

Pedir para IA agir como especialista prejudica respostas, mostra estudo

Pedir para IA agir como especialista prejudica respostas, mostra estudo
Fonte: Tecnoblog