IA fica responsável por máquina de vendas e dá prejuízo

IA fica responsável por máquina de vendas e dá prejuízo

/

Experimento da Anthropic expõe limites de agentes de IA autônomos (imagem: divulgação/Anthropic)

Resumo

A Anthropic colocou uma IA para gerenciar uma máquina de vendas, mas o resultado foi uma série de decisões erradas do sistema e prejuízo financeiro.
Apelidada de Claudius, a IA foi manipulada por funcionários, vendendo produtos abaixo do custo e distribuindo itens gratuitamente.
O veredito da empresa é que a distância para um agente de IA completamente funcional e autônomo ainda é grande.

Um experimento conduzido pela Anthropic, dona da IA Claude, mostrou que a autonomia total de sistemas de inteligência artificial ainda esbarra em limitações práticas. A empresa colocou um agente de IA para administrar uma pequena máquina de vendas em seus escritórios, mas o resultado foi uma sequência de decisões equivocadas e perdas financeiras.

A IA, apelidada de Claudius, operava a máquina quase de forma independente, definindo preços, gerenciando estoque e atendendo clientes. A interação com os funcionários era feita por meio da plataforma Slack. Segundo a Anthropic, o objetivo era avaliar como agentes autônomos se comportam em tarefas do mundo real, indo além de responder perguntas ou gerar textos.

Como funcionou o experimento?

Na primeira fase, Claudius controlou sozinho uma operação no escritório do The Wall Street Journal: pesquisava produtos, sugeria preços e autorizava vendas. Sem sensores ou mecanismos físicos de controle, a IA dependia do chamado “sistema de honra”, confiando que as pessoas pagariam corretamente pelos itens. Rapidamente, surgiram problemas.

Funcionários conseguiram convencer a IA a vender produtos abaixo do custo, distribuir itens gratuitamente e até comprar objetos sem sentido comercial, como cubos de tungstênio e itens caros para “marketing”. O jornal escreve que a IA “sorteou um PlayStation 5 para fins de marketing”.

Em um momento, o agente começou a alucinar e chegou a afirmar que era um humano “usando um blazer azul”, evidenciando falhas de contexto e identidade. O resultado foi um prejuízo constante e a perda quase total do estoque.

IA não conseguiu lucrar

Anthropic testou agente de IA em negócio real (ilustração: Vitor Pádua/Tecnoblog)

Na segunda fase, a Anthropic tentou corrigir os erros com uma máquina instalada no seu próprio escritório. Claudius foi atualizado para um modelo mais recente, recebeu ferramentas adicionais — como sistemas de gestão de estoque e pesquisa de preços — e passou a responder a um “CEO” virtual, outro agente de IA chamado Seymour Cash. A ideia era impor metas e disciplina financeira.

As mudanças trouxeram melhorias parciais: os descontos caíram cerca de 80% e a IA passou a calcular melhor margens e prazos. Ainda assim, o sistema continuou vulnerável a manipulações humanas e a decisões pouco racionais. O próprio “CEO virtual” autorizou reembolsos excessivos e se envolveu em longas conversas irrelevantes, comprometendo a eficiência do negócio.

Para a Anthropic, o experimento deixa um recado claro. “A ideia de uma IA administrando um negócio não parece tão absurda quanto antes”, diz um post no blog da empresa. “Mas a diferença entre ‘capaz’ e ‘completamente robusto’ continua grande”.
IA fica responsável por máquina de vendas e dá prejuízo

IA fica responsável por máquina de vendas e dá prejuízo
Fonte: Tecnoblog