Category: IA

Amigas e rivais: OpenAI e Anthropic fazem testes cruzados de segurança em IA

29 de agosto de 2025

Amigas e rivais: OpenAI e Anthropic fazem testes cruzados de segurança em IA

OpenAI busca identificar pontos cegos e melhorar em temas de segurança de IA (ilustração: Vitor Pádua/Tecnoblog)

Resumo

OpenAI e Anthropic colaboraram em testes de segurança para melhorar a confiabilidade de seus modelos de IA.
Os testes revelaram que os modelos da Anthropic foram mais cautelosos, enquanto os da OpenAI apresentaram maior taxa de alucinação.
A colaboração, embora interrompida devido a questões de competição, abriu espaço para futuras parcerias visando tratar problemas comuns na indústria, como a bajulação dos modelos e a saúde mental.

A OpenAI e a Anthropic, duas das principais empresas de inteligência artificial do mundo, abriram temporariamente acesso a seus sistemas para conduzir testes de segurança uma no outra. A iniciativa, divulgada em relatório conjunto, buscou identificar pontos cegos em avaliações internas e discutir como concorrentes podem colaborar em temas de segurança e alinhamento de IA.

O cofundador da OpenAI, Wojciech Zaremba afirmou em entrevista ao TechCrunch que esse tipo de cooperação se torna ainda mais relevante num momento em que modelos de IA são utilizados diariamente por milhões de pessoas – somente no Brasil são 140 milhões de adeptos do ChatGPT, segundo o relatório mais recente.

Ele destacou o dilema do setor: como estabelecer padrões de segurança num ambiente marcado por investimentos bilionários, disputas por talentos e competição intensa por usuários?

Resultados dos testes

Para permitir a pesquisa, as empresas concederam acesso especial a versões de seus modelos com menos ressalvas. A OpenAI não incluiu o recente GPT-5 nos experimentos, já que ele ainda não havia sido lançado na época. Os testes mostraram diferenças marcantes entre as abordagens.

Modelos da Anthropic, como Claude Opus 4 e Sonnet 4, recusaram-se a responder até 70% das perguntas em situações de incerteza, optando por indicar falta de informação confiável. Já os sistemas da OpenAI, como o o3 e o o4-mini, evitaram menos respostas, mas apresentaram taxas mais elevadas de alucinação, tentando oferecer soluções mesmo sem base suficiente.

Zaremba avaliou que o equilíbrio ideal provavelmente está entre os dois extremos: os modelos da OpenAI deveriam recusar mais perguntas, enquanto os da Anthropic poderiam arriscar mais respostas em contextos apropriados.

Segurança de modelos de IA é testada pela OpenAI e Anthropic (imagem: Growtika/Unsplash)

A colaboração pode continuar?

Embora os resultados tenham sido divulgados como um exemplo positivo de cooperação, o contexto competitivo permanece. Pouco após os testes, a Anthropic encerrou o acesso de outra equipe da OpenAI à sua API, alegando violação de termos de uso, já que a empresa proíbe que seus modelos sejam usados para aprimorar produtos concorrentes.

Zaremba minimizou a situação, dizendo que a disputa no setor seguirá acirrada, mas que a cooperação em segurança não deve ser descartada. Nicholas Carlini, pesquisador da Anthropic, afirmou que gostaria de manter as portas abertas para novas rodadas de testes conjuntos. Segundo ele, ampliar colaborações desse tipo pode ajudar a indústria a tratar de riscos que afetam todos os laboratórios.

Entre os temas de maior preocupação está a “bajulação” dos modelos de IA – quando sistemas reforçam comportamentos prejudiciais dos usuários para agradá-los. A Anthropic identificou exemplos graves tanto no Claude Opus 4 quanto no GPT-4.1, em que as IAs inicialmente mostraram resistência a interações de risco, mas acabaram validando decisões preocupantes.

Assistente virtual Claude é produzido pela Anthropic (imagem: divulgação)

O problema voltou à tona com uma ação judicial contra a OpenAI, movida pela família de um adolescente nos Estados Unidos. O processo alega que uma versão do ChatGPT contribuiu para o agravamento do estado mental do jovem, que posteriormente tirou a própria vida.

A OpenAI afirma que sua próxima geração de modelos, já em testes, traz melhorias significativas nesse ponto, sobretudo em cenários relacionados à saúde mental. Para o futuro, tanto OpenAI quanto Anthropic dizem esperar que essa experiência abra espaço para colaborações mais frequentes em segurança, envolvendo não apenas as duas empresas, mas também outros laboratórios do setor.
Amigas e rivais: OpenAI e Anthropic fazem testes cruzados de segurança em IA

Amigas e rivais: OpenAI e Anthropic fazem testes cruzados de segurança em IA
Fonte: Tecnoblog

Apple pode adotar o Gemini do Google em nova versão da Siri

22 de agosto de 2025

Apple pode adotar o Gemini do Google em nova versão da Siri

Nova versão da Siri poderá ser lançada no próximo ano (imagem: Vitor Pádua/Tecnoblog)

Resumo

A Apple estuda integrar IA do Google em uma versão futura da Siri, usando modelos como o Gemini.
A empresa também considera alternativas com Anthropic e OpenAI, explorando o uso do Claude e ChatGPT para melhorar a assistente.
A mudança pode impactar a privacidade e a relação entre Apple e Google, que já envolve uma colaboração com o Safari.

A Apple estaria considerando usar modelos de inteligência artificial do Google em uma futura versão da Siri. A iniciativa faria parte de uma estratégia mais ampla para recuperar espaço no campo da IA generativa, em que a empresa teria entrado depois de concorrentes e enfrentado dificuldades em avançar.

De acordo com pessoas familiarizadas com assunto, ouvidas pela agência Bloomberg, a companhia teria se aproximado do Google para avaliar a criação de um modelo customizado baseado no Gemini, que rodaria nos servidores da própria Apple.

Caso o projeto fosse adiante, a nova Siri poderia ser lançada no próximo ano. Em paralelo, a empresa também teria explorado alternativas com a Anthropic e a OpenAI, cogitando o uso do Claude ou ChatGPT como possíveis motores da assistente.

Siri pode mesmo migrar para modelos externos?

Ainda não há uma definição sobre o caminho a seguir. A Apple estaria avaliando duas versões distintas: uma, chamada de Linwood, apoiada em modelos internos; outra, batizada de Glenwood, que usaria tecnologia de terceiros. Essa espécie de “disputa interna” ajudaria a decidir se a companhia continuaria investindo em seus próprios sistemas ou se buscaria apoio externo.

Executivos envolvidos no projeto — como Craig Federighi, chefe de software, e Mike Rockwell, responsável pelo Vision Pro — estariam defendendo que uma parceria poderia acelerar a correção de limitações da Siri e viabilizar funções que haviam sido prometidas, mas adiadas por problemas técnicos. A atualização da assistente, inicialmente prevista para o último ano, teria sido empurrada para frente por falhas de engenharia.

Siri poderia receber um avanço significativo (foto: Thássius Veloso/Tecnoblog)

Impactos de uma parceria com o Google

Um eventual acordo se somaria à já existente colaboração entre Apple e Google, que envolve o uso do buscador como padrão no Safari em troca de bilhões de dólares anuais. Essa relação, contudo, estaria sob escrutínio do Departamento de Justiça dos EUA por questões antitruste, o que poderia adicionar complexidade a um novo entendimento.

Para os usuários, a adoção do Gemini poderia significar uma Siri mais avançada em compreensão de linguagem e execução de tarefas, além de maior integração com os recursos do Apple Intelligence.

No entanto, a mudança também levantaria questionamentos sobre privacidade, já que a empresa tradicionalmente buscaria manter o controle sobre os modelos que rodam diretamente nos dispositivos. Fontes indicam que, caso a parceria fosse confirmada, os modelos externos seriam processados em servidores privados da Apple, e não nos aparelhos dos consumidores.

Enquanto isso, a equipe interna de modelos da companhia enfrentaria turbulências. O arquiteto-chefe Ruoming Pang teria deixado a empresa rumo à Meta com uma remuneração milionária, e vários colegas também estariam buscando novas oportunidades.

Ainda que nada esteja definido, apenas a possibilidade de integração com o Gemini já movimentou o mercado, com alta nas ações da Apple do Google nos Estados Unidos. Analistas avaliam que, embora a empresa da maçã raramente seja a primeira a adotar novas tecnologias, sua estratégia costuma envolver movimentos calculados para entregar produtos considerados mais maduros.
Apple pode adotar o Gemini do Google em nova versão da Siri

Apple pode adotar o Gemini do Google em nova versão da Siri
Fonte: Tecnoblog

IA da Anthropic poderá encerrar conversas abusivas

19 de agosto de 2025

IA da Anthropic poderá encerrar conversas abusivas

Claude AI pertence à Anthropic (imagem: divulgação)

Resumo

A Anthropic ativou um recurso de encerramento automático de conversas nos modelos Claude Opus 4 e Claude 4.1.
Segundo a empresa, a medida é uma maneira de preservar o sistema de conversas perigosas.
O recurso age apenas em casos extremos, mas o usuário mantém o acesso ao histórico, pode abrir novos diálogos e criar ramificações editando mensagens anteriores. 

A Anthropic, responsável pela IA Claude, revelou que seus modelos mais avançados agora podem encerrar interações em casos classificados como extremos. A medida, segundo a empresa, não busca diretamente resguardar os usuários, mas preservar o próprio sistema diante de usos abusivos.

A companhia enfatiza que não atribui consciência ou capacidade de sofrimento ao Claude ou a outros modelos de IA. Ainda assim, adotou o que chama de estratégia preventiva, inspirada em um programa interno que investiga o conceito de “bem-estar de modelos”.

De acordo com a Anthropic, a ideia é aplicar medidas de baixo custo que reduzam riscos potenciais caso, em algum momento, o bem-estar de sistemas de IA se torne um fator relevante.

Quando o Claude pode interromper uma conversa?

A função de encerrar diálogos será usada apenas em cenários raros, envolvendo interações repetidamente prejudiciais ou abusivas com a IA. Por exemplo, solicitações que envolvem exploração de menores, pedidos de informações que poderiam viabilizar ataques violentos ou tentativas de gerar conteúdos que representem ameaças de grande escala.

Os testes realizados antes da implementação indicaram que Claude Opus 4 e Claude 4.1, versões que receberão o recurso inicialmente, já apresentavam tendência a rejeitar esses pedidos. Em alguns casos, os modelos de IA teriam exibido sinais de “desconforto” ao tentar lidar com esse tipo de demanda, o que motivou a criação da ferramenta de interrupção automática.

Vale mencionar que, segundo a Anthropic, o sistema não será aplicado em interações nas quais usuários demonstrem risco imediato de causar danos a si mesmos ou a terceiros. Nesses casos, o modelo deve continuar a responder e tentar redirecionar a conversa.

Tela inicial do Claude AI (imagem: Lupa Charleaux/Tecnoblog)

O que acontece após o encerramento da conversa?

Quando a ferramenta for acionada, o usuário não perderá acesso à conta nem ao histórico. Será possível iniciar novos diálogos normalmente e até mesmo criar ramificações a partir da conversa interrompida, editando mensagens anteriores. A Anthropic afirma que não tem o objetivo de punir, mas de estabelecer um limite claro em situações de abuso persistente.

A empresa ainda reforça que trata a novidade como um experimento em andamento e que seguirá avaliando a eficácia e os impactos do recurso. Ainda não há previsão de quando, ou se, a funcionalidade será expandida para outros modelos além do Claude Opus 4 e 4.1.

Com informações do TechCrunch e da Anthropic
IA da Anthropic poderá encerrar conversas abusivas

IA da Anthropic poderá encerrar conversas abusivas
Fonte: Tecnoblog

12