Category: Cloudflare

Cloudflare declara guerra a bots que rastreiam sites para treinar IA

1 de julho de 2025

Cloudflare declara guerra a bots que rastreiam sites para treinar IA

Cloudflare declara guerra a bots de IA (imagem: Vitor Pádua/Tecnoblog)

Não é de hoje que a Cloudflare demonstra certa resistência a serviços de inteligência artificial generativa, mas digamos que a guerra a esses mecanismos acabou de ser declarada: a companhia decidiu bloquear, por padrão, bots de IA que rastreiam os sites de seus clientes.

A Cloudflare fornece serviços de otimização e segurança para milhões de sites e serviços online. Os recursos que a companhia oferece permitem que páginas web carreguem mais rapidamente em seu navegador ou sejam protegidas em caso de ataques de negação de serviço (DDoS), por exemplo.

Esses serviços permitem que a Cloudflare saiba quando os sites de seus clientes estão sendo rastreados por bots. Até um passado recente, esses rastreadores eram operados principalmente pelo Google e a Microsoft para indexar páginas para aparecerem em seus mecanismos de busca.

Hoje, porém, há uma enormidade de bots atuando em prol de serviços de IA generativa, como ChatGPT e Google Gemini. O problema é que, ao contrário dos rastreadores dos buscadores convencionais, os serviços de inteligência artificial coletam os dados de páginas web para gerar respostas às consultas dos usuários, mas proporcionam pouca ou nenhuma visita aos sites que as hospedam.

Vem daí a decisão da Cloudflare de bloquear rastreadores para serviços de inteligência artificial. A novidade começa a valer a partir desta terça-feira (01/07) como parte de uma campanha que a companhia batizou de “Dia da Independência do Conteúdo”.

Como funciona o novo bloqueio de IA da Cloudflare?

Basicamente, a Cloudflare perguntará a novos clientes se eles querem que os bots de IA rastreiem os seus sites. Clientes já existentes também poderão fazer esse tipo de configuração.

Será possível inclusive bloquear determinados rastreadores e liberar outros, bem como aplicar o bloqueio apenas em páginas que exibem anúncios, por exemplo.

A Cloudflare já oferece ferramentas que permitem bloquear ou limitar a ação de bots de IA. A diferença é que, agora, os clientes terão uma gama de opções maior para fazer esse controle.

Nesse sentido, a Cloudflare oferecerá ainda o recurso Pay Per Crawl, que permitirá que os administradores de sites definam um preço para que serviços de IA rastreiem as suas páginas. Esses serviços poderão, então, decidir se aceitam ou não pagar pelo rastreamento.

Inicialmente, o Pay Per Crawl será oferecido a um número restrito de sites, mas a Cloudflare pretende ampliar o acesso ao recurso em etapas futuras.

Matthew Prince, CEO da Cloudflare (imagem: Flickr/World Economic Forum)

CEO da Cloudflare fala em “morte da web”

Esse movimento não é inesperado. Matthew Prince, CEO da Cloudflare, já havia declarado que a web como a conhecemos está morrendo por causa da IA.

Prince se refere principalmente ao crescimento do chamado “zero clique”, comportamento que ocorre quando o usuário encontra o que precisa ao fazer uma busca ou consulta sem ter que clicar em links nos resultados.

Se os links não são clicados, os sites relacionados a eles não são acessados. Logo, essas páginas deixam de gerar receita com publicidade online ou com vendas, por exemplo. “Hoje, 75% das buscas são respondidas sem que você saia do Google”, explica o executivo. Esse cenário pode fazer um número gigantesco de sites simplesmente se tornarem inviáveis.

Com informações de MIT Technology Review

Cloudflare declara guerra a bots que rastreiam sites para treinar IA

Cloudflare declara guerra a bots que rastreiam sites para treinar IA
Fonte: Tecnoblog

CEO da Cloudflare adverte: a web como conhecemos está morrendo

12 de maio de 2025

CEO da Cloudflare adverte: a web como conhecemos está morrendo

Matthew Prince, CEO da Cloudflare (imagem: Flickr/World Economic Forum)

Resumo

Matthew Prince, CEO da Cloudflare, afirmou que a inteligência artificial tem enfraquecido o modelo de negócios da web ao reduzir o tráfego enviado a sites.
Ele apontou o avanço das buscas do tipo “zero clique”, nas quais o usuário obtém respostas sem acessar links, impulsionado pela IA generativa.
A Cloudflare está no centro dessa transformação, com seus serviços sendo usados por cerca de 80% das empresas de IA e presentes em 20% a 30% dos sites da web.

Matthew Prince é cofundador e CEO da Cloudflare, companhia que fornece serviços de otimização e segurança para milhões de sites em todo o mundo. É com base nessa posição que o executivo alertou em uma entrevista recente: a inteligência artificial está destruindo o modelo de negócio de grande parte dessas páginas.

Prince se refere principalmente ao crescimento do chamado “zero clique”. Esse comportamento ocorre quando o usuário encontra o que precisa ao fazer uma busca na web sem ter que clicar em nenhum link nos resultados.

Se os links não são clicados, os sites relacionados a eles não são acessados. Logo, essas páginas deixam de gerar receita com publicidade online ou com vendas, por exemplo.

A principal causa para esse fenômeno é a IA generativa. Serviços como ChatGPT e Google Gemini permitem que o usuário obtenha a informação da qual precisa na mesma tela de interação com essas ferramentas, sem que a pessoa tenha que acessar páginas externar para isso.

Não é que esses serviços não disponibilizem links complementares às respostas dadas. O problema é que a taxa de cliques nesses endereços é consideravelmente mais baixa em relação aos resultados das buscas convencionais. “Hoje, 75% das buscas são respondidas sem que você saia do Google”, complementou Prince.

O executivo também observou que, há cerca de dez anos, o Google levava um visitante para cada duas páginas que tinham dados coletados pelo buscador. Atualmente, essa proporção está em um acesso para cada seis páginas.

75% das buscas são respondidas sem que você saia do Google, diz Prince (imagem: Nathana Rebouças/Unsplash)

O que pode acontecer com a web?

O principal problema é que, sem uma quantidade razoável de acessos, a permanência dos sites afetados na web pode se tornar inviável. Além disso, muitos produtores de conteúdo poderão se sentir desmotivados a seguir com essa atividade por saberem que suas páginas servirão de base de dados para serviços de IA sem que nenhuma contrapartida seja oferecida.

O modelo de negócios da web não poderá sobreviver a menos que ocorra alguma mudança, pois cada vez mais as respostas às perguntas que você faz não o levarão à fonte original, mas a alguma derivação dessa fonte.

E, se os criadores de conteúdo não conseguem extrair valor daquilo que estão fazendo, eles deixarão de criar conteúdo original.

Matthew Prince, CEO da Cloudflare

O executivo também contou que 80% das empresas de IA usam a Cloudflare e que os serviços da companhia estão presentes em 20% a 30% dos sites na web. “Então, estamos no meio disso. E acho que parte do que estamos pensando é sobre isso [como lidar com o problema]”.

Com informações de Council on Foreign Relations e TechSpot
CEO da Cloudflare adverte: a web como conhecemos está morrendo

CEO da Cloudflare adverte: a web como conhecemos está morrendo
Fonte: Tecnoblog

CEO diz que Cloudflare não tem envolvimento em novo bloqueio do X/Twitter

24 de setembro de 2024

CEO diz que Cloudflare não tem envolvimento em novo bloqueio do X/Twitter

CEO diz que Cloudflare não tem envolvimento em novo bloqueio do X/Twitter (ilustração: Vitor Pádua/Tecnoblog)

Na semana passada, o X/Twitter ficou acessível para alguns usuários no Brasil, mas foi bloqueado novamente no dia seguinte. Para reaplicar a restrição, a Anatel (Agência Nacional de Telecomunicações) declarou ter notificado provedores e contado com o apoio da Cloudflare. Mas o CEO da companhia nega.

Usuários no Brasil conseguiram acessar a rede social em 18 de setembro. Mas não houve decisão judicial favorável a esse retorno. De acordo com a Abrint (Associação Brasileira de Provedores de Internet e Telecomunicações), o X/Twitter usou os serviços da Cloudflare como proxy reverso para ficar novamente acessível no país.

No dia seguinte, o X/Twitter voltou a ficar bloqueado. Na ocasião, a Anatel declarou que o novo bloqueio foi possível “com o apoio ativo das prestadoras de telecomunicações e da empresa Cloudflare”.

Ficou parecendo, então, que a Cloudflare não hesitou em colaborar com as autoridades brasileiras para manter a determinação local que bloqueia o X/Twitter no Brasil.

CEO da Cloudflare nega colaboração

Na segunda-feira (23), Matthew Prince, CEO da Cloudflare, deu uma entrevista à Bloomberg em que nega a participação da companhia no novo bloqueio:

Para ser honesto, eu não sei sobre o que as autoridades brasileiras estão falando, pois nós não trabalhamos especificamente com eles para bloquear o X ou fazer o X ficar acessível no Brasil.

Matthew Prince, CEO da Cloudflare

Na sequência, o executivo explicou que houve, sim, uma parceria entre a Cloudflare e o X/Twitter que levou a alterações no endereço IP da rede social, mas que isso não foi feito com o intuito de contornar o bloqueio aplicado no Brasil.

O executivo explicou ainda que o país conseguiu retomar o bloqueio considerando o novo endereço IP do X/Twitter, mas que a Cloudflare não fez nada para aumentar essa capacidade de restrição ou, pelo contrário, dificultá-la. “Foi simplesmente uma coincidência”.

O Tecnoblog apurou que a Anatel não irá se manifestar sobre a declaração de Prince.

X/Twitter segue bloqueado no Brasil

O X/Twitter está suspenso no Brasil desde 30 de agosto, por determinação de Alexandre de Moraes, ministro do Supremo Tribunal Federal. A rede social não atendeu a solicitações judiciais de suspensão de determinados perfis. Posteriormente, Elon Musk, empresário que controla o X/Twitter, deixou a empresa sem representação legal no país, o que motivou o bloqueio.

Na semana passada, o X/Twitter chegou a indicar representantes legais no Brasil, mas Moraes pediu documentação comprobatória, o que não foi feito até o momento.

A representação legal e reconhecida está entre as condições que podem fazer a rede social ficar novamente acessível no país, com aval judicial.

CEO diz que Cloudflare não tem envolvimento em novo bloqueio do X/Twitter

CEO diz que Cloudflare não tem envolvimento em novo bloqueio do X/Twitter
Fonte: Tecnoblog

Cloudflare lança bloqueio contra robôs que leem sites para treinar IA

23 de setembro de 2024

Cloudflare lança bloqueio contra robôs que leem sites para treinar IA

Cloudflare diz que robôs de IA podem prejudicar audiência dos sites (Imagem: Vitor Pádua / Tecnoblog)

A Cloudflare apresentou um novo serviço para sites: com um clique, administradores poderão bloquear robôs que raspam dados e usam as informações coletadas no treinamento de inteligência artificial.

A barreira faz parte de um conjunto de ferramentas direcionados à proteção contra IA, que recebeu o nome de AI Audit. Segundo a empresa, também será possível identificar quais são os robôs que mais raspam conteúdo de um site.

AI Audit aponta quais robôs mais visitaram o site (Imagem: Divulgação / Cloudflare)

As ferramentas eram esperadas desde julho, quando a Cloudflare fez o primeiro anúncio sobre o assunto. Os planos da empresa não param por aí. Ela revelou que pretende criar um marketplace voltado a este tipo de tecnologia.

Na plataforma, sites poderão colocar um preço em seu conteúdo e negociar com empresas de tecnologia que queiram usar estes dados, liberando os bots que fazem a coleta das informações.

Sites jornalísticos dizem que robôs desrespeitam instruções

As ferramentas de bloqueio são o mais novo capítulo na conturbada relação entre empresas de conteúdo, como sites jornalísticos, e desenvolvedoras de modelos de linguagem em larga escala (LLMs, na sigla em inglês).

Em junho, a Perplexity AI foi acusada por Forbes e Condé Nast (dona de Wired, Ars Technica e outras publicações) de ignorar as configurações do arquivo robots.txt e escanear os sites sem autorização. Segundo as empresas, reportagens exclusivas estavam sendo plagiadas pelo chatbot da startup, sem que os devidos créditos fossem dados.

O arquivo robots.txt indica se um site quer ou não ser lido por bots. Ele não representa uma barreira técnica e não é capaz de bloquear um robô, servindo apenas uma recomendação. Até pouco tempo atrás, este pedido costumava ser atendido pelas companhias de tecnologia.

A nova ferramenta da Cloudflare vai tentar solucionar este problema. “Muitos sites permitiram que estes crawlers de IA escaneassem seu conteúdo porque, em grande parte, eles pareciam ‘bons’ robôs — mas o resultado foi menos audiência, já que o conteúdo foi reembalado e usado nas respostas escritas por IA”, comenta a empresa em seu blog.

Com informações: Cloudflare, TechCrunch, Ars Technica
Cloudflare lança bloqueio contra robôs que leem sites para treinar IA

Cloudflare lança bloqueio contra robôs que leem sites para treinar IA
Fonte: Tecnoblog