Cloudflare barra crawler de IA em página com anúncio

Entrou em vigor em 15 de setembro de 2026 a política da Cloudflare que passa a bloquear, por padrão, os chamados crawlers de uso misto em páginas de clientes sustentadas por publicidade. A empresa opera parte relevante da infraestrutura de entrega da web, o que dá alcance prático à decisão anunciada em julho.

Crawler de uso misto, na definição da Cloudflare, é o robô que faz mais de uma coisa ao mesmo tempo: indexa a página para busca e, na mesma visita, coleta o conteúdo para treinar modelos ou alimentar agentes. É justamente essa mistura que torna difícil para um site dizer “sim” à busca e “não” ao treinamento — a visita é uma só.

Quem é atingido

A mudança de padrão vale para novos clientes da Cloudflare, para sites novos criados por clientes existentes e para toda a base do plano gratuito. Quem já é cliente pago e tem uma configuração própria mantém o que estava valendo.

O argumento da Cloudflare é de balanço econômico. A empresa cita dados de 2025 sobre a razão entre rastreamentos e visitantes devolvidos ao site: cerca de 14 para 1 no caso do Google, 1.700 para 1 na OpenAI e 73 mil para 1 na Anthropic. A leitura é direta — o acordo histórico de “deixo você copiar meu conteúdo porque você me manda tráfego” deixou de fechar quando quem copia é um robô de IA.

Há também um argumento de custo bruto. Segundo a companhia, mais da metade do tráfego de crawlers de IA é de recoleta de páginas que não mudaram, gastando banda do publisher sem gerar nada novo. O presidente-executivo Matthew Prince afirmou que o tráfego não humano já supera o humano na internet.

Do pedágio à participação

Em paralelo ao bloqueio, a Cloudflare vem ampliando o lado comercial da equação. O piloto Pay Per Crawl cobra da empresa de IA pelo acesso ao conteúdo. A evolução, batizada de Pay Per Use, muda a lógica: em vez de cobrar por página buscada, cobra quando o conteúdo efetivamente gera valor — por exemplo, ao aparecer numa resposta de busca por IA. Ceramic.ai e You.com estão entre os primeiros parceiros.

O Google reagiu sustentando que seu robô Google-Extended já permite ao site sair do treinamento de IA sem prejudicar o ranqueamento na busca, o que na visão da empresa o separa da categoria de uso misto.

Para quem publica no Brasil, o efeito prático é imediato em dois pontos. Sites hospedados atrás da Cloudflare no plano gratuito passam a ter o bloqueio ligado sem precisar mexer em nada. E quem vive de audiência ganha, pela primeira vez, um botão de negociação em vez de apenas um arquivo robots.txt que ninguém é obrigado a respeitar.

Fontes: TechCrunch · Technology.org