(Imagem: T. Schneider / Shutterstock.com)
A Cloudflare anunciou um novo recurso voltado a donos de sites que querem manter o controle sobre como seus conteúdos são utilizados por ferramentas de inteligência artificial (IA). Chamado “Pay per crawl”, o sistema permite que proprietários de domínios cobrem pelo acesso de rastreadores automatizados, como os utilizados para treinar modelos de IA generativa.
A proposta surge em um momento em que muitos criadores e empresas se sentem forçados a escolher entre liberar totalmente o acesso aos seus dados ou restringi-lo de forma rígida. Com a nova solução, a Cloudflare busca oferecer uma terceira alternativa, na qual o conteúdo continua acessível a robôs de IA, mas mediante pagamento por solicitação.
O nome da ferramenta, “Pay per crawl”, pode ser traduzido como “pague por rastreamento”. A palavra crawl, em inglês, é usada na área de tecnologia para descrever o processo em que robôs automatizados — chamados de crawlers — percorrem páginas da web para coletar informações, como fazem buscadores e ferramentas de inteligência artificial. Ou seja, “Pay per crawl” significa que, em vez de permitir o acesso gratuito a esses robôs, o site pode cobrar por cada visita automatizada feita ao seu conteúdo.
Um dos pontos centrais do sistema é o controle detalhado que ele oferece. Mesmo que um robô de IA ainda não tenha uma relação de pagamento com a Cloudflare, o proprietário do site pode optar por marcar aquele acesso como “cobrável”. Isso serve como um indicativo de que, futuramente, o acesso poderá ser negociado, ao invés de simplesmente bloquear por completo.
A Cloudflare também implementou um conjunto de mecanismos de autenticação para garantir que os rastreadores não sejam falsificados por terceiros. Os robôs precisam se registrar, gerar chaves criptográficas públicas e assinar digitalmente suas requisições para que o acesso seja considerado válido e a cobrança seja efetuada.
O acesso pode acontecer de duas formas: por tentativa reativa, em que o robô tenta acessar e recebe o aviso de cobrança, ou por declaração antecipada de preço, em que o robô já informa quanto está disposto a pagar e aguarda a validação da requisição.
Quando há concordância entre o valor oferecido pelo robô e o preço configurado pelo dono do site, o conteúdo é entregue normalmente e o evento é registrado como pago. Se houver divergência, o site retorna o código HTTP 402 com o valor exigido, e cabe ao robô decidir se continua com a solicitação.
Leia mais:
O recurso está disponível inicialmente em beta privado, e a Cloudflare convida tanto criadores de conteúdo quanto operadores de robôs a se inscreverem para testes. A empresa vê o “Pay per crawl” como o início de uma transformação mais ampla na forma como conteúdos digitais são valorizados e acessados na internet.
Segundo a companhia, o modelo pode evoluir para incluir precificação dinâmica, licenças mais granulares e até negociações automatizadas feitas por agentes inteligentes. Ao basear-se no já existente código HTTP 402, a Cloudflare aposta em um padrão que poderá ser ampliado conforme novas formas de consumo e remuneração digital se consolidem.
Esta post foi modificado pela última vez em 1 de julho de 2025 13:52