Cloudflare bloqueia robôs de IA na rede
A Cloudflare, uma das maiores empresas de infraestrutura de internet do mundo, anunciou que vai bloquear por padrão os bots de inteligência artificial (IA) que rastreiam sites de seus clientes. A medida visa proteger os criadores de conteúdo, garantindo que tenham mais controle sobre o uso de seus materiais por empresas de IA. A decisão da Cloudflare surge em um momento em que a coleta de dados por bots de IA generativa se intensificou, gerando preocupações sobre a sustentabilidade dos sites que dependem de tráfego orgânico e receita de publicidade.
Contexto da Decisão
Diferentemente dos rastreadores de mecanismos de busca tradicionais, que direcionam tráfego para os sites, os bots de IA coletam dados para gerar respostas diretas aos usuários em chatbots, muitas vezes sem que estes visitem os sites de origem. Essa prática pode reduzir o tráfego e a receita dos sites, tornando o modelo de negócios insustentável. Matthew Prince, CEO da Cloudflare, descreveu a situação atual como uma “ameaça existencial” para editores e criadores de conteúdo. Ele enfatizou a importância de proteger o conteúdo original e garantir que os criadores continuem a produzi-lo.
Veja também:
Como Funciona o Bloqueio
A Cloudflare implementará o bloqueio de bots de IA como padrão para novos domínios que se inscreverem em seus serviços. Durante o processo de inscrição, os proprietários de sites serão questionados se desejam permitir ou bloquear os rastreadores de IA. Os clientes existentes também terão a opção de configurar suas preferências, permitindo o bloqueio total, o bloqueio de determinados rastreadores e a aplicação do bloqueio apenas em páginas que exibem anúncios.
Modelo Pay Per Crawl
Além do bloqueio, a Cloudflare está lançando um modelo de cobrança chamado “Pay Per Crawl”, permitindo que os sites cobrem pelo acesso dos robôs. As empresas de IA interessadas poderão visualizar os preços e decidir se desejam aderir ao sistema de pagamento. Inicialmente, a funcionalidade está disponível para um grupo restrito de grandes criadores e veículos de mídia.
Reações e Implicações
A iniciativa da Cloudflare foi recebida com entusiasmo por muitos administradores de sites, que a veem como uma forma de proteger seus dados e garantir uma compensação justa. Grandes veículos de comunicação, como The Associated Press, The Atlantic, Fortune, Stack Overflow e Quora, já adotaram as novas proteções da Cloudflare. No entanto, a medida também gerou debates sobre o futuro da coleta de dados para treinamento de IA e o impacto na inovação. Alguns especialistas alertam que o bloqueio generalizado de bots pode prejudicar a capacidade dos chatbots de IA de coletar dados para fins de treinamento e pesquisa. Outros argumentam que é necessário encontrar um equilíbrio entre a proteção dos direitos dos criadores de conteúdo e o avanço da tecnologia de IA.
O Impacto dos Bots na Internet
O tráfego automatizado de bots já representa uma parcela significativa da internet. Um relatório recente da Thales revelou que, pela primeira vez em uma década, o tráfego de bots superou o tráfego humano, representando 51% de todo o tráfego na internet. Desse total, 37% são bots maliciosos, utilizados para atividades como scraping de dados, fraude em transações e exploração de vulnerabilidades. A ascensão da IA generativa tem facilitado a criação de bots mais sofisticados e acessíveis, aumentando a complexidade da segurança na web.
O Futuro da Web
A iniciativa da Cloudflare marca um ponto de inflexão na relação entre criadores de conteúdo e empresas de IA. A empresa busca devolver o controle aos editores e construir um novo modelo econômico que funcione para todos. A Cloudflare pretende usar sua experiência em segurança digital para identificar e bloquear bots que ignoram regras básicas, como o arquivo robots.txt. A empresa já desenvolveu formas de enganar bots indesejados, fazendo com que eles naveguem por páginas falsas geradas por inteligência artificial. Embora haja preocupações sobre possíveis impactos em usos não comerciais, como pesquisa acadêmica e arquivamento da web, a Cloudflare afirma que a ideia não é fechar portas, mas permitir negociações mais justas entre criadores de conteúdo e empresas de IA.