Pular para o conteúdo
Tecnologia

Bots estão consumindo milhões de páginas e isso pode mudar a economia da internet

Os números pareciam normais até que o dono decidiu olhar diretamente para os servidores. O que encontrou revelou uma mudança silenciosa no funcionamento da internet.
Por

Tempo de leitura: 4 minutos

Quando uma página registra alguns milhares de visualizações, é natural imaginar que esse seja o tamanho de sua audiência. Mas existe uma parte da internet que as ferramentas tradicionais simplesmente não mostram. Milhões de requisições podem chegar aos servidores sem aparecer como visitantes nas estatísticas. Foi justamente ao investigar essa diferença que o responsável por uma pequena base de dados americana encontrou um cenário muito maior do que imaginava.

Os números não batiam

Nick Gray, criador do PatronView, passou cerca de um ano analisando os registros diretamente de seu servidor. A plataforma reúne aproximadamente 1,5 milhão de perfis relacionados à filantropia nos Estados Unidos.

O que chamou sua atenção foi a enorme diferença entre aquilo que o servidor entregava e o que as ferramentas de análise registravam como visualizações humanas.

Em apenas uma semana, o servidor recebeu cerca de 2,5 milhões de solicitações externas e entregou 1,28 milhão de páginas completas.

As ferramentas de analytics, porém, contabilizaram somente 5.977 visualizações.

A diferença é gigantesca: para cada página que aparecia nas estatísticas como uma visita, o servidor havia entregado aproximadamente outras 214 páginas.

Isso não significa que 99% de toda a internet seja composta por robôs ou que todas as requisições tenham vindo de sistemas de inteligência artificial. O tráfego encontrado incluía mecanismos de busca, ferramentas de SEO, scrapers, crawlers de IA e diferentes redes automatizadas.

O problema é que boa parte desse movimento permanece praticamente invisível para ferramentas convencionais de análise.

Isso acontece porque muitas delas dependem de mecanismos executados no navegador, como JavaScript, para registrar uma visita. Um bot pode simplesmente solicitar uma página ao servidor, receber seu conteúdo e desaparecer sem deixar o mesmo tipo de registro que um usuário humano deixaria.

Foi quando Gray começou a separar os diferentes tipos de tráfego que a situação ficou ainda mais curiosa.

Um único robô chegou a rastrear centenas de milhares de páginas

Entre os casos identificados estava o Claude-SearchBot, rastreador utilizado pela Anthropic para funções relacionadas à busca do Claude.

Em apenas uma semana, o crawler solicitou cerca de 420.680 páginas do PatronView.

O número de usuários que chegaram ao site por meio do Claude durante o mesmo período foi muito menor: Gray registrou apenas 12 acessos associados ao Claude-User.

A proporção chama atenção. Para cada usuário encaminhado ao site, o rastreador havia solicitado aproximadamente 35 mil páginas.

Diante desse volume, Gray decidiu bloquear o Claude-SearchBot pelo firewall. Segundo os registros da plataforma, o número de solicitações caiu de aproximadamente 60 mil por dia para apenas algumas dezenas de tentativas após o bloqueio.

Outro exemplo veio da Amazon. O Amzn-SearchBot chegou a realizar cerca de 117 mil solicitações diárias no caso analisado, sem que Gray identificasse visitantes correspondentes vindos desse rastreador.

O cenário revela uma mudança importante na lógica tradicional da web. Durante muitos anos, permitir que mecanismos rastreassem um site era interessante porque esse processo poderia resultar em novos visitantes.

Com determinados crawlers modernos, porém, o benefício pode não ser tão evidente.

Eles podem consumir grandes quantidades de conteúdo sem necessariamente devolver tráfego equivalente ao proprietário da página.

E ainda existe um problema adicional: alguns bots não se comportam como bots.

O tráfego automatizado também aprendeu a se esconder

Bloquear um crawler que chega ao servidor com uma identificação clara é relativamente simples. A situação muda quando o tráfego começa a parecer uma conexão humana comum.

Em abril de 2026, o PatronView recebeu aproximadamente 3,6 milhões de solicitações em apenas um dia, vindas de mais de 361 mil endereços IP. A maior parte estava localizada na China.

Depois, Gray identificou navegadores Chrome automatizados hospedados em serviços de nuvem como AWS e Azure, além de conexões distribuídas por proxies residenciais.

Esse último método é especialmente complicado. Em vez de aparecer como tráfego proveniente de um grande centro de dados, uma requisição pode parecer ter origem em uma conexão doméstica comum.

Para tentar controlar o problema, o PatronView passou a combinar bloqueios geográficos, limites de velocidade, identificação de data centers e CAPTCHA.

Em determinado período de 48 horas, o Cloudflare apresentou 106.437 desafios para visitantes suspeitos. Apenas 252 foram concluídos, uma taxa de aproximadamente 0,24%.

Tudo isso também tem um custo financeiro.

O PatronView normalmente gastava cerca de US$ 90 por mês com infraestrutura. Durante um dos períodos de maior atividade automatizada, porém, a conta teria aumentado aproximadamente 500%.

E é justamente aí que começa a surgir uma possível mudança na própria economia da internet.

Talvez alguns bots tenham que começar a pagar

Durante décadas, o acordo implícito da web foi relativamente simples: mecanismos rastreiam páginas, indexam conteúdo e podem enviar leitores de volta aos sites.

A expansão da inteligência artificial está colocando esse modelo em dúvida.

Se um crawler consegue consumir centenas de milhares de páginas, utilizar banda e recursos de um servidor, mas gerar praticamente nenhum visitante, o proprietário pode começar a questionar por que deveria oferecer esse acesso gratuitamente.

Uma das respostas que já começa a aparecer é cobrar pelo rastreamento.

A Cloudflare apresentou o Pay Per Crawl, sistema que permite aos donos de sites escolher entre permitir determinadas solicitações, bloqueá-las ou exigir pagamento de alguns crawlers. A proposta utiliza inclusive o código HTTP 402, tradicionalmente associado a “Payment Required”.

A mudança representa uma discussão maior sobre quem paga pela infraestrutura que sustenta a nova economia da inteligência artificial.

O caso do PatronView não prova que a maior parte da internet seja composta por máquinas. Ele mostra algo mais específico e igualmente importante: uma quantidade enorme de atividade automatizada pode acontecer nos servidores sem aparecer nas estatísticas que os proprietários normalmente acompanham.

Para quem administra um site, isso significa que o número exibido no painel de analytics pode contar apenas uma pequena parte da história.

E, em uma internet cada vez mais explorada por buscadores, agentes, scrapers e sistemas de IA, a pergunta pode deixar de ser apenas “quantas pessoas estão lendo meu site?”.

Talvez a pergunta mais importante passe a ser: quantas máquinas estão consumindo meu conteúdo — e quem está pagando por isso?

Partilhe este artigo

Artigos relacionados