AmazonBot e Meta-External-Agent sono i due programmi automatici più attivi al mondo nel raccogliere informazioni dai siti internet, secondo un nuovo studio della società di dati 51Degrees. Questi programmi, chiamati “bot”, sono piccoli software che girano da soli su internet e visitano migliaia di siti web per copiarne i contenuti, spesso per addestrare l’intelligenza artificiale.
Lo studio ha analizzato tre miliardi di visite fatte a siti internet nell’arco di un anno, fino al 29 maggio 2026, guardando in particolare a siti di telecomunicazioni, pubblicità, giornali, negozi online, banche e tecnologia. È emerso che il bot di Amazon ha fatto da solo più del 4% di tutte le visite registrate, mentre quello di Meta (l’azienda di Facebook e Instagram) ha toccato quasi il 3%.
Secondo la piattaforma Known Agents, che controlla il comportamento di questi bot, quello di Amazon fa “scansioni ampie e ad alto volume che recuperano molte più pagine per visita rispetto a un crawler di ricerca” — in pratica, quando entra in un sito ne legge moltissime pagine tutte insieme, molto più di quanto farebbe un normale motore di ricerca come Google. Solo il 29 maggio 2026, il bot di Amazon ha effettuato 6,43 milioni di visite, mentre quello di Meta 4,23 milioni. Messi insieme, questi due bot hanno rappresentato il 63% di tutte le visite fatte dai 72 bot di intelligenza artificiale individuati dallo studio in un anno (senza contare il bot principale di Google, che serve solo per far funzionare il motore di ricerca).
Al terzo e quarto posto si trovano AhrefsBot, usato da un servizio di marketing online, e BingBot di Microsoft, che gestisce le ricerche sul motore Bing: il 29 maggio hanno fatto rispettivamente 2,17 milioni e 1,62 milioni di visite. Insieme, i quattro bot più attivi hanno coperto l’85% di tutte le visite registrate dai bot IA. Più indietro nella classifica ci sono ClaudeBot, il bot dell’azienda Anthropic, e OpenAI Search Bot, con circa 288mila e 129mila visite.
Guardando all’intero anno, i siti monitorati hanno registrato un aumento del 62,5% del traffico generato da questi bot IA. A maggio 2026 i bot hanno rappresentato il 13% di tutte le visite ai siti, contro l’8% dell’anno prima. Secondo la società Fastly, che si occupa di infrastrutture internet, quasi la metà di tutto il traffico su internet nel mondo è generata da bot e non da persone in carne e ossa.
James Rosewell, amministratore delegato di 51Degrees, ha spiegato che questo traffico crescente rappresenta una “enorme opportunità di guadagno derivante dalle licenze” per chi gestisce i siti, “ma se non controllato diventa un onere crescente e indesiderato, in particolare per gli operatori più piccoli e indipendenti che non possono permettersi l’impatto del furto di proprietà intellettuale e dell’aumento dei costi della larghezza di banda.” Quindi, più bot visitano un sito, più aumentano i costi per farlo funzionare, un po’ come se troppe persone entrassero contemporaneamente in un negozio e il proprietario dovesse pagare di più per tenerlo aperto. Rosewell ha aggiunto: “sebbene i bot basati sull’intelligenza artificiale rappresentino solo una piccola percentuale del traffico totale generato dai bot, sono i più insidiosi perché non solo consumano enormi quantità di larghezza di banda, ma utilizzano anche i contenuti rubati per creare risposte basate sull’IA che sottraggono traffico al creatore originale di tali contenuti.” Ha spiegato inoltre che non esiste “una soluzione tecnica in grado di fermare completamente i bot”, motivo per cui la sua azienda ha creato uno strumento che fa pagare ai bot IA il costo di questa raccolta di dati non autorizzata.
Per difendersi, i siti internet possono usare un file speciale chiamato robots.txt: è come un cartello all’ingresso di un sito che dice ai bot quali stanze possono visitare e quali no. Secondo Known Agents, però, chi gestisce i siti blocca in questo modo solo il 21% circa dei bot IA che fanno scraping. Tra i siti che invece bloccano il 100% dei bot monitorati ci sono le testate Adweek, The San Diego Tribune e Arkansas Democrat Gazette. Altri siti, come W Magazine, Screenrant, Semafor, CBS News e Digital Spy, bloccano appena il 2% dei bot. Known Agents precisa che i bot e le aziende che raccolgono dati rispettano le richieste scritte nel file robots.txt nel 95,6% dei casi: il problema, quindi, è che molti siti non aggiornano bene questo elenco con tutti i bot da bloccare. Gli editori temono inoltre che alcune aziende di intelligenza artificiale si affidino a società esterne per raccogliere i contenuti al posto loro.
