Cloudflare blocca i crawler Ai e introduce il blocco automatico
Cloudflare ha annunciato che, da oggi, tutti i nuovi domini registrati sulla piattaforma avranno il blocco automatico dei crawler delle intelligenze artificiali. L’accesso sarà consentito solo se il proprietario del sito lo approva esplicitamente. Questo rende Cloudflare la prima infrastruttura internet su larga scala a imporre il consenso esplicito per lo scraping da parte di aziende AI.
Perché i bot AI minacciano i creatori di contenuti
Secondo il CEO Matthew Prince, gli strumenti di generative AI riducono il traffico verso i siti web e tagliano gli introiti pubblicitari. Offrendo risposte sintetiche senza rimandare alla fonte originale, sottraggono valore ai creatori di contenuti, soprattutto a editori e testate giornalistiche.
Un milione di siti ha già attivato il blocco AI
Da tempo Cloudflare ha introdotto un pulsante che consente ai siti web di bloccare i crawler AI in un solo clic. Più di un milione di domini ha già adottato questa funzione, segno di una crescente preoccupazione nel mondo editoriale e digitale.
Nasce “Pay Per Crawl”: monetizzare l’accesso ai contenuti
Tra le novità, Cloudflare ha lanciato “Pay Per Crawl”, un sistema che consente ai siti web di chiedere un pagamento per ogni accesso automatizzato da parte dei bot. I creatori di contenuti potranno così trasformare lo scraping in una nuova fonte di reddito, stabilendo tariffe personalizzate per ogni visita automatica.
La trappola anti-bot: Cloudflare lancia “AI Labyrinth”
Oltre al blocco e al pagamento, Cloudflare ha sviluppato “AI Labyrinth”, uno strumento che intrappola i crawler non autorizzati offrendo loro contenuti ingannevoli. Questa soluzione consente di individuare e limitare l’accesso dei bot che violano le regole.
Il sostegno degli editori e le nuove sfide per l’AI
Molti editori e piattaforme di contenuti, come Condé Nast, Reddit, Pinterest e Associated Press, hanno accolto positivamente le iniziative di Cloudflare. Aziende come Gannett e The Atlantic hanno dichiarato che il mancato compenso per lo scraping rappresenta una minaccia per la sostenibilità del giornalismo.
Un futuro più equo per il web nell’era dell’intelligenza artificiale
Matthew Prince ha concluso affermando che è tempo di riequilibrare il rapporto tra chi crea contenuti e chi ne beneficia grazie all’intelligenza artificiale. Solo restituendo il controllo ai creatori sarà possibile garantire un web aperto, sostenibile e giusto per tutti gli attori coinvolti.
Cloudflare blocca i crawler AI, il commento di Ray Canzanese, Direttore di Netskope Threat Labs
Sulla vicenda sono tanti gli esperti e analisti che sono scesi in campo, tra questi molto interessante il punto di vista di Ray Canzanese, Direttore di Netskope Threat Labs, colosso proprio della protezione e gestione innovativa dei dati. «Lo sviluppo rapidissimo dell’IA ha causato l’effetto “Pac-Man”: ha “divorato” tutto ciò che ha trovato sul suo cammino. Ora, finalmente, stiamo iniziando a vedere un cambio di passo: le organizzazioni si stanno rendendo conto di quanto valore risieda nei loro dati e stanno riprendendo il controllo su di essi. Che si tratti di dati pubblicamente visibili (ad esempio enormi quantità di informazioni sui prezzi sui siti di rivenditori online), protetti da copyright ma non bloccati da paywall (come una newsletter digitale) oppure privati (documentazione interna, codice sorgente), i dati hanno valore sia per l’azienda che li possiede sia per i sistemi di IA che potrebbero raccoglierli ed usarli per l’addestramento. Bloccare l’accesso dei crawler di IA ai contenuti dei siti web senza il permesso dei proprietari è l’ultima delle iniziative del settore per restituire il potere a chi ne ha diritto: i proprietari dei dati.
Impostare il blocco come comportamento predefinito è importante perché permette alle organizzazioni di riaffermare il proprio controllo e la propria titolarità senza dover agire in modo esplicito, offrendo un po’ di margine di tempo per definire un rapporto reciprocamente vantaggioso con l’IA. Speriamo che questo sia solo uno dei tanti cambiamenti che vedremo nei prossimi mesi per aiutare le organizzazioni a riaffermare la proprietà e il controllo sui propri dati».
