Con la crescita dell’intelligenza artificiale, gran parte dei contenuti pubblicati online non viene più consumato solo da persone, ma anche da sistemi automatici: i cosiddetti crawler AI. Sono software progettati per raccogliere dati, analizzarli, allenare modelli linguistici o alimentare chatbot generativi.

Oggi chi pubblica contenuti sul web si trova davanti a un bivio: lasciare tutto libero, permettendo all’AI di accedere a ogni pagina senza compenso, oppure bloccare del tutto questi crawler, rinunciando a visibilità e diffusione. Una nuova proposta lanciata da Cloudflare, chiamata Pay per Crawl, introduce una terza opzione: lasciare l’accesso attivo, ma chiedendo un pagamento.

In pratica, ogni volta che un crawler vuole accedere a una risorsa online, può essere invitato a pagare un prezzo stabilito dal proprietario del sito. Se accetta, il contenuto viene servito. Se non accetta, l’accesso viene negato. Il tutto avviene in modo automatico, attraverso protocolli web esistenti, senza bisogno di accordi individuali.

Per realizzare questo meccanismo, si rispolvera un codice HTTP poco noto: il 402 Payment Required. È una risposta che il server può restituire a un crawler per indicare che il contenuto esiste, ma che per accedervi serve prima pagare. I dettagli tecnici prevedono l’uso di intestazioni HTTP firmate, autenticazione dei bot, e una gestione sicura delle transazioni, che viene centralizzata tramite Cloudflare.

Ma il punto chiave è questo: i contenuti digitali iniziano ad avere un valore riconosciuto anche per l’intelligenza artificiale. Per chi pubblica contenuti originali e informativi, come editori ed esperti di settore, questo sistema rappresenta un’opportunità concreta per proteggere e valorizzare il proprio lavoro, senza chiudersi in un ecosistema privato.