# Pay per crawl: far pagare i crawler AI con l'HTTP 402
Table of Contents
Chi pubblica contenuti online si trova da tempo davanti a una scelta secca quando arrivano i “crawler” delle intelligenze artificiali. Un crawler è un programma automatico che scarica pagine web: quelli delle aziende di IA lo fanno per addestrare i modelli o per raccogliere materiale con cui rispondere alle domande degli utenti. Fino a poco fa le opzioni per chi gestisce un sito erano solo due: lasciarli passare gratis, oppure sbarrargli la strada. A inizio luglio 2025 Cloudflare - una grande azienda di infrastruttura di rete, che fa da intermediario per una fetta enorme del traffico web - ha proposto una terza via: far pagare l’accesso. Il meccanismo si chiama “pay per crawl” e riporta in vita un codice HTTP quasi mai usato, il 402 “Payment Required” (“pagamento richiesto”).
Il problema: o si blocca tutto, o si regala tutto
Per capire perché la cosa interessa chi produce contenuti, conviene partire dal contesto. Un sito che ospita articoli, foto o dati ha un costo per prodursi e per stare online. Quando un crawler di un’azienda di IA scarica quel materiale, di fatto lo preleva senza lasciare nulla in cambio: nessuna visita di un lettore, nessuna pubblicità vista, nessun abbonamento.
Lo strumento storico per gestire i crawler è il file robots.txt, un semplice elenco di regole con cui un sito dichiara “questo puoi scaricarlo, questo no”. Ha però due limiti. Il primo è che è solo una richiesta di cortesia: non impedisce nulla a chi decide di ignorarla. Il secondo è che parla una lingua binaria: sì o no. Non esiste una casella “sì, ma pagando”.
Il risultato è che chi pubblica si trova con un aut-aut poco comodo. Bloccare del tutto i crawler significa rinunciare a qualsiasi ritorno e, a volte, sparire dalle risposte generate dall’IA. Lasciarli liberi significa regalare il proprio lavoro. Cloudflare racconta di aver raccolto questa insoddisfazione parlando con testate giornalistiche, editori e grandi piattaforme: molti vorrebbero una terza opzione, cioè permettere l’accesso ma essere ricompensati.
Cos’è pay per crawl
Pay per crawl è esattamente quella terza opzione. Per ogni crawler, chi gestisce il sito può scegliere tra tre comportamenti:
- Consenti - accesso libero e gratuito, come sempre.
- Fai pagare - l’accesso è permesso, ma a un prezzo fissato.
- Blocca - accesso negato, senza possibilità di pagare.
L’idea di fondo è semplice: trasformare l’accesso da parte dei crawler in una piccola transazione economica, senza dover trattare caso per caso con ogni azienda di IA. Il prezzo, al momento, è unico e vale per l’intero dominio: si stabilisce una cifra per ogni richiesta andata a buon fine e quella si applica a tutte le pagine.
Come funziona: il ritorno dell’HTTP 402
Qui entra in gioco la parte tecnica, spiegata in modo semplice. Ogni volta che un browser o un programma chiede una pagina a un server, il server risponde con un “codice di stato”: un numero che riassume com’è andata. Il 200 vuol dire “tutto bene, ecco il contenuto”; il 404 “non trovato”; il 403 “vietato”. Tra questi ne esiste uno, il 402 “Payment Required”, previsto fin dalle prime versioni dello standard HTTP ma di fatto tenuto in disparte per anni, in attesa di un uso concreto. Pay per crawl è proprio uno di questi usi.
Lo scambio, semplificando, funziona così. Un crawler chiede una pagina a pagamento senza offrire nulla: il server risponde con un 402 e aggiunge un’intestazione (una riga di metadati che accompagna la risposta) chiamata crawler-price, cioè il prezzo richiesto. A questo punto il crawler, se accetta, ripete la richiesta dichiarando quanto è disposto a pagare tramite l’intestazione crawler-exact-price. Se tutto è in ordine, il server risponde con un 200 e il contenuto, aggiungendo crawler-charged per confermare la cifra addebitata.
Esiste anche una via più diretta: il crawler può indicare fin dalla prima richiesta un tetto di spesa con l’intestazione crawler-max-price. Se il prezzo del sito rientra in quel tetto, il contenuto arriva subito, con l’addebito confermato. In pratica il 402 non è un errore da evitare, ma un modo per dire “questo si può avere, ma costa X”: una specie di listino restituito al volo dal server.
Come si distingue un crawler che paga
Un meccanismo del genere regge solo se il server sa con certezza chi ha di fronte: altrimenti chiunque potrebbe spacciarsi per un crawler autorizzato. Per questo pay per crawl si appoggia a firme crittografiche. Ogni crawler aderente possiede una coppia di chiavi (una privata, segreta, e una pubblica, nota) e firma le proprie richieste con quella privata; il server verifica la firma con la chiave pubblica. È lo stesso principio che rende affidabili molte comunicazioni sicure in rete: la firma dimostra l’identità e garantisce che la richiesta non sia stata alterata lungo il percorso. Questo lega l’addebito a un mittente riconosciuto, non a un anonimo.
Chi incassa e chi paga: Cloudflare come intermediario
Restava un problema pratico: nessun editore vuole gestire micro-pagamenti verso decine di aziende di IA, e nessuna azienda di IA vuole aprire un conto con ogni singolo sito. Cloudflare si mette in mezzo con il ruolo di “merchant of record”, cioè il soggetto che compare come venditore ufficiale nella transazione. In concreto raccoglie gli addebiti maturati, li fattura alle aziende dei crawler e gira il ricavato a chi pubblica. Per il sito significa non dover costruire da zero un sistema di pagamenti; per il crawler significa un solo interlocutore invece di mille.
Va detto con chiarezza: per usare pay per crawl bisogna essere clienti di Cloudflare e far transitare il proprio sito dalla sua rete. È una scelta di campo, non uno standard aperto a cui chiunque possa aderire da solo.
Cosa cambia per chi produce contenuti
Il valore della proposta non è il singolo pagamento, che preso da solo sarà spesso minuscolo, ma il fatto di dare finalmente un prezzo a qualcosa che prima si poteva solo regalare o negare. Per una testata o per chi gestisce un archivio ricco e aggiornato, poter dire “sei il benvenuto, ma questo lavoro ha un costo” è un cambio di prospettiva, anche solo come leva negoziale.
Conviene però mantenere le aspettative sobrie. Il meccanismo funziona solo se le aziende di IA decidono di partecipare e di pagare, invece di limitarsi a non scaricare il sito. Il prezzo unico per l’intero dominio è ancora poco flessibile. E l’intera impalcatura vive dentro l’infrastruttura di un singolo fornitore. Sono elementi che ne fanno un esperimento interessante più che una soluzione già matura.
È una beta, e guarda agli “agenti”
Su questo punto serve precisione: al momento dell’annuncio pay per crawl è in beta privata. Non è un servizio aperto a tutti né uno standard consolidato: per provarlo occorre iscriversi e passare da un accesso riservato. Le intestazioni, i prezzi e le regole descritte qui sono quelle della fase iniziale e possono cambiare man mano che la sperimentazione va avanti.
C’è però una direzione di fondo che spiega perché la notizia ha fatto discutere. Cloudflare la inquadra in uno scenario più ampio, quello degli “agenti” - programmi di IA che agiscono per conto di una persona. L’idea, dichiaratamente prospettica, è che un giorno si possa dare a un assistente un budget e lasciargli acquistare in autonomia i contenuti migliori per svolgere un compito. Che quel futuro arrivi o meno, il segnale concreto di oggi è più modesto ma non banale: prendere un pezzo dimenticato dello standard HTTP, il codice 402, e provare a usarlo per rimettere un prezzo sull’accesso automatico ai contenuti.
