Come Bot Preference Sync tiene aggiornato il robots.txt
Cloudflare ha annunciato Bot Preference Sync sul proprio blog ufficiale il 22 agosto 2026: una funzione che mantiene automaticamente il file robots.txt di un sito allineato alle policy sui bot dell'intelligenza artificiale già impostate dal proprietario nella dashboard di Cloudflare. Lo strumento copre tre categorie di bot, Ricerca, Agente e Addestramento, così un'unica scelta nella dashboard aggiorna d'un colpo le regole valide per tutti e tre i tipi di crawler. Cloudflare genera o aggiorna il robots.txt in base alla configurazione a livello di zona del dominio, perciò le impostazioni già salvate guidano automaticamente il file di testo risultante.
Le nuove direttive vengono anteposte al file già esistente, il che conserva ogni regola Disallow che il proprietario aveva scritto di suo pugno. Cloudflare mantiene inoltre il file aggiornato attingendo alla propria lista di classificazione BotBase, così le voci si aggiornano da sole man mano che nuovi bot entrano nelle categorie bloccate o vietate. La funzione può essere attivata o disattivata in qualunque momento, ed è disponibile per ogni cliente Cloudflare, dal piano gratuito fino a Enterprise, con un rilascio previsto entro la settimana successiva all'annuncio.
Cosa succede in automatico per i siti nuovi e per quelli sostenuti dalla pubblicità
Un cliente Cloudflare appena arrivato parte senza alcun blocco sui bot, lasciando l'intera scelta di policy al proprietario del sito fin dal primo momento. Un sito che si dichiara sostenuto dalla pubblicità, cioè che comunica a Cloudflare di monetizzare le proprie pagine tramite annunci, può invece scegliere un profilo preimpostato che porta la categoria Addestramento su Disallow di default. Questa sola distinzione mostra già come il modello di business dichiarato di un sito, e non una decisione tecnica deliberata, possa orientare la sua esposizione all'addestramento IA prima ancora che il proprietario scriva una sola regola.
La categoria Addestramento offre quattro opzioni distinte: Consenti, Blocca sulle pagine con pubblicità, Blocca ovunque, oppure Disallow, che scrive direttamente nel robots.txt una preferenza di non addestramento. Il traffico di Ricerca e quello dell'Agente restano controllabili separatamente da quello di Addestramento, così un proprietario può tenere il sito pienamente aperto all'indicizzazione mentre limita o blocca i crawler che raccolgono contenuti per gli insiemi di addestramento IA. Poiché queste scelte risiedono in una dashboard e non in un file mantenuto a mano, ogni cambio di policy diventa effettivo alla successiva sincronizzazione del robots.txt da parte di Cloudflare.
Dal controllo manuale in dashboard all'applicazione automatica
Cloudflare aveva già dato ai proprietari dei siti un controllo granulare sul traffico dei bot IA il primo luglio 2026, permettendo loro di consentire o bloccare separatamente i crawler nelle stesse tre categorie, Ricerca, Agente e Addestramento, direttamente dalla dashboard. Bot Preference Sync, annunciato sette settimane dopo, il 22 agosto, è lo strato di automazione che mantiene il robots.txt allineato a quelle scelte di dashboard. I proprietari non devono più modificare a mano un file di testo statico ogni volta che cambia una preferenza: se ne occupa Cloudflare in automatico.
Questo spostamento porta il controllo dei permessi di scansione IA di un sito fuori da un documento che quasi nessun proprietario apre mai, dentro un prodotto che Cloudflare continua a costruire con rilasci successivi. Quando il comportamento predefinito del robots.txt viene generato dalle impostazioni della dashboard e non da chi per ultimo ha modificato il file, la politica pratica di addestramento IA per una larga fetta del web finisce per dipendere da quali predefiniti Cloudflare decide di spedire. Un crawler a uso misto, che fa sia indicizzazione sia addestramento, deve soddisfare quattro criteri precisi, tra cui rispettare le preferenze nel robots.txt e offrire visibilità a livello di singolo URL su cosa è stato scansionato e per quale scopo, per evitare il blocco quando un proprietario nega l'Addestramento.
La nuova decisione da una casella di spunta per i siti europei e britannici
Ogni azienda europea o britannica che gestisce un sito si trova ora davanti a una decisione sull'addestramento IA che si riduce a una casella di spunta. La maggior parte dei proprietari non apre mai la pagina delle impostazioni sui bot di Cloudflare, il che significa che le scelte predefinite della piattaforma, come il profilo per i siti pubblicitari che disattiva l'Addestramento, finiranno per fissare la policy di molti siti a prescindere da una scelta attiva del proprietario. Per la prima volta, restare in silenzio produce comunque un esito preciso, applicato in automatico.
Chi desidera una policy deliberata, che significhi consentire i crawler di addestramento, bloccarli ovunque, oppure limitarli solo sulle pagine con pubblicità, può ora fissarla in pochi minuti dalla stessa dashboard usata per il traffico di Ricerca e Agente. Le quattro opzioni sull'Addestramento offrono un ventaglio sufficiente a coprire quasi ogni posizione editoriale o commerciale senza toccare direttamente alcun file di testo. Le aziende che saltano la pagina delle impostazioni non stanno affatto rinunciando a una decisione: stanno solo accettando qualunque predefinito Cloudflare, o il profilo del loro stesso sito, assegni loro al posto proprio.
Da leggere ora: Il nuovo browser di Cloudflare taglia i costi, non il tempo | La specifica ha superato il prodotto di tre revisioni
