Så håller Bot Preference Sync robots.txt uppdaterad
Cloudflare presenterade Bot Preference Sync på sin officiella blogg den 22 augusti 2026, en funktion som automatiskt håller en webbplats robots.txt-fil i linje med de AI-bot-policyer en ägare redan har ställt in i Cloudflare-dashboarden. Verktyget täcker tre botkategorier - Sök, Agent och Träning - så att ett enda val i dashboarden uppdaterar reglerna för alla tre crawlertyper samtidigt. Cloudflare genererar eller uppdaterar robots.txt utifrån sajtens zonkonfiguration, så att de redan sparade inställningarna för den domänen automatiskt styr den resulterande textfilen.
Nya direktiv läggs före den befintliga robots.txt-filen, vilket bevarar alla Disallow-regler som ägaren redan skrivit för hand. Cloudflare håller filen aktuell också genom sin egen botklassificeringslista, BotBase, så att posterna uppdateras automatiskt allteftersom nya bottar läggs till i blockerade eller nekade kategorier. Funktionen kan slås på eller av när som helst och är tillgänglig för alla Cloudflare-kunder, från Free till Enterprise, med utrullning inom veckan efter tillkännagivandet.
Vad som händer automatiskt för nya och annonsfinansierade sajter
Nya Cloudflare-kunder startar utan några botblockeringar alls i det här systemet, vilket lämnar hela policyvalet till webbplatsens ägare. Sajter som identifierar sig som annonsfinansierade, det vill säga anger att de tjänar pengar på sidor med annonser, kan i stället välja en preset som sätter kategorin Träning till Disallow som standard. Den enda skillnaden visar redan hur en sajts angivna affärsmodell, och inte ett medvetet tekniskt val, kan styra dess AI-träningsexponering innan ägaren ens skriver en regel.
Kategorin Träning har fyra separata konfigurationsalternativ: Allow, Block on pages that serve ads, Block everywhere och Disallow, som skriver en no-training-preferens direkt i robots.txt. Sök- och Agent-trafik kan styras separat från Träning, så att en ägare kan hålla en sajt helt öppen för sökindexering samtidigt som crawlrar som samlar innehåll till AI-träningsdataset begränsas eller blockeras. Eftersom dessa val ligger i en dashboard och inte i en manuellt underhållen fil, träder en policyändring i kraft vid nästa synkronisering av robots.txt.
Från manuell dashboard-brytare till automatisk efterlevnad
Cloudflare gav webbplatsägare finkornig kontroll över AI-bottrafik för första gången den 1 juli 2026, vilket lät dem separat tillåta eller blockera crawlrar inom samma tre kategorier, Sök, Agent och Träning, från dashboarden. Bot Preference Sync, som tillkännagavs sju veckor senare den 22 augusti, är automatiseringslagret som håller den resulterande robots.txt-filen i linje med de dashboardvalen. Ägare behöver inte längre underhålla den statiska textfilen för hand varje gång en preferens ändras; Cloudflare sköter det steget automatiskt.
Skiftet flyttar kontrollen över en sajts AI-crawltillstånd bort från ett dokument som de flesta ägare aldrig öppnar, och in i en produkt som Cloudflare fortsätter bygga ut aktivt genom successiva lanseringar. Så snart robots.txt-filens standardbeteende genereras av dashboardinställningar i stället för av den som senast redigerade filen, kommer den praktiska AI-träningspolicyn för en stor del av webben att bero på vilka standardvärden Cloudflare väljer att leverera. En crawler med blandad användning, som både gör sökindexering och AI-träning, måste uppfylla fyra specifika kriterier, bland annat att respektera robots.txt-preferenser och ge synlighet på URL-nivå för vad som crawlats och i vilket syfte, för att undvika att blockeras när en ägare sätter Träning till Disallow.
Det nya kryssrute-beslutet för ägare i EU och Storbritannien
Alla företag i EU eller Storbritannien som driver en webbplats står nu inför ett AI-träningsbeslut som landar i en kryssruta i en dashboard. De flesta webbplatsägare öppnar aldrig sin Cloudflare-botinställningssida, vilket innebär att plattformens valda standardvärden, som presetten för annonsfinansierade sajter som stänger av Träning, kommer att avgöra den faktiska policyn för många sajter, oavsett om ägaren någonsin gjort ett aktivt val. För första gången ger tystnad ett konkret, automatiskt genomdrivet utfall.
Ägare som vill ha en medveten policy, oavsett om det innebär att tillåta AI-träningscrawlrar, blockera dem överallt eller bara begränsa dem på annonsfinansierade sidor, kan nu fastställa den policyn på några minuter via samma dashboard som redan används för Sök- och Agent-trafik. De fyra Träning-alternativen ger tillräckligt utrymme för att spegla de flesta redaktionella eller kommersiella hållningar utan att röra en textfil direkt. Företag som hoppar över inställningssidan undviker inte ett beslut; de accepterar bara det standardvärde som Cloudflare eller sajtens egen profil tilldelar dem.
Läs vidare: Cloudflares nya webbläsare sparar pengar, inte tid | Specifikationen ligger tre revisioner före produkten
