Blokkerer brannmuren AI-robotene? Slik tester du det

En brannmur kan blokkere AI-roboter selv om robots.txt slipper dem inn. Botbeskyttelsen i CDN-er som Cloudflare, Vercel og Akamai, og hos noen webhotell, kan avvise roboter som OAI-SearchBot og ClaudeBot før forespørselen når nettstedet ditt. Du tester det ved å hente forsiden med robotens user agent og se om svaret er 403, eller mye mindre enn det en nettleser får.

Hvorfor hjelper det ikke at robots.txt sier velkommen?

robots.txt og brannmuren er to forskjellige ting. robots.txt er en tekstfil som roboten leser og velger å følge. Brannmuren står foran nettstedet og avgjør om en forespørsel får svar i det hele tatt.

De styres som regel av forskjellige folk. Den som har ansvar for innhold og SEO, skriver robots.txt. Den som drifter nettstedet, eller leverandøren, setter opp botbeskyttelsen. Mange slike produkter har en egen kategori for AI-roboter som slås på med én bryter, og noen leverer den påslått. Resultatet er et nettsted som inviterer robotene inn i én fil og avviser dem i døra.

Hvordan ser en blokkering ut?

Den tydeligste varianten er statuskode 403. Roboten ber om forsiden og får beskjed om at den ikke har tilgang. Andre brannmurer svarer med en kontrollside som ber den besøkende bevise at den er et menneske, og det klarer ikke en robot.

Stubbresponsen er vanskeligst å oppdage. Serveren svarer 200, som betyr at alt gikk bra, men innholdet er noen få byte tekst. Da Agentsjekk gikk gjennom store norske nettsteder, fant vi tilfeller der en forespørsel med en AI-robots user agent fikk en tekstsnutt på 60 byte, mens en nettleser fikk hele siden. Statuskoden viser ingen feil, så den som bare ser etter feilkoder i loggene, oppdager ingenting.

Hvordan tester jeg det selv?

Hent forsiden to ganger med curl. Først som en nettleser, så som en robot:

# Som en nettleser
curl -s -o /dev/null -w "%{http_code} %{size_download} byte\n" \
  -A "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/130.0.0.0 Safari/537.36" \
  https://dinbedrift.example/

# Som OAI-SearchBot, roboten bak søk i ChatGPT
curl -s -o /dev/null -w "%{http_code} %{size_download} byte\n" \
  -A "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot)" \
  https://dinbedrift.example/

Hver kommando skriver ut statuskode og størrelse, for eksempel 200 48213 byte. Er de to linjene omtrent like, slipper roboten gjennom. Står det 403 på den andre, eller 200 med en brøkdel av størrelsen, blir den stoppet.

Bytt ut OAI-SearchBot/1.0 med GPTBot/1.2, ClaudeBot/1.0 eller PerplexityBot/1.0 for å teste de andre. Brannmurregler slår som regel til på selve navnet.

Testen er en simulering. Brannmurer kan også se på IP-adressen, og en forespørsel som utgir seg for å være GPTBot fra hjemmenettet ditt, kan bli behandlet annerledes enn den ekte roboten. Et avslag er likevel et sterkt signal. Bekreft det i loggen til brannmuren, der du ser hvilke roboter som faktisk har vært innom, og hva de fikk til svar.

Agentsjekk kjører samme test fra sine servere med fire user agents: GPTBot, ClaudeBot, OAI-SearchBot og PerplexityBot. Kontrollen teller 10 av 100 poeng.

Hvor ligger innstillingen?

I Cloudflare går du til Security → Settings, filtrerer på «Bot traffic» og åpner «AI Crawler and Agent access policies». Der velger du blant annet Allow eller Block for tre kategorier: Search, Agent og Training. Innstillingen het tidligere «Block AI bots», og eldre veiledninger bruker det navnet. Standardvalgene har endret seg flere ganger, så se etter hva som faktisk står på ditt domene. Les også beskrivelsen av Training før du blokkerer den. Ifølge Cloudflares dokumentasjon omfatter kategorien roboter som brukes til både søk og trening.

I Vercel ligger det under Firewall → Bot Management, i regelsettet «AI Bots». Står det på Deny, blir robotene avvist. Sett det til Log hvis du bare vil se trafikken uten å stoppe den.

Bruker du Akamai, Fastly, Imperva eller en annen leverandør, se etter en botkategori for AI, eller etter egne regler som slår til på user agent. Sikkerhetstillegg i publiseringsløsninger som WordPress kan ha tilsvarende regler.

Ligger nettstedet på et webhotell, har du ofte ikke tilgang til innstillingen selv. Send kundeservice navnene på robotene og be dem bekrefte at de ikke blokkeres på servernivå.

Hvem bør slippe gjennom?

Som et minimum bør robotene som bygger søkeindekser og henter sider for brukere, komme gjennom: OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot og Perplexity-User. Treningsrobotene kan du stenge ute hvis du vil. Gjør i så fall samme valg i brannmuren som i robots.txt, så de to ikke motsier hverandre. Guiden om robots.txt for AI-roboter forklarer forskjellen på typene, og oversikten over robotene viser hvem som står bak hver av dem.

Når robotene kommer gjennom, er neste spørsmål om de finner noe å lese. Det handler guiden om JavaScript og AI-roboter om. Du kan teste brannmuren din gratis på forsiden og se hvilke av de fire robotene som ble avvist.