robots.txt for AI-roboter: hvem du bør slippe inn

I robots.txt bør du slippe inn robotene som henter sider for å svare på spørsmål, blant dem OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User og PerplexityBot. Treningsroboter som GPTBot, ClaudeBot og CCBot kan du blokkere uten at nettstedet forsvinner fra AI-søk. Gruppene har egne navn i robots.txt, så du kan si ja til den ene og nei til den andre.

Hvilke typer AI-roboter finnes?

Selskapene bak assistentene bruker forskjellige roboter til forskjellige formål. Agentsjekk holder øye med 17 av dem, fordelt på tre typer:

• Søkeindeks: bygger indeksen assistenten slår opp i når den søker. Navnene er OAI-SearchBot, Claude-SearchBot, PerplexityBot, Googlebot, Bingbot og DuckAssistBot.
• Henter på forespørsel: henter én side fordi en bruker ba om det. Navnene er ChatGPT-User, Claude-User, Perplexity-User og MistralAI-User.
• Trening: samler tekst som kan brukes til å trene modeller. Navnene er GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, Meta-ExternalAgent, CCBot og Amazonbot.

To av navnene er ikke egne roboter. Google-Extended og Applebot-Extended er brytere du bruker i robots.txt for å si om Google og Apple får bruke innholdet til AI-modellene sine. Google-Extended påvirker ikke hvordan du vises i vanlig Google-søk.

Legg også merke til Bingbot. Bings indeks brukes av Copilot og er en av kildene ChatGPT-søk henter resultater fra. Blokkerer du den, rammer du mer enn Bing-søk. Alle 17 er beskrevet i oversikten over AI-robotene.

Hvem bør jeg slippe inn?

De to første typene. Det er de som gjør at en assistent kan lese siden din og lenke til den. Denne filen slipper inn de åtte Agentsjekk regner som svarmotorer, og holder private stier stengt:

# AI-svarmotorer: henter sider for å svare på spørsmål
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Googlebot
User-agent: Bingbot
Allow: /
Disallow: /admin/
Disallow: /handlekurv/

# Alle andre roboter
User-agent: *
Allow: /
Disallow: /admin/
Disallow: /handlekurv/

Sitemap: https://fjordregnskap.example/sitemap.xml

Strengt tatt slipper User-agent: * med Allow: / inn alle. Å nevne svarmotorene ved navn gjør valget synlig for den som åpner filen senere, og hindrer at en innstramming under * rammer dem ved et uhell. I Agentsjekk teller denne kontrollen 10 av 100 poeng.

Én regel overrasker mange: en robot følger bare den gruppen som passer best på navnet dens. Har OAI-SearchBot sin egen gruppe, gjelder ikke reglene under User-agent: * for den. Derfor står /admin/ og /handlekurv/ begge steder.

Sitemap-linjen nederst betyr mer for AI-roboter enn for Google. De fleste av dem har ingen Search Console der du kan melde inn sitemapet, så robots.txt er stedet de leter.

Kan jeg blokkere treningsrobotene?

Ja. Det er et valg, ikke en feil. Blokkerer du dem, ber du om at tekstene dine holdes utenfor treningen av nye modeller. Prisen er at modellene vet mindre om deg fra hukommelsen, altså når de svarer uten å søke. Du blir ikke borte fra AI-søk. I Agentsjekk gir valget verken pluss eller minus.

Legg dette til i filen over hvis du vil stenge dem ute:

# Treningsroboter: samler tekst til trening av modeller
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: Meta-ExternalAgent
User-agent: CCBot
User-agent: Amazonbot
Disallow: /

Pass på navnene. GPTBot og OAI-SearchBot hører til samme selskap, men gjør forskjellige jobber. Det samme gjelder ClaudeBot og Claude-SearchBot. En mal som blokkerer alt med GPT eller Claude i navnet, stenger også ute robotene som kunne sendt deg besøk.

Hva er de vanligste feilene?

Den vanligste er en gjenglemt sperre fra testmiljøet:

User-agent: *
Disallow: /

Disse to linjene stenger alle roboter ute fra hele nettstedet. De legges ofte inn mens siden er under utvikling, og blir med ut i produksjon.

En annen gjenganger er at /robots.txt svarer med en HTML-side. Det skjer i klientrendrede apper der alle ukjente adresser gir samme index.html. Roboten får da ingen regler å lese. Åpne adressen i nettleseren og se at du får ren tekst.

Husk også at robots.txt gjelder per vertsnavn. blogg.dinbedrift.no trenger sin egen fil.

Se til slutt etter <meta name="robots" content="noindex"> i kildekoden til forsiden. Den taggen ligger i HTML-en og ikke i robots.txt, men virkningen er like stor: motorene blir bedt om å droppe siden. Varianten nosnippet ber dem la være å sitere fra den. Begge blir ofte hengende igjen etter utvikling, og i Agentsjekk koster de opptil 8 poeng.

Er robots.txt nok til å styre AI-robotene?

Nei, av to grunner. robots.txt er en anmodning som roboten selv velger å følge. Crawlerne til de store selskapene gjør det, men OpenAI og Perplexity skriver i dokumentasjonen sin at reglene ikke nødvendigvis gjelder når en bruker selv har bedt assistenten hente en side.

Den andre grunnen går motsatt vei. En brannmur foran nettstedet kan avvise roboter som robots.txt ønsker velkommen. Det er beskrevet i guiden om brannmur og AI-roboter. Og når robotene først slipper inn, må det finnes tekst å lese. Se guiden om JavaScript og AI-roboter.

Vil du se hvordan din egen robots.txt slår ut for hver av de 17 robotene, kan du sjekke nettstedet gratis.