Googlebot
Googlebot er roboten bak Google Søk, og dermed også AI-oversiktene øverst i søkeresultatet. Googlebot kjører JavaScript, og det er nettopp derfor en side kan rangere fint på Google og likevel være blank for ChatGPT og Claude.
- Står bak
- Type
- Søkeindeks
- Mater
- Google Søk og AI-oversikter
- Navn i robots.txt
Googlebot- Dokumentasjon
- developers.google.com
Slik slipper du inn Googlebot
Står det ingenting om Googlebot i robots.txt, og du ikke har en generell Disallow: /, slipper den allerede inn. Vil du si det eksplisitt, legger du til dette:
User-agent: Googlebot
Allow: /Slik blokkerer du Googlebot
User-agent: Googlebot
Disallow: /Sidene dine havner ikke i indeksen Google slår opp i, og kan da ikke siteres eller lenkes til i svar.
robots.txt er ikke hele historien
robots.txt er en beskjed til roboten. Brannmuren er det som faktisk skjer når den banker på. Mange CDN-er og webhotell avviser AI-roboter som standard, selv om robots.txt ønsker dem velkommen. Sjekken vår tester dette for GPTBot, ClaudeBot, OAI-SearchBot og PerplexityBot, og viser robots.txt-status for Googlebot.Les mer i guiden Blokkerer brannmuren AI-robotene?
Slipper Googlebot inn hos deg?
Spørsmål og svar om Googlebot
Hva er Googlebot?
Googlebot er en robot fra Google. Google Søk og AI-oversikter. Googlebot er roboten bak Google Søk, og dermed også AI-oversiktene øverst i søkeresultatet. Googlebot kjører JavaScript, og det er nettopp derfor en side kan rangere fint på Google og likevel være blank for ChatGPT og Claude.
Hvordan blokkerer jeg Googlebot?
Legg en gruppe i robots.txt med «User-agent: Googlebot» og «Disallow: /». Husk at en brannmur eller et CDN kan blokkere den uavhengig av hva robots.txt sier.
Hva skjer hvis jeg stenger Googlebot ute?
Sidene dine havner ikke i indeksen Google slår opp i, og kan da ikke siteres eller lenkes til i svar.
Bør jeg slippe inn Googlebot?
Ja, hvis du vil kunne bli funnet og sitert av assistenten til Google. Denne roboten brukes ikke til å trene modeller.