CCBot
CCBot tilhører den ideelle organisasjonen Common Crawl. Datasettet deres er åpent og har vært treningsgrunnlag for en rekke språkmodeller.
- Står bak
- Common Crawl
- Type
- Trening
- Mater
- Åpent datasett mange modeller trenes på
- Navn i robots.txt
CCBot- Dokumentasjon
- commoncrawl.org
Slik slipper du inn CCBot
Står det ingenting om CCBot i robots.txt, og du ikke har en generell Disallow: /, slipper den allerede inn. Vil du si det eksplisitt, legger du til dette:
User-agent: CCBot
Allow: /Slik blokkerer du CCBot
User-agent: CCBot
Disallow: /Modellene fra Common Crawl får mindre å lære av, og vet mindre om deg «fra hukommelsen». Du forsvinner ikke fra AI-søk av den grunn: det styres av søke- og brukerrobotene.
robots.txt er ikke hele historien
robots.txt er en beskjed til roboten. Brannmuren er det som faktisk skjer når den banker på. Mange CDN-er og webhotell avviser AI-roboter som standard, selv om robots.txt ønsker dem velkommen. Sjekken vår tester dette for GPTBot, ClaudeBot, OAI-SearchBot og PerplexityBot, og viser robots.txt-status for CCBot.Les mer i guiden Blokkerer brannmuren AI-robotene?
Slipper CCBot inn hos deg?
Spørsmål og svar om CCBot
Hva er CCBot?
CCBot er en robot fra Common Crawl. Åpent datasett mange modeller trenes på. CCBot tilhører den ideelle organisasjonen Common Crawl. Datasettet deres er åpent og har vært treningsgrunnlag for en rekke språkmodeller.
Hvordan blokkerer jeg CCBot?
Legg en gruppe i robots.txt med «User-agent: CCBot» og «Disallow: /». Husk at en brannmur eller et CDN kan blokkere den uavhengig av hva robots.txt sier.
Hva skjer hvis jeg stenger CCBot ute?
Modellene fra Common Crawl får mindre å lære av, og vet mindre om deg «fra hukommelsen». Du forsvinner ikke fra AI-søk av den grunn: det styres av søke- og brukerrobotene.
Bør jeg slippe inn CCBot?
Det er et valg. Vil du at modellene skal kjenne til virksomheten din, slipper du den inn. Vil du ikke at innholdet ditt brukes til trening, stenger du den ute. Ingen av delene påvirker om du kan siteres i AI-søk.