Du så Agentsjekk-Probe/1.0 i loggene dine

Det var Agentsjekk, et verktøy som sjekker om AI-roboter kan lese et nettsted. Noen, mest sannsynlig eieren av nettstedet, skrev inn domenet ditt.

Hva den henter

Forsiden din, én gang som en vanlig nettleser.
/robots.txt, /llms.txt, /llms-full.txt og /sitemap.xml.
Forsiden 4 ganger til, hver gang med user agenten til en AI-robot (OAI-SearchBot, GPTBot, ClaudeBot, PerplexityBot), for å se om brannmuren din behandler dem annerledes.
Forsiden én gang med Accept: text/markdown, for å se om du tilbyr en Markdown-versjon.
Fem små filer under /.well-known/, der nye agentstandarder legger informasjonen sin.

Det blir omtrent femten forespørsler per sjekk. Resultatet gjenbrukes i ti minutter, så gjentatte sjekker treffer deg ikke på nytt. Skanneren går aldri videre enn dette, sender aldri inn skjemaer og logger aldri inn. Kjøper eieren rapporten, leser den i tillegg tittel og beskrivelse på inntil fjorten sider for å kunne skrive en llms.txt.

Slik kjenner du den igjen

Hver forespørsel har Agentsjekk-Probe/1.0 i user agenten. Det gjelder også de simulerte robotbesøkene, som i tillegg er merket (simulert). Vi utgir oss aldri for å være den ekte roboten: forespørslene kommer fra våre servere, ikke fra OpenAI, Anthropic eller Perplexity.

Mozilla/5.0 … Chrome/141.0.0.0 Safari/537.36 Agentsjekk-Probe/1.0
Mozilla/5.0 … (compatible; GPTBot/1.2; +https://openai.com/gptbot) Agentsjekk-Probe/1.0 (simulert)

Slik blokkerer du den

Blokker alle user agents som inneholder Agentsjekk-Probe i brannmuren din. Sjekker av nettstedet vil da vise at det avviste skanneren vår, og ingenting annet. Vi setter aldri poeng på et nettsted som ikke slipper oss inn.

Vil du bli sjekket, men slipper ikke inn?

Noen brannmurer avviser alt som ikke er en vanlig nettleser. Legg Agentsjekk-Probe i tillatelseslisten for boter, og kjør sjekken på nytt. Spørsmål? Skriv til hei@agentsjekk.no.