AI-robotene som besøker nettstedet ditt
Det finnes tre slags AI-roboter, og de gjør helt forskjellige ting. Her er de 17 vi sjekker for, hva de mater, og hvordan du styrer dem.
Roboter som bygger søkeindekser
De besøker nettstedet ditt jevnlig og lagrer det de finner, slik at assistenten har noe å slå opp i når noen spør. Stenger du dem ute, kan du ikke bli sitert.
Roboter som henter på forespørsel
De kommer bare når en bruker ber assistenten lese en bestemt side, der og da. Blokkerer du dem, får brukeren beskjed om at siden ikke kunne åpnes.
Roboter som samler treningsdata
De henter tekst som kan inngå i treningen av fremtidige modeller. Om du slipper dem inn er et valg. Å stenge dem ute fjerner deg ikke fra AI-søk.
GPTBotOpenAITrening av OpenAIs modellerClaudeBotAnthropicTrening av Anthropics modellerGoogle-ExtendedGoogleGemini: trening og grunnlag for svarApplebot-ExtendedAppleTrening av Apple IntelligenceMeta-ExternalAgentMetaTrening av Meta AICCBotCommon CrawlÅpent datasett mange modeller trenes påAmazonbotAmazonAlexa og Amazons AI-tjenester
Se hvem som slipper inn hos deg
Sjekken viser robots.txt-status for alle 17, og tester brannmuren som fire av dem.