Teknisk SEO · Krawling og AI
Kan søgemaskiner og AI-assistenter få adgang til din side?
Tjek offentlighedens adgang HTML, robots.txt og indeksabilitet. Distinguished search, uddannelse og AI-triggered besøg uden at forvirre adgang med citation.
I denne vejledning
Tilgængelig, indekseret og citeret er tre forskellige ting
En assistent vil ikke citere din side, blot fordi det reagerer i din browser. Udmærkelse adgang til URL, om dets indhold kan læses, om det er indekseret, og om det er valgt til et svar. Disse trin afhænger af tjenesten og det stillede spørgsmål.
Denne vejledning hjælper dig med at undersøge tekniske barrierer på en offentlig side. Den måler ikke sit omdømme eller beregner en "AI synlighed" score. Her betyder tilgængelighed crawlers adgang til indhold; digital tilgængelighed for mennesker er et særskilt kontrolemne.
For Google Søgegenerative oplevelser, standard SEO praksis forbliver relevant. En fil llms.txt eller speciel markup giver ikke en bonus: Google siger, at det ikke bruger dem til dette formål. Andre tjenester kan have deres egne anvendelser. Officielle anbefalinger Google.
1. Tjek, hvad en logget ud besøgende modtager
Vælg en side, der er beregnet til at være offentlig. Åbn den i et privat vindue, og undersøg derefter dokumentets anmodning i Netværkspanelet. Optag den oprindelige URL, omdirigerer, endelige URL, status og returneret indhold.
- En fejl
401,403eller5xxDet er nødvendigt at undersøge sagen i sammenhæng. En blok kan være tilsigtet. - En status for
200kan ledsage en login-skærm, anti-bot udfordring eller fejlmeddelelse. Tjek svarlegemet. - Sammenlign adgang fra dine værktøjer med server eller CDN logs. En vellykket anmodning fra din computer beviser ikke, at en crawler modtager samme svar.
For at holde bevis for en URL du administrere, erstatte eksempeladressen i denne kommando. Det følger omdirigeringer og gemmer overskrifter og krop separat:
curl -sS -L -D entetes.txt -o page.html https://example.com/serviceSend ikke en cookie eller privat token til dig, når du simulerer offentlig adgang. Hvis firewallen er involveret, skal du identificere reglen og den berørte crawler, før du ændrer beskyttelsen. Ændring kun en test bruger-agent header ikke gengiver en reel crawler netværk identitet.
2. Sammenlign den oprindelige HTML og den gengivede side
I page.html eller kildekoden, se efter en sætning fra hovedindholdet, titlen og et vigtigt internt link. Sammenlign med DOM efter JavaScript udførelse i Elements panel.
Google kan udføre JavaScript, men kravlende, rendering og indeksering er separate trin. Et blokeret script eller en fejl kan forhindre den forventede gengivelse. Antag ikke, at hver assistent har de samme evner. Hvordan JavaScript SEO virker efter Google.
For din diagnose, registrere, hvad der mangler uden JavaScript og hvad først ankommer efter en interaktion. Gør vigtige oplysninger og links pålidelige tilgængelige. Server rendering eller statisk generation kan hjælpe, uden at være et universelt krav til indeksering.
En menu synlig i et skærmbillede er ikke nok: kontrollere, at vigtige sider har brugbare links til rigtige destinationer. En titel, klare afsnit og faktuelt indhold hjælper også besøgende med at forstå, hvad din side tilbyder.
3. Læs reglerne uden at forveksle gennemgang med indeksering
Åbn /robots.txt på det relevante område. Angiv den gruppe, der matcher crawleren, og de regler, der gælder for stien. Dens tilstedeværelse beviser ikke, at en side er tilladt; dens fravær alene betyder ikke kravling er forbudt.
Disallow grænser kravler for robotter, der følger protokollen. Det beskytter ikke privat indhold eller garanterer, at en URL forsvinder fra resultater. Den rolle og grænser for robots.txt.
Undersøg separat <meta name="robots"> og header X-Robots-Tag. Pour que Google lise un noindex, skal den kunne få adgang til det svar, der indeholder det. Direktiver om indeksering og stumpning. Une canonique exprime une préférence de version ; elle ne prouve pas que cette URL est indexée. Kanonikaliseringssignaler.
For en offentlig side, der er beregnet til at blive vist i søgning, se efter utilsigtede begrænsninger og tjek opdagelse links og sitemap. Hold udelukkelser for private sider eller sider, der ikke hører til i søgning.
4. Vælg søge- og træningstilladelser separat
"Allow AI" er ikke en eneste regel. OpenAI skelner mellem følgende roller; disse beskriver ikke hver udbyders adfærd.
På en lille skærm, rulle bordet vandret.
| Agent | Rolle | Hvad du ikke bør udlede |
|---|---|---|
| Googlebot | Kravler efter Google Søg. | Vellykket adgang garanterer ikke indeksering eller en citation. |
| OAI-SearchBot | Indhold opdagelse for ChatGPT søgning. | Denne tilladelse er adskilt fra træningstilladelse. |
| GPTBot | Indsamling af indhold, der kan bruges til at træne OpenAI modeller. | Blokering af OAI-SearchBot blokeres ikke automatisk. |
| ChatGPT-User | Besøg udløst af visse brugerhandlinger. | Dette er ikke den automatiserede søgning crawler; robots.txt kan ikke anvendes på disse handlinger. |
Eftersøgnings- og træningsstyring er uafhængige. For ægte privat adgang, brug autentificering og server-side godkendelse. Officiel OpenAI crawlerdokumentation.
Eksempel: Tillad ChatGPT søgning og distillad GPTBot
Her er et eksempel på en fiktiv side med tre udelukkede områder. Det illustrerer et redaktionelt valg uden at anbefale det for hver hjemmeside. Du må ikke erstatte din fil uden at bevare dine eksisterende udelukkelser.
User-agent: *
Disallow: /admin/
Disallow: /compte/
Disallow: /api/
User-agent: OAI-SearchBot
Allow: /
Disallow: /admin/
Disallow: /compte/
Disallow: /api/
User-agent: GPTBot
Disallow: /
Sitemap: https://example.com/sitemap.xmlEn bestemt gruppe arver ikke automatisk begrænsninger fra * : de gentages derfor for OAI-SearchBot. Læs hele filen, inklusive eventuelle andre grupper med samme navn. Protokolregler, RFC 9309.
5. Bekræft det observerede uden at love et citat
For Google, skal du bruge Søgekonsol URL inspektion, hvis du administrerer ejendommen. Distinguished Google's kendte version fra live test. For andre tjenester, sammenligne deres dokumentation med den faktiske adgang observeret i dine logfiler og tilgængelige overvågningsværktøjer.
Argos identificerer nogle offentlige signaler: HTTP svar, HTML struktur, direktiver og opdagelse ressourcer. Det simulerer ikke hver crawler, validere hele din robots.txt politik, eller kender en søgemaskines faktiske indeks eller citation valg.
Dokument din konklusion på hvert trin: "svaret indeholder teksten" "reglen tillader denne sti til denne crawler" eller "søgemaskinens værktøj rapporterer dette URL som indekseret." En assistents svar på et spørgsmål kan variere; det er ikke en omfattende synlighedstest.
Efter offentliggørelsen skal du gense disse punkter i Redesigner acceptkontrol, og overvåg derefter resultaterne ved hjælp af de tilgængelige data. Teknisk adgang kan være en forudsætning; relevansen, beviserne og anvendeligheden af indholdet skal stadig arbejdes.
Officielle referencer
Kilder konsulteret den 2. november 2026. Servicegrænseflader og regler kan ændre sig.
- Google: rollen og grænserne for robots.txt
- Google: kontrol med noindex og stump
- Google: kanonikaliseringssignaler
- Google: kravler og JavaScript rendering
- Google: synlighed i sin generative AI funktioner
- OpenAI: rollerne som OAI- SearchBot, GPTBot og ChatGPT- User
- RFC 9309: Regler for robotter Udelukkelse Protokol
Tjek din side med Argos
Kører en gratis revision af en offentlig URL og undersøge de tilgængelige beviser. Automatisk kontrol supplerer kontrollen i denne vejledning.
Analyser en side gratis