Hoppa till guiden

Tekniska SEO · Krackning och AI

Kan sökmotorer och AI-assistenter komma åt din sida?

Kontrollera allmänhetens tillgång, HTML, robots.txt och indexeringsmöjligheter. Skilj sökning, utbildning och AI-tri-garerade besök utan att förväxla åtkomst med citering.

Av Antoine Le Louët · Beräknad läsning : 8 min · Referenser

Tillgängligt, indexerat och citerat är tre olika saker

En assistent kommer inte att citera din sida bara för att det svarar i din webbläsare. Avgränsa tillgång till URL, om dess innehåll kan läsas, om det är indexerat och om det väljs för ett svar. Dessa steg beror på tjänsten och frågan.

Denna guide hjälper dig att undersöka tekniska hinder på en offentlig sida. Den mäter inte dess rykte eller beräknar en "AI-synlighetspoäng". Här innebär tillgänglighet att krypare har tillgång till innehåll. digital tillgänglighet för människor är en separat föremål för kontroll.

För Google Sök på generativa upplevelser förblir standard SEO praxis relevanta. En fil llms.txt eller speciell markering ger inte någon bonus: Google säger att den inte använder dem för detta ändamål. Andra tjänster kan ha sitt eget syfte. Tjänsteman Google rekommendationer.

1. Kontrollera vad en signerad besökare får

Välj en sida som är avsedd att vara offentlig. Öppna den i ett privat fönster och kontrollera sedan begäran om dokument i panelen Nätverk. Spela in den ursprungliga URL, omdirigerar, slutliga URL, status och returnerat innehåll.

  • Ett fel 401, 403 eller 5xx måste undersökas i sitt sammanhang. Ett block kan vara avsiktligt.
  • En status för 200 kan följa med en inloggningsskärm, anti-bot utmaning eller felmeddelande. Kolla reaktionskroppen.
  • Jämför åtkomst från dina verktyg med server- eller CDN-loggar. En framgångsrik begäran från din dator bevisar inte att en krypskytt får samma svar.

För att behålla bevis för en URL du administrerar, byt ut exempeladressen i det här kommandot. Det följer omdirigerar och sparar rubriker och kropp separat:

curl -sS -L -D entetes.txt -o page.html https://example.com/service

Skicka inte en inloggningskaka eller privat token när du simulerar offentlig åtkomst. Om brandväggen visas inblandade, identifiera regeln och den drabbade kryparen innan du byter skydd. Att bara ändra ett tests User-Agent-huvud återger inte en riktig krypares nätverksidentitet.

2. För att undvika att skada en persons liv, måste han eller hon ha varit i kontakt med en annan person. Jämför den ursprungliga HTML och den utgivna sidan

Ingång page.html eller källkoden, leta efter en fras från huvudinnehållet, titeln och en viktig intern länk. Jämför med DOM efter JavaScript körning i Elements panelen.

Google kan köra JavaScript, men krypande, rendering och indexering är separata steg. Ett blockerat skript eller ett fel kan förhindra den förväntade återgivningen. Anta inte att varje assistent har samma kapacitet. Hur JavaScript SEO fungerar enligt Google.

För din diagnos, spela in vad som saknas utan JavaScript och vad som kommer först efter en interaktion. Gör viktig information och länkar tillförlitliga. Serverretur eller statisk generering kan hjälpa, utan att vara ett universellt krav för indexering.

En meny som syns på en skärmbild räcker inte: kontrollera att viktiga sidor har användbara länkar med verkliga destinationer. En titel, tydliga avsnitt och faktainnehåll hjälper också besökarna att förstå vad din sida erbjuder.

3. För att undvika att skada en persons liv och hälsa. Läs reglerna utan att förväxla krypning med indexering

Öppna /robots.txt på relevant domän. Ange vilken grupp som matchar kryptaren och vilka regler som gäller för sökvägen. Dess närvaro bevisar inte att en sida är tillåten; dess frånvaro i sig innebär inte att krypande är förbjudet.

Disallow - Det är förbjudet att krypa för robotar. Det skyddar inte privat innehåll eller garanterar att en URL försvinner från resultat. Roll och gränser för robots.txt.

Inspektera separat <meta name="robots"> och sidhuvudet X-Robots-Tag. Pour que Google lise un noindex, måste den kunna få tillgång till svaret som innehåller den. Indexerings- och sippdirektiv. Une canonique exprime une préférence de version ; elle ne prouve pas que cette URL est indexée. Signaler för Canonicalisation.

För en offentlig sida avsedd att visas i sök, leta efter oavsiktliga begränsningar och kontrollera upptäckt länkar och webbplatskarta. Behåll undantag för privata sidor eller sidor som inte hör hemma i sökning.

4. För att uppnå detta mål skall kommissionen Välj sök- och utbildningsrättigheter separat

"Tillåt AI" är inte en enda regel. OpenAI skiljer mellan följande roller; dessa beskriver inte varje leverantörs beteende.

På en liten skärm, rulla bordet horisontellt.

Tillträdet skiljer sig åt mellan olika tjänster
Agent OrdförandeRollVad du inte bör dra för slutsats
GooglebotKrackning för Google Sök.Framgångsrik tillgång garanterar inte indexering eller citering.
OAI-SearchBotInnehållssökning för ChatgPT-sökning.Detta tillstånd är skilt från utbildningstillstånd.
GPTBotInsamling av innehåll som kan användas för att träna OpenAI modeller.Blockering av den blockerar inte automatiskt OAI-SearchBot.
ChatGPT-UserBesök som utlösts av vissa användaråtgärder.Detta är inte den automatiska sök kryparen; robots.txt kanske inte gäller för dessa åtgärder.

Sök- och utbildningskontroller är oberoende. För äkta privat åtkomst, använd behörighetskontroll och server-side-tillstånd. Officiell OpenAI krypdokumentation.

Exempel: Tillåt ChatgPT-sökning och neka GPTBot

Här är ett exempel på en fiktiv webbplats, med tre uteslutna områden. Det illustrerar ett redaktionellt val utan att rekommendera det för varje webbplats. Ersätt inte filen utan att behålla dina befintliga undantag.

User-agent: *
Disallow: /admin/
Disallow: /compte/
Disallow: /api/

User-agent: OAI-SearchBot
Allow: /
Disallow: /admin/
Disallow: /compte/
Disallow: /api/

User-agent: GPTBot
Disallow: /

Sitemap: https://example.com/sitemap.xml

En specifik grupp ärver inte automatiskt restriktioner från * : de upprepas därför för OAI-SearchBot. Läs hela filen, inklusive alla andra grupper med samma namn. Protokollregler, RFC 9309.

5) För att uppnå detta mål skall kommissionen Bekräfta vad som observerades, utan att lova en hänvisning

För Google, använd Search Console URL inspektion om du administrerar objektet. Avskilj Google: s kända version från live-testet. För andra tjänster jämför deras dokumentation med den faktiska åtkomst som observerats i dina loggar och tillgängliga övervakningsverktyg.

Argos identifierar några offentliga signaler: HTTP svar, HTML struktur, direktiv och resurser upptäckt. Det simulerar inte varje krypare, validerar hela din robots.txt policy, eller känner till en sökmotors faktiska index eller citeringsval.

Dokumentera din slutsats vid varje steg: "svaret innehåller texten", "regeln tillåter denna sökväg för denna krypare", eller "sökmotorns verktyg rapporterar detta URL som indexerat". En assistents svar på en fråga kan variera; det är inte ett heltäckande sikttest.

Efter publiceringen, se över dessa punkter i Omarbeta godkännandekontroller, sedan övervaka resultaten med hjälp av tillgängliga data. Teknisk tillgång kan vara en förutsättning; relevansen, bevisen och användbarheten av innehållet behöver fortfarande arbetas.

Officiella referenser

Samråd med källor den 2 november 2026. Gränssnitt och regler för tjänster kan ändras.

Kolla din sida med Argos

Kör en gratis granskning av en offentlig URL och undersöka tillgängliga bevis. Automatiserade kontroller kompletterar kontrollerna i denna vägledning.

Analysera en sida gratis