Technisches SEO · Crawling und KI
Können Suchmaschinen und KI-Assistenten auf Ihre Seite zugreifen?
Überprüfen Sie den öffentlichen Zugriff, HTML, robots.txt und die Indexierbarkeit. Unterscheiden Sie zwischen Such-, Schulungs- und KI-gesteuerten Besuchen, ohne den Zugriff mit der Zitierung zu verwechseln.
In diesem Ratgeber
Zugänglich, indiziert und zitiert sind drei verschiedene Dinge
Ein Assistent zitiert Ihre Seite nicht, nur weil sie in Ihrem Browser antwortet. Unterscheiden Zugriff auf den URL, ob sein Inhalt lesbar ist, ob er indiziert ist und ob er für eine Antwort ausgewählt wird. Diese Schritte hängen vom Dienst und der gestellten Frage ab.
Dieser Leitfaden hilft Ihnen, technische Hindernisse auf einer öffentlichen Seite zu untersuchen. Es misst weder seinen Ruf noch berechnet es einen „KI-Sichtbarkeitswert“. Barrierefreiheit bedeutet hier den Zugriff von Crawlern auf Inhalte; digitale Zugänglichkeit für Menschen ist ein separates Thema, das überprüft werden muss.
Für die generativen Erfahrungen von Google Search bleiben die Standardpraktiken von SEO relevant. Eine Datei llms.txt oder spezielles Markup bietet keinen Bonus: Google sagt, dass es sie nicht für diesen Zweck verwendet. Andere Dienste können ihre eigenen Verwendungszwecke haben. Offizielle Google-Empfehlungen.
1. Überprüfen Sie, was ein abgemeldeter Besucher erhält
Wählen Sie eine Seite aus, die öffentlich sein soll. Öffnen Sie es in einem privaten Fenster und überprüfen Sie dann die Dokumentanforderung im Netzwerkfenster. Notieren Sie den anfänglichen URL, die Weiterleitungen, den endgültigen URL, den Status und den zurückgegebenen Inhalt.
- Ein Fehler
401,403oder5xxmüssen im Kontext untersucht werden. Eine Blockierung kann beabsichtigt sein. - Ein Status von
200kann mit einem Anmeldebildschirm, einer Anti-Bot-Herausforderung oder einer Fehlermeldung einhergehen. Überprüfen Sie den Antworttext. - Vergleichen Sie den Zugriff Ihrer Tools mit Server- oder CDN-Protokollen. Eine erfolgreiche Anfrage von Ihrem Computer beweist nicht, dass ein Crawler dieselbe Antwort erhält.
Um Beweise für einen von Ihnen verwalteten URL aufzubewahren, ersetzen Sie die Beispieladresse in diesem Befehl. Es folgt Weiterleitungen und speichert Header und Text separat:
curl -sS -L -D entetes.txt -o page.html https://example.com/serviceSenden Sie kein Anmelde-Cookie oder privates Token, wenn Sie den öffentlichen Zugriff simulieren. Wenn die Firewall involviert zu sein scheint, identifizieren Sie die Regel und den betroffenen Crawler, bevor Sie den Schutz ändern. Wenn Sie nur den User-Agent-Header eines Tests ändern, wird die Netzwerkidentität eines echten Crawlers nicht reproduziert.
2. Vergleichen Sie die ursprüngliche HTML und die gerenderte Seite
In page.html oder den Quellcode, suchen Sie nach einer Phrase aus dem Hauptinhalt, dem Titel und einem wichtigen internen Link. Vergleichen Sie es mit dem DOM nach der Ausführung von JavaScript im Bedienfeld „Elemente“.
Google kann JavaScript ausführen, Crawlen, Rendern und Indizieren sind jedoch separate Schritte. Ein blockiertes Skript oder ein Fehler können die erwartete Darstellung verhindern. Gehen Sie nicht davon aus, dass jeder Assistent über die gleichen Fähigkeiten verfügt. Wie JavaScript SEO gemäß Google funktioniert.
Erfassen Sie für Ihre Diagnose, was ohne JavaScript fehlt und was erst nach einer Interaktion eintrifft. Stellen Sie wichtige Informationen und Links zuverlässig zur Verfügung. Server-Rendering oder statische Generierung können hilfreich sein, ohne dass dies eine universelle Anforderung für die Indizierung darstellt.
Ein in einem Screenshot sichtbares Menü reicht nicht aus: Überprüfen Sie, ob wichtige Seiten brauchbare Links zu echten Zielen haben. Ein Titel, klare Abschnitte und sachliche Inhalte helfen den Besuchern außerdem zu verstehen, was Ihre Seite bietet.
3. Lesen Sie die Regeln, ohne Crawling mit Indizierung zu verwechseln
Offen /robots.txt auf der entsprechenden Domain. Identifizieren Sie die Gruppe, die dem Crawler entspricht, und die für den Pfad geltenden Regeln. Ihr Vorhandensein beweist nicht, dass eine Seite zulässig ist; Sein Fehlen allein bedeutet nicht, dass das Krabbeln verboten ist.
Disallow schränkt das Crawlen für Roboter ein, die dem Protokoll folgen. Es schützt weder private Inhalte noch garantiert es, dass ein URL aus den Ergebnissen verschwindet. Die Rolle und Grenzen von robots.txt.
Separat prüfen <meta name="robots"> und die Kopfzeile X-Robots-Tag. Pour que Google lise un noindex, muss es auf die Antwort zugreifen können, die es enthält. Indexierungs- und Snippet-Anweisungen. Une canonique exprime une préférence de version ; elle ne prouve pas que cette URL est indexée. Kanonisierungssignale.
Suchen Sie bei einer öffentlichen Seite, die in der Suche angezeigt werden soll, nach unbeabsichtigten Einschränkungen und prüfen Sie die Discovery-Links und die Sitemap. Behalten Sie Ausschlüsse für private Seiten oder Seiten bei, die nicht in die Suche gehören.
4. Wählen Sie Such- und Trainingsberechtigungen separat aus
„KI zulassen“ ist keine einheitliche Regel. OpenAI unterscheidet die folgenden Rollen; diese beschreiben nicht das Verhalten jedes Anbieters.
Scrollen Sie auf einem kleinen Bildschirm horizontal durch die Tabelle.
| Agent | Rolle | Worauf Sie nicht schließen sollten |
|---|---|---|
| Googlebot | Crawling für die Google-Suche. | Ein erfolgreicher Zugriff garantiert keine Indizierung oder Zitierung. |
| OAI-SearchBot | Inhaltserkennung für die ChatGPT-Suche. | Diese Erlaubnis ist unabhängig von der Trainingserlaubnis. |
| GPTBot | Sammlung von Inhalten, die zum Trainieren von OpenAI-Modellen verwendet werden können. | Durch das Blockieren wird OAI-SearchBot nicht automatisch blockiert. |
| ChatGPT-Benutzer | Besuche, die durch bestimmte Benutzeraktionen ausgelöst werden. | Dies ist nicht der automatisierte Such-Crawler; robots.txt gilt möglicherweise nicht für diese Aktionen. |
Such- und Trainingskontrollen sind unabhängig voneinander. Für einen wirklich privaten Zugriff verwenden Sie Authentifizierung und serverseitige Autorisierung. Offizielle OpenAI-Crawler-Dokumentation.
Beispiel: ChatGPT-Suche zulassen und GPTBot nicht zulassen
Hier ist ein Beispiel für eine fiktive Site mit drei ausgeschlossenen Bereichen. Es veranschaulicht eine redaktionelle Entscheidung, ohne sie für jede Website zu empfehlen. Ersetzen Sie Ihre Datei nicht, ohne Ihre bestehenden Ausschlüsse beizubehalten.
User-agent: *
Disallow: /admin/
Disallow: /compte/
Disallow: /api/
User-agent: OAI-SearchBot
Allow: /
Disallow: /admin/
Disallow: /compte/
Disallow: /api/
User-agent: GPTBot
Disallow: /
Sitemap: https://example.com/sitemap.xmlEine bestimmte Gruppe erbt nicht automatisch Einschränkungen von der * : Sie werden daher für OAI-SearchBot wiederholt. Lesen Sie die vollständige Datei, einschließlich aller anderen Gruppen mit demselben Namen. Protokollregeln, RFC 9309.
5. Bestätigen Sie, was Sie beobachtet haben, ohne eine Quellenangabe zu versprechen
Für Google verwenden Sie die Search Console URL-Inspektion, wenn Sie die Eigenschaft verwalten. Unterscheiden Sie die bekannte Version von Google vom Live-Test. Vergleichen Sie bei anderen Diensten deren Dokumentation mit den tatsächlichen Zugriffen, die in Ihren Protokollen und verfügbaren Überwachungstools beobachtet werden.
Argos identifiziert einige öffentliche Signale: HTTP-Antworten, HTML-Struktur, Anweisungen und Erkennungsressourcen. Es simuliert nicht jeden Crawler, validiert nicht Ihre gesamte robots.txt-Richtlinie und kennt auch nicht die tatsächlichen Index- oder Zitieroptionen einer Suchmaschine.
Dokumentieren Sie Ihre Schlussfolgerung bei jedem Schritt: „Die Antwort enthält den Text“, „Die Regel erlaubt diesen Pfad für diesen Crawler“ oder „Das Tool der Suchmaschine meldet diesen URL als indiziert“. Die Antwort eines Assistenten auf eine Frage kann unterschiedlich sein; Es handelt sich nicht um einen umfassenden Sichtbarkeitstest.
Gehen Sie nach der Veröffentlichung noch einmal auf diese Punkte ein Abnahmeprüfungen neu gestalten, und überwachen Sie dann die Ergebnisse anhand der verfügbaren Daten. Technischer Zugang kann Voraussetzung sein; An der Relevanz, Evidenz und Nützlichkeit der Inhalte muss noch gearbeitet werden.
Offizielle Referenzen
Quellen konsultiert am 2. November 2026. Serviceschnittstellen und Regeln können sich ändern.
- Google: die Rolle und Grenzen von robots.txt
- Google: noindex und Snippet-Steuerelemente
- Google: Kanonisierungssignale
- Google: Crawlen und JavaScript-Rendering
- Google: Sichtbarkeit seiner generativen KI-Funktionen
- OpenAI: die Rollen von OAI-SearchBot, GPTBot und ChatGPT-User
- RFC 9309: Regeln des Robots Exclusion Protocol
Überprüfen Sie Ihre Seite mit Argos
Führen Sie ein kostenloses Audit eines öffentlichen URL durch und prüfen Sie die verfügbaren Beweise. Automatisierte Prüfungen ergänzen die Prüfungen in diesem Leitfaden.
Analysieren Sie eine Seite kostenlos