Ga naar de gids

Technisch SEO · Crawlen en AI

Hebben zoekmachines en AI-assistenten toegang tot uw pagina?

Controleer openbare toegang, HTML, robots.txt en indexeerbaarheid. Onderscheid zoek-, training- en AI-getriggerde bezoeken zonder toegang te verwarren met citatie.

Door Antoine Le Louët · Geschatte leeswaarde : 8 min · Referenties

Toegankelijk, geïndexeerd en geciteerd zijn drie verschillende dingen

Een assistent zal uw pagina niet citeren alleen maar omdat deze in uw browser reageert. Onderscheid toegang tot de URL, of de inhoud ervan kan worden gelezen, of deze is geïndexeerd en of deze is geselecteerd voor een antwoord. Deze stappen zijn afhankelijk van de dienst en de gestelde vraag.

Deze gids helpt u bij het onderzoeken van technische barrières op een openbare pagina. Het meet zijn reputatie niet en berekent geen score voor ‘AI-zichtbaarheid’. Toegankelijkheid betekent hier de toegang van crawlers tot inhoud; digitale toegankelijkheid voor mensen is een apart onderwerp om te controleren.

Voor de generatieve ervaringen van Google Search blijven de standaard SEO-praktijken relevant. Een bestand llms.txt of speciale markup biedt geen bonus: Google zegt dat het deze niet voor dit doel gebruikt. Andere diensten kunnen hun eigen toepassingen hebben. Officiële Google-aanbevelingen.

1. Controleer wat een afgemelde bezoeker ontvangt

Kies een pagina die bedoeld is om openbaar te zijn. Open het in een privévenster en inspecteer vervolgens het documentverzoek in het netwerkpaneel. Registreer de initiële URL, omleidingen, uiteindelijke URL, status en geretourneerde inhoud.

  • Een fout 401, 403 of 5xx moet in context worden onderzocht. Een blokkering kan opzettelijk zijn.
  • Een status van 200 kan gepaard gaan met een inlogscherm, een anti-bot-uitdaging of een foutmelding. Controleer de antwoordtekst.
  • Vergelijk de toegang vanaf uw tools met server- of CDN-logboeken. Een succesvol verzoek van uw computer bewijst niet dat een crawler hetzelfde antwoord ontvangt.

Om bewijs te bewaren voor een URL die u beheert, vervangt u het voorbeeldadres in deze opdracht. Het volgt omleidingen en slaat headers en hoofdtekst afzonderlijk op:

curl -sS -L -D entetes.txt -o page.html https://example.com/service

Stuur geen inlogcookie of privétoken wanneer u openbare toegang simuleert. Als de firewall betrokken lijkt te zijn, identificeer dan de regel en de getroffen crawler voordat u de beveiliging wijzigt. Als u alleen de User-Agent-header van een test wijzigt, wordt de netwerkidentiteit van een echte crawler niet gereproduceerd.

2. Vergelijk de initiële HTML en de weergegeven pagina

In page.html of de broncode, zoek naar een zin uit de hoofdinhoud, de titel en een belangrijke interne link. Vergelijk met de DOM na uitvoering van JavaScript in het paneel Elementen.

Google kan JavaScript uitvoeren, maar crawlen, renderen en indexeren zijn afzonderlijke stappen. Een geblokkeerd script of een fout kan de verwachte weergave verhinderen. Ga er niet vanuit dat elke assistent dezelfde capaciteiten heeft. Hoe JavaScript SEO werkt volgens Google.

Registreer voor uw diagnose wat er ontbreekt zonder JavaScript en wat er pas na een interactie arriveert. Zorg ervoor dat essentiële informatie en links betrouwbaar beschikbaar zijn. Serverrendering of statische generatie kunnen helpen, zonder dat dit een universele vereiste voor indexering is.

Een menu zichtbaar in een screenshot is niet voldoende: controleer of belangrijke pagina's bruikbare links hebben met echte bestemmingen. Een titel, duidelijke secties en feitelijke inhoud helpen bezoekers ook te begrijpen wat uw pagina te bieden heeft.

3. Lees de regels zonder crawlen met indexeren te verwarren

Openen /robots.txt op het betreffende domein. Identificeer de groep die overeenkomt met de crawler en de regels die van toepassing zijn op het pad. De aanwezigheid ervan bewijst niet dat een pagina is toegestaan; de afwezigheid ervan alleen betekent niet dat kruipen verboden is.

Disallow beperkt het crawlen voor robots die het protocol volgen. Het beschermt privé-inhoud niet en garandeert niet dat een URL uit de resultaten verdwijnt. De rol en beperkingen van robots.txt.

Afzonderlijk inspecteren <meta name="robots"> en de kop X-Robots-Tag. Pour que Google lise un noindex, moet het toegang kunnen krijgen tot het antwoord dat het bevat. Indexerings- en fragmentrichtlijnen. Une canonique exprime une préférence de version ; elle ne prouve pas que cette URL est indexée. Canonicaliseringssignalen.

Voor een openbare pagina die bedoeld is om in de zoekresultaten te verschijnen, zoekt u naar onbedoelde beperkingen en controleert u de ontdekkingslinks en de sitemap. Behoud uitsluitingen voor privépagina's of pagina's die niet thuishoren in de zoekresultaten.

4. Kies afzonderlijk de zoek- en trainingsrechten

“AI toestaan” is geen enkele regel. OpenAI onderscheidt de volgende rollen; deze beschrijven niet het gedrag van iedere aanbieder.

Blader op een klein scherm horizontaal door de tabel.

De toegang verschilt per service
AgentRolWat je niet mag concluderen
GooglebotCrawlen voor zoeken in Google.Succesvolle toegang garandeert geen indexering of citatie.
OAI-SearchBotContentdetectie voor ChatGPT-zoeken.Deze toestemming staat los van de trainingstoestemming.
GPTBotVerzameling van inhoud die kan worden gebruikt om OpenAI-modellen te trainen.Als u dit blokkeert, wordt OAI-SearchBot niet automatisch geblokkeerd.
ChatGPT-gebruikerBezoeken die worden geactiveerd door bepaalde gebruikersacties.Dit is niet de geautomatiseerde zoekcrawler; robots.txt is mogelijk niet van toepassing op deze acties.

Zoek- en trainingscontroles zijn onafhankelijk. Voor echt privétoegang maakt u gebruik van authenticatie en autorisatie aan de serverzijde. Officiële OpenAI-crawlerdocumentatie.

Voorbeeld: sta ChatGPT-zoeken toe en sta GPTBot niet toe

Hier is een voorbeeld van een fictieve site, met drie uitgesloten gebieden. Het illustreert een redactionele keuze zonder deze voor elke site aan te bevelen. Vervang uw bestand niet zonder uw bestaande uitsluitingen te behouden.

User-agent: *
Disallow: /admin/
Disallow: /compte/
Disallow: /api/

User-agent: OAI-SearchBot
Allow: /
Disallow: /admin/
Disallow: /compte/
Disallow: /api/

User-agent: GPTBot
Disallow: /

Sitemap: https://example.com/sitemap.xml

Een specifieke groep erft niet automatisch beperkingen van de * : ze worden daarom herhaald voor OAI-SearchBot. Lees het volledige bestand, inclusief eventuele andere groepen met dezelfde naam. Protocolregels, RFC 9309.

5. Bevestig wat er is waargenomen, zonder een citaat te beloven

Voor Google gebruikt u de Search Console URL-inspectie als u de woning beheert. Onderscheid de bekende versie van Google van de live test. Voor andere services vergelijkt u hun documentatie met de daadwerkelijke toegang die u in uw logboeken en beschikbare monitoringtools ziet.

Argos identificeert enkele openbare signalen: HTTP-reacties, HTML-structuur, richtlijnen en detectiebronnen. Het simuleert niet elke crawler, valideert niet uw volledige robots.txt-beleid, of kent de daadwerkelijke index- of citatiekeuzes van een zoekmachine.

Documenteer uw conclusie bij elke stap: “het antwoord bevat de tekst”, “de regel staat dit pad toe voor deze crawler”, of “de tool van de zoekmachine rapporteert deze URL als geïndexeerd”. Het antwoord van een assistent op een vraag kan variëren; het is geen uitgebreide zichtbaarheidstest.

Na publicatie kunt u deze punten opnieuw bekijken in de acceptatiecontroles opnieuw ontwerpenen controleer vervolgens de resultaten met behulp van de beschikbare gegevens. Technische toegang kan een vereiste zijn; er moet nog gewerkt worden aan de relevantie, het bewijsmateriaal en het nut van de inhoud.

Officiële referenties

Bronnen geraadpleegd op 2 november 2026. Service-interfaces en regels kunnen veranderen.

Controleer uw pagina met Argos

Voer een gratis audit uit van een openbare URL en onderzoek het beschikbare bewijsmateriaal. Geautomatiseerde controles vormen een aanvulling op de controles in deze handleiding.

Analyseer gratis een pagina