SEO technique · Exploration et IA
Votre page est-elle accessible aux moteurs de recherche et aux assistants IA ?
Vérifiez accès public, HTML, robots.txt et indexabilité. Distinguez recherche, entraînement et consultation par une IA, sans confondre accès et citation.
Dans ce guide
Accessible, indexée et citée sont trois choses différentes
Un assistant ne cite pas votre page simplement parce qu’elle répond dans votre navigateur. Il faut distinguer l’accès à l’URL, la possibilité d’en lire le contenu, son éventuelle indexation et sa sélection pour une réponse. Ces étapes dépendent du service et de la question posée.
Ce guide sert à rechercher des obstacles techniques sur une page publique. Il ne mesure pas sa notoriété et ne calcule pas un score de « visibilité IA ». Ici, l’accessibilité désigne l’accès des robots au contenu ; l’accessibilité numérique pour les personnes est un autre sujet à vérifier.
Pour les expériences génératives de Google Search, les pratiques SEO habituelles restent pertinentes. Un fichier llms.txt ou un balisage spécial n’y donne pas de bonus : Google indique ne pas les utiliser à cette fin. D’autres services peuvent avoir leurs propres usages. Recommandations officielles Google.
1. Vérifier ce que reçoit un visiteur non connecté
Choisissez une page destinée à être publique. Ouvrez-la dans une fenêtre privée, puis examinez la requête du document dans l’onglet Réseau. Notez URL initiale, redirections, URL finale, statut et contenu retourné.
- Une erreur
401,403ou5xxdoit être examinée dans son contexte. Un blocage peut être intentionnel. - Un statut
200peut accompagner un écran de connexion, un challenge anti-robot ou un message d’erreur. Vérifiez le corps de la réponse. - Comparez l’accès depuis vos outils avec les journaux du serveur ou du CDN. Une requête réussie depuis votre poste ne prouve pas qu’un robot reçoit la même réponse.
Pour conserver une preuve sur une URL que vous administrez, remplacez l’adresse d’exemple dans cette commande. Elle suit les redirections et enregistre séparément en-têtes et corps :
curl -sS -L -D entetes.txt -o page.html https://example.com/serviceN’envoyez ni cookie de connexion ni jeton privé pour simuler un accès public. Si le pare-feu semble impliqué, identifiez la règle et le robot concerné avant de modifier la protection. Changer seulement l’en-tête User-Agent d’un test ne reproduit pas l’identité réseau d’un véritable robot.
2. Comparer le HTML initial et la page rendue
Dans page.html ou le code source, recherchez une phrase du contenu principal, le titre et un lien interne important. Comparez avec le DOM après exécution de JavaScript dans l’onglet Éléments.
Google peut exécuter JavaScript, mais exploration, rendu et indexation sont des étapes distinctes. Un script bloqué ou une erreur peut empêcher le rendu attendu. Ne supposez pas que tous les assistants disposent des mêmes capacités. Fonctionnement du SEO JavaScript selon Google.
Pour votre diagnostic, notez ce qui manque sans JavaScript et ce qui n’arrive qu’après une interaction. Rendez les informations essentielles et les liens disponibles de façon fiable. Le rendu serveur ou la génération statique peut aider, sans devenir une condition universelle d’indexation.
Un menu visible dans une capture ne suffit pas : contrôlez que les pages importantes ont des liens utilisables, avec une destination réelle. Un titre, des sections claires et des contenus factuels aident également les visiteurs à comprendre ce que votre page apporte.
3. Lire les règles sans confondre exploration et indexation
Ouvrez /robots.txt sur le domaine concerné. Identifiez le groupe correspondant au robot et les règles applicables au chemin. Sa présence ne prouve pas qu’une page est autorisée ; son absence ne signifie pas, à elle seule, que l’exploration est interdite.
Disallow limite l’exploration pour les robots qui respectent le protocole. Il ne protège pas un contenu privé et ne garantit pas qu’une URL disparaîtra des résultats. Rôle et limites de robots.txt.
Inspectez séparément <meta name="robots"> et l’en-tête X-Robots-Tag. Pour que Google lise un noindex, il doit pouvoir accéder à la réponse qui le contient. Directives d’indexation et d’extraits. Une canonique exprime une préférence de version ; elle ne prouve pas que cette URL est indexée. Signaux de canonicalisation.
Pour une page publique voulue dans la recherche, recherchez les restrictions involontaires et vérifiez les liens de découverte et le sitemap. Conservez les exclusions des pages privées ou sans intérêt pour la recherche.
4. Choisir séparément recherche et entraînement
« Autoriser les IA » n’est pas une règle unique. Chez OpenAI, les rôles suivants sont distincts ; ils ne décrivent pas le fonctionnement de tous les fournisseurs.
Sur petit écran, faites défiler le tableau horizontalement.
| Agent | Rôle | Ce qu’il ne faut pas en déduire |
|---|---|---|
| Googlebot | Exploration pour Google Search. | Un accès réussi ne garantit pas l’indexation ou une citation. |
| OAI-SearchBot | Découverte de contenus pour la recherche ChatGPT. | Cette permission n’est pas celle de l’entraînement. |
| GPTBot | Collecte de contenus susceptibles de servir à l’entraînement des modèles OpenAI. | Le bloquer ne bloque pas automatiquement OAI-SearchBot. |
| ChatGPT-User | Consultations déclenchées par certaines actions d’utilisateurs. | Ce n’est pas le robot d’exploration automatique pour la recherche ; robots.txt peut ne pas s’appliquer à ces actions. |
Les contrôles de recherche et d’entraînement sont indépendants. Pour un véritable accès privé, utilisez une authentification et des autorisations serveur. Documentation officielle OpenAI sur les robots.
Exemple : autoriser la recherche ChatGPT et refuser GPTBot
Voici un exemple pour un site fictif, avec trois zones exclues. Il illustre un choix éditorial, sans le recommander pour tous les sites. Ne remplacez pas votre fichier sans reprendre vos exclusions existantes.
User-agent: *
Disallow: /admin/
Disallow: /compte/
Disallow: /api/
User-agent: OAI-SearchBot
Allow: /
Disallow: /admin/
Disallow: /compte/
Disallow: /api/
User-agent: GPTBot
Disallow: /
Sitemap: https://example.com/sitemap.xmlUn groupe spécifique ne reprend pas automatiquement les restrictions du groupe * : elles sont donc répétées pour OAI-SearchBot. Relisez le fichier complet, y compris les autres groupes portant le même nom. Règles du protocole, RFC 9309.
5. Confirmer ce qui est observé, sans promettre une citation
Pour Google, utilisez l’inspection d’URL de Search Console si vous administrez la propriété. Distinguez la version connue de Google et le test en direct. Pour les autres services, confrontez leur documentation aux accès réellement observés dans vos journaux et aux outils de suivi disponibles.
Argos repère certains signaux publics : réponse HTTP, structure HTML, présence de directives et ressources de découverte. Il ne simule pas chaque robot, ne valide pas toute votre politique robots.txt et ne connaît ni l’index réel d’un moteur ni ses choix de citation.
Documentez votre conclusion par étape : « la réponse contient bien le texte », « la règle autorise ce chemin pour ce robot », ou « l’outil du moteur signale cette URL indexée ». Une réponse à une question dans un assistant peut varier ; elle ne constitue pas un test exhaustif de visibilité.
Après une publication, reprenez ces points dans la recette de refonte, puis suivez les résultats avec les données disponibles. L’accès technique est un préalable possible ; la pertinence, les preuves et l’utilité du contenu restent à travailler.
Références officielles
Sources consultées le 2 novembre 2026. Les interfaces et les règles des services peuvent évoluer.
- Google : rôle et limites de robots.txt
- Google : noindex et contrôles des extraits
- Google : signaux de canonicalisation
- Google : exploration et rendu JavaScript
- Google : visibilité dans ses fonctionnalités d’IA générative
- OpenAI : rôles de OAI-SearchBot, GPTBot et ChatGPT-User
- RFC 9309 : règles du protocole d’exclusion des robots
Vérifier votre page avec Argos
Lancez un audit gratuit d’une URL publique et examinez les preuves disponibles. Les contrôles automatiques complètent les vérifications de ce guide.
Analyser une page gratuitement