Saltar a la guía

Técnico SEO · Rastreo e IA

¿Pueden los motores de búsqueda y los asistentes de inteligencia artificial acceder a su página?

Verifique el acceso público, HTML, robots.txt e indexabilidad. Distinga las visitas de búsqueda, capacitación y activadas por IA sin confundir el acceso con la cita.

Por Antoine Le Louët · Lectura estimada : 8 min · Referencias

Accesible, indexado y citado son tres cosas diferentes

Un asistente no citará su página simplemente porque responde en su navegador. Distinguir acceso al URL, si su contenido se puede leer, si está indexado y si se selecciona para una respuesta. Estos pasos dependen del servicio y de la pregunta formulada.

Esta guía le ayuda a investigar las barreras técnicas en una página pública. No mide su reputación ni calcula una puntuación de "visibilidad de la IA". En este caso, accesibilidad significa el acceso de los rastreadores al contenido; accesibilidad digital para las personas es un tema aparte a comprobar.

Para las experiencias generativas de Google Search, las prácticas estándar de SEO siguen siendo relevantes. un archivo llms.txt o el margen de beneficio especial no proporciona bonificación: Google dice que no los utiliza para este propósito. Otros servicios pueden tener sus propios usos. Recomendaciones oficiales Google.

1. Compruebe lo que recibe un visitante que no ha iniciado sesión

Elija una página destinada a ser pública. Ábralo en una ventana privada, luego inspeccione la solicitud de documento en el panel Red. Registre el URL inicial, redirecciones, URL final, estado y contenido devuelto.

  • un error 401, 403 o 5xx debe ser investigado en contexto. Un bloqueo puede ser intencional.
  • un estado de 200 puede acompañar a una pantalla de inicio de sesión, un desafío anti-bot o un mensaje de error. Verifique el cuerpo de la respuesta.
  • Compare el acceso desde sus herramientas con los registros del servidor o CDN. Una solicitud exitosa de su computadora no prueba que un rastreador reciba la misma respuesta.

Para conservar evidencia de un URL que administra, reemplace la dirección de ejemplo en este comando. Sigue redirecciones y guarda los encabezados y el cuerpo por separado:

curl -sS -L -D entetes.txt -o page.html https://example.com/service

No envíe una cookie de inicio de sesión ni un token privado cuando simule el acceso público. Si el firewall parece estar involucrado, identifique la regla y el rastreador afectado antes de cambiar la protección. Cambiar solo el encabezado User-Agent de una prueba no reproduce la identidad de red de un rastreador real.

2. Compare el HTML inicial y la página renderizada.

en page.html o el código fuente, busca una frase del contenido principal, el título y un enlace interno importante. Compare con el DOM después de la ejecución de JavaScript en el panel Elementos.

Google puede ejecutar JavaScript, pero el rastreo, el renderizado y la indexación son pasos separados. Un script bloqueado o un error pueden impedir la representación esperada. No asuma que todos los asistentes tienen las mismas capacidades. Cómo funciona JavaScript SEO según Google.

Para su diagnóstico, registre lo que falta sin JavaScript y lo que solo llega después de una interacción. Haga que la información esencial y los enlaces estén disponibles de manera confiable. La renderización del servidor o la generación estática pueden ayudar, sin ser un requisito universal para la indexación.

Un menú visible en una captura de pantalla no es suficiente: compruebe que las páginas importantes tengan enlaces utilizables con destinos reales. Un título, secciones claras y contenido objetivo también ayudan a los visitantes a comprender lo que ofrece su página.

3. Lea las reglas sin confundir el rastreo con la indexación.

Abierto /robots.txt en el dominio correspondiente. Identifique el grupo que coincide con el rastreador y las reglas aplicables a la ruta. Su presencia no prueba que una página esté permitida; su ausencia por sí sola no significa que esté prohibido gatear.

Disallow limita el rastreo de robots que siguen el protocolo. No protege el contenido privado ni garantiza que un URL desaparezca de los resultados. El papel y los límites de robots.txt.

Inspeccionar por separado <meta name="robots"> y el encabezado X-Robots-Tag. Pour que Google lise un noindex, debe poder acceder a la respuesta que lo contiene. Directivas de indexación y fragmentos. Une canonique exprime une préférence de version ; elle ne prouve pas que cette URL est indexée. Señales de canonicalización.

Para una página pública destinada a aparecer en la búsqueda, busque restricciones no deseadas y consulte los enlaces de descubrimiento y el mapa del sitio. Mantenga exclusiones para páginas privadas o páginas que no pertenecen a la búsqueda.

4. Elija los permisos de búsqueda y capacitación por separado

“Permitir IA” no es una regla única. OpenAI distingue los siguientes roles; estos no describen el comportamiento de cada proveedor.

En una pantalla pequeña, desplace la tabla horizontalmente.

El acceso difiere entre servicios.
AgenteRolLo que no debes inferir
robot de GoogleRastreando la búsqueda Google.El acceso exitoso no garantiza la indexación ni la cita.
OAI-SearchBotDescubrimiento de contenido para la búsqueda de ChatGPT.Este permiso es independiente del permiso de entrenamiento.
GPTBotColección de contenido que puede usarse para entrenar modelos OpenAI.Bloquearlo no bloquea automáticamente OAI-SearchBot.
Usuario de ChatGPTVisitas provocadas por determinadas acciones del usuario.Este no es el rastreador de búsqueda automatizado; Es posible que robots.txt no se aplique a estas acciones.

Los controles de búsqueda y formación son independientes. Para un acceso verdaderamente privado, utilice autenticación y autorización del lado del servidor. Documentación oficial del rastreador OpenAI.

Ejemplo: permitir la búsqueda de ChatGPT y no permitir GPTBot

A continuación se muestra un ejemplo de un sitio ficticio, con tres áreas excluidas. Ilustra una elección editorial sin recomendarlo para todos los sitios. No reemplace su archivo sin preservar sus exclusiones existentes.

User-agent: *
Disallow: /admin/
Disallow: /compte/
Disallow: /api/

User-agent: OAI-SearchBot
Allow: /
Disallow: /admin/
Disallow: /compte/
Disallow: /api/

User-agent: GPTBot
Disallow: /

Sitemap: https://example.com/sitemap.xml

Un grupo específico no hereda automáticamente restricciones del * : por lo tanto, se repiten para OAI-SearchBot. Lea el archivo completo, incluido cualquier otro grupo con el mismo nombre. Reglas del protocolo, RFC 9309.

5. Confirmar lo observado, sin prometer una cita.

Para Google, utilice la inspección de Search Console URL si administra la propiedad. Distinga la versión conocida de Google de la prueba en vivo. Para otros servicios, compare su documentación con el acceso real observado en sus registros y las herramientas de monitoreo disponibles.

Argos identifica algunas señales públicas: respuestas de HTTP, estructura de HTML, directivas y recursos de descubrimiento. No simula todos los rastreadores, no valida toda su política robots.txt ni conoce el índice real o las opciones de citas de un motor de búsqueda.

Documente su conclusión en cada paso: "la respuesta contiene el texto", "la regla permite esta ruta para este rastreador" o "la herramienta del motor de búsqueda informa que este URL está indexado". La respuesta de un asistente a una pregunta puede variar; No es una prueba de visibilidad integral.

Después de la publicación, revise estos puntos en el rediseñar los controles de aceptación, luego monitoree los resultados utilizando los datos disponibles. El acceso técnico puede ser un requisito previo; la relevancia, la evidencia y la utilidad del contenido aún necesitan trabajo.

Referencias oficiales

Fuentes consultadas el 2 de noviembre de 2026. Las interfaces y reglas del servicio pueden cambiar.

Consulta tu página con Argos

Realice una auditoría gratuita de un URL público y examine la evidencia disponible. Los controles automatizados complementan los controles de esta guía.

Analizar una página gratis