Técnico SEO · Rastreo e IA
¿Pueden los motores de búsqueda y los asistentes de inteligencia artificial acceder a su página?
Verifique el acceso público, HTML, robots.txt e indexabilidad. Distinga las visitas de búsqueda, capacitación y activadas por IA sin confundir el acceso con la cita.
En esta guía
Accesible, indexado y citado son tres cosas diferentes
Un asistente no citará su página simplemente porque responde en su navegador. Distinguir acceso al URL, si su contenido se puede leer, si está indexado y si se selecciona para una respuesta. Estos pasos dependen del servicio y de la pregunta formulada.
Esta guía le ayuda a investigar las barreras técnicas en una página pública. No mide su reputación ni calcula una puntuación de "visibilidad de la IA". En este caso, accesibilidad significa el acceso de los rastreadores al contenido; accesibilidad digital para las personas es un tema aparte a comprobar.
Para las experiencias generativas de Google Search, las prácticas estándar de SEO siguen siendo relevantes. un archivo llms.txt o el margen de beneficio especial no proporciona bonificación: Google dice que no los utiliza para este propósito. Otros servicios pueden tener sus propios usos. Recomendaciones oficiales Google.
1. Compruebe lo que recibe un visitante que no ha iniciado sesión
Elija una página destinada a ser pública. Ábralo en una ventana privada, luego inspeccione la solicitud de documento en el panel Red. Registre el URL inicial, redirecciones, URL final, estado y contenido devuelto.
- un error
401,403o5xxdebe ser investigado en contexto. Un bloqueo puede ser intencional. - un estado de
200puede acompañar a una pantalla de inicio de sesión, un desafío anti-bot o un mensaje de error. Verifique el cuerpo de la respuesta. - Compare el acceso desde sus herramientas con los registros del servidor o CDN. Una solicitud exitosa de su computadora no prueba que un rastreador reciba la misma respuesta.
Para conservar evidencia de un URL que administra, reemplace la dirección de ejemplo en este comando. Sigue redirecciones y guarda los encabezados y el cuerpo por separado:
curl -sS -L -D entetes.txt -o page.html https://example.com/serviceNo envíe una cookie de inicio de sesión ni un token privado cuando simule el acceso público. Si el firewall parece estar involucrado, identifique la regla y el rastreador afectado antes de cambiar la protección. Cambiar solo el encabezado User-Agent de una prueba no reproduce la identidad de red de un rastreador real.
2. Compare el HTML inicial y la página renderizada.
en page.html o el código fuente, busca una frase del contenido principal, el título y un enlace interno importante. Compare con el DOM después de la ejecución de JavaScript en el panel Elementos.
Google puede ejecutar JavaScript, pero el rastreo, el renderizado y la indexación son pasos separados. Un script bloqueado o un error pueden impedir la representación esperada. No asuma que todos los asistentes tienen las mismas capacidades. Cómo funciona JavaScript SEO según Google.
Para su diagnóstico, registre lo que falta sin JavaScript y lo que solo llega después de una interacción. Haga que la información esencial y los enlaces estén disponibles de manera confiable. La renderización del servidor o la generación estática pueden ayudar, sin ser un requisito universal para la indexación.
Un menú visible en una captura de pantalla no es suficiente: compruebe que las páginas importantes tengan enlaces utilizables con destinos reales. Un título, secciones claras y contenido objetivo también ayudan a los visitantes a comprender lo que ofrece su página.
3. Lea las reglas sin confundir el rastreo con la indexación.
Abierto /robots.txt en el dominio correspondiente. Identifique el grupo que coincide con el rastreador y las reglas aplicables a la ruta. Su presencia no prueba que una página esté permitida; su ausencia por sí sola no significa que esté prohibido gatear.
Disallow limita el rastreo de robots que siguen el protocolo. No protege el contenido privado ni garantiza que un URL desaparezca de los resultados. El papel y los límites de robots.txt.
Inspeccionar por separado <meta name="robots"> y el encabezado X-Robots-Tag. Pour que Google lise un noindex, debe poder acceder a la respuesta que lo contiene. Directivas de indexación y fragmentos. Une canonique exprime une préférence de version ; elle ne prouve pas que cette URL est indexée. Señales de canonicalización.
Para una página pública destinada a aparecer en la búsqueda, busque restricciones no deseadas y consulte los enlaces de descubrimiento y el mapa del sitio. Mantenga exclusiones para páginas privadas o páginas que no pertenecen a la búsqueda.
4. Elija los permisos de búsqueda y capacitación por separado
“Permitir IA” no es una regla única. OpenAI distingue los siguientes roles; estos no describen el comportamiento de cada proveedor.
En una pantalla pequeña, desplace la tabla horizontalmente.
| Agente | Rol | Lo que no debes inferir |
|---|---|---|
| robot de Google | Rastreando la búsqueda Google. | El acceso exitoso no garantiza la indexación ni la cita. |
| OAI-SearchBot | Descubrimiento de contenido para la búsqueda de ChatGPT. | Este permiso es independiente del permiso de entrenamiento. |
| GPTBot | Colección de contenido que puede usarse para entrenar modelos OpenAI. | Bloquearlo no bloquea automáticamente OAI-SearchBot. |
| Usuario de ChatGPT | Visitas provocadas por determinadas acciones del usuario. | Este no es el rastreador de búsqueda automatizado; Es posible que robots.txt no se aplique a estas acciones. |
Los controles de búsqueda y formación son independientes. Para un acceso verdaderamente privado, utilice autenticación y autorización del lado del servidor. Documentación oficial del rastreador OpenAI.
Ejemplo: permitir la búsqueda de ChatGPT y no permitir GPTBot
A continuación se muestra un ejemplo de un sitio ficticio, con tres áreas excluidas. Ilustra una elección editorial sin recomendarlo para todos los sitios. No reemplace su archivo sin preservar sus exclusiones existentes.
User-agent: *
Disallow: /admin/
Disallow: /compte/
Disallow: /api/
User-agent: OAI-SearchBot
Allow: /
Disallow: /admin/
Disallow: /compte/
Disallow: /api/
User-agent: GPTBot
Disallow: /
Sitemap: https://example.com/sitemap.xmlUn grupo específico no hereda automáticamente restricciones del * : por lo tanto, se repiten para OAI-SearchBot. Lea el archivo completo, incluido cualquier otro grupo con el mismo nombre. Reglas del protocolo, RFC 9309.
5. Confirmar lo observado, sin prometer una cita.
Para Google, utilice la inspección de Search Console URL si administra la propiedad. Distinga la versión conocida de Google de la prueba en vivo. Para otros servicios, compare su documentación con el acceso real observado en sus registros y las herramientas de monitoreo disponibles.
Argos identifica algunas señales públicas: respuestas de HTTP, estructura de HTML, directivas y recursos de descubrimiento. No simula todos los rastreadores, no valida toda su política robots.txt ni conoce el índice real o las opciones de citas de un motor de búsqueda.
Documente su conclusión en cada paso: "la respuesta contiene el texto", "la regla permite esta ruta para este rastreador" o "la herramienta del motor de búsqueda informa que este URL está indexado". La respuesta de un asistente a una pregunta puede variar; No es una prueba de visibilidad integral.
Después de la publicación, revise estos puntos en el rediseñar los controles de aceptación, luego monitoree los resultados utilizando los datos disponibles. El acceso técnico puede ser un requisito previo; la relevancia, la evidencia y la utilidad del contenido aún necesitan trabajo.
Referencias oficiales
Fuentes consultadas el 2 de noviembre de 2026. Las interfaces y reglas del servicio pueden cambiar.
- Google: el papel y los límites de robots.txt
- Google: noindex y controles de fragmentos
- Google: señales de canonicalización
- Google: rastreo y renderizado JavaScript
- Google: visibilidad en sus funciones de IA generativa
- OpenAI: los roles de OAI-SearchBot, GPTBot y ChatGPT-User
- RFC 9309: Reglas del protocolo de exclusión de robots
Consulta tu página con Argos
Realice una auditoría gratuita de un URL público y examine la evidencia disponible. Los controles automatizados complementan los controles de esta guía.
Analizar una página gratis