Passa alla guida

Tecnica SEO · Scansione e intelligenza artificiale

I motori di ricerca e gli assistenti AI possono accedere alla tua pagina?

Controlla l'accesso pubblico, HTML, robots.txt e l'indicizzabilità. Distinguere la ricerca, la formazione e le visite attivate dall'intelligenza artificiale senza confondere l'accesso con la citazione.

Di Antoine Le Louët · Lettura stimata : 8 min · Riferimenti

Accessibile, indicizzato e citato sono tre cose diverse

Un assistente non citerà la tua pagina semplicemente perché risponde nel tuo browser. Distinguere accedere allo URL, se il suo contenuto può essere letto, se è indicizzato e se è selezionato per una risposta. Questi passaggi dipendono dal servizio e dalla domanda posta.

Questa guida ti aiuta a indagare sulle barriere tecniche su una pagina pubblica. Non misura la sua reputazione né calcola un punteggio di “visibilità AI”. In questo caso, accessibilità significa l’accesso dei crawler ai contenuti; accessibilità digitale per le persone è un argomento separato da controllare.

Per le esperienze generative di Google Search, le pratiche standard di SEO rimangono rilevanti. Un fascicolo llms.txt oppure markup speciali non forniscono bonus: Google afferma di non utilizzarli per questo scopo. Altri servizi potrebbero avere usi propri. Raccomandazioni ufficiali Google.

1. Check what a signed-out visitor receives

Scegli una pagina destinata ad essere pubblica. Aprilo in una finestra privata, quindi controlla la richiesta di documento nel pannello Rete. Registra URL iniziale, reindirizzamenti, URL finale, stato e contenuto restituito.

  • Un errore 401, 403 o 5xx devono essere indagati nel contesto. Un blocco può essere intenzionale.
  • Uno stato di 200 può accompagnare una schermata di accesso, una sfida anti-bot o un messaggio di errore. Controlla il corpo della risposta.
  • Confronta l'accesso dai tuoi strumenti con i log del server o della CDN. Una richiesta riuscita dal tuo computer non dimostra che un crawler riceve la stessa risposta.

Per conservare la prova di un URL che amministri, sostituisci l'indirizzo di esempio in questo comando. Segue reindirizzamenti e salva intestazioni e corpo separatamente:

curl -sS -L -D entetes.txt -o page.html https://example.com/service

Non inviare un cookie di accesso o un token privato durante la simulazione dell'accesso pubblico. Se il firewall sembra coinvolto, identificare la regola e il crawler interessato prima di modificare la protezione. La modifica solo dell'intestazione User-Agent di un test non riproduce l'identità di rete di un crawler reale.

2. Confronta lo HTML iniziale e la pagina renderizzata

Dentro page.html oppure il codice sorgente, cerca una frase del contenuto principale, il titolo e un link interno importante. Confronta con il DOM dopo l'esecuzione di JavaScript nel pannello Elementi.

Google può eseguire JavaScript, ma la scansione, il rendering e l'indicizzazione sono passaggi separati. Uno script bloccato o un errore possono impedire il rendering previsto. Non dare per scontato che ogni assistente abbia le stesse capacità. Come funziona JavaScript SEO secondo Google.

Per la tua diagnosi, registra cosa manca senza JavaScript e cosa arriva solo dopo un'interazione. Rendere le informazioni e i collegamenti essenziali disponibili in modo affidabile. Il rendering del server o la generazione statica possono aiutare, senza essere un requisito universale per l'indicizzazione.

Un menu visibile in uno screenshot non basta: controlla che le pagine importanti abbiano collegamenti fruibili con destinazioni reali. Un titolo, sezioni chiare e contenuti concreti aiutano anche i visitatori a capire cosa offre la tua pagina.

3. Leggi le regole senza confondere la scansione con l'indicizzazione

Aperto /robots.txt sul dominio in questione. Identificare il gruppo corrispondente al crawler e le regole applicabili al percorso. La sua presenza non prova che una pagina sia consentita; la sua sola assenza non significa che sia vietato gattonare.

Disallow limita la scansione per i robot che seguono il protocollo. Non protegge i contenuti privati ​​né garantisce che un URL scompaia dai risultati. Il ruolo e i limiti di robots.txt.

Ispezionare separatamente <meta name="robots"> e l'intestazione X-Robots-Tag. Pour que Google lise un noindex, deve essere in grado di accedere alla risposta che lo contiene. Direttive di indicizzazione e snippet. Une canonique exprime une préférence de version ; elle ne prouve pas que cette URL est indexée. Segnali di canonicalizzazione.

Per una pagina pubblica destinata a comparire nella ricerca, cerca eventuali restrizioni involontarie e controlla i collegamenti di rilevamento e la mappa del sito. Mantieni le esclusioni per le pagine private o per le pagine che non appartengono alla ricerca.

4. Scegli le autorizzazioni di ricerca e formazione separatamente

"Consenti AI" non è una regola unica. OpenAI distingue i seguenti ruoli; questi non descrivono il comportamento di ogni fornitore.

Su uno schermo piccolo, scorri la tabella in senso orizzontale.

L'accesso varia a seconda dei servizi
AgenteRuoloCosa non dovresti dedurre
GooglebotScansione per la ricerca Google.L'accesso riuscito non garantisce l'indicizzazione o una citazione.
OAI-SearchBotIndividuazione del contenuto per la ricerca ChatGPT.Questa autorizzazione è separata dall'autorizzazione alla formazione.
GPTBotRaccolta di contenuti che possono essere utilizzati per addestrare i modelli OpenAI.Bloccandolo non si blocca automaticamente OAI-SearchBot.
Utente ChatGPTVisite attivate da determinate azioni dell'utente.Questo non è il crawler di ricerca automatizzato; robots.txt potrebbe non applicarsi a queste azioni.

I controlli di ricerca e formazione sono indipendenti. Per un accesso veramente privato, utilizza l'autenticazione e l'autorizzazione lato server. Documentazione ufficiale del crawler OpenAI.

Esempio: consenti la ricerca ChatGPT e non consenti GPTBot

Ecco un esempio di sito fittizio, con tre aree escluse. Illustra una scelta editoriale senza consigliarla per ogni sito. Non sostituire il file senza preservare le esclusioni esistenti.

User-agent: *
Disallow: /admin/
Disallow: /compte/
Disallow: /api/

User-agent: OAI-SearchBot
Allow: /
Disallow: /admin/
Disallow: /compte/
Disallow: /api/

User-agent: GPTBot
Disallow: /

Sitemap: https://example.com/sitemap.xml

Un gruppo specifico non eredita automaticamente le restrizioni da * : they are therefore repeated for OAI-SearchBot. Leggi il file completo, compresi eventuali altri gruppi con lo stesso nome. Regole del protocollo, RFC 9309.

5. Confermare quanto osservato, senza promettere citazione

Per Google, utilizza l'ispezione URL di Search Console se amministri la proprietà. Distinguere la versione conosciuta di Google dal test dal vivo. Per altri servizi, confronta la documentazione con l'accesso effettivo osservato nei registri e negli strumenti di monitoraggio disponibili.

Argos identifica alcuni segnali pubblici: risposte HTTP, struttura HTML, direttive e risorse di discovery. Non simula ogni crawler, non convalida l'intera policy robots.txt né conosce l'indice effettivo o le scelte di citazione di un motore di ricerca.

Documenta la tua conclusione in ogni passaggio: "la risposta contiene il testo", "la regola consente questo percorso per questo crawler" o "lo strumento del motore di ricerca segnala questo URL come indicizzato". La risposta di un assistente a una domanda può variare; non è un test di visibilità completo.

Dopo la pubblicazione, rivisitare questi punti nel riprogettare i controlli di accettazione, quindi monitorare i risultati utilizzando i dati disponibili. Technical access may be a prerequisite; la pertinenza, l’evidenza e l’utilità del contenuto necessitano ancora di lavoro.

Riferimenti ufficiali

Fonti consultate il 2 novembre 2026. Le interfacce e le regole del servizio potrebbero cambiare.

Controlla la tua pagina con Argos

Esegui un audit gratuito di un URL pubblico ed esamina le prove disponibili. I controlli automatizzati completano i controlli presenti in questa guida.

Analizza una pagina gratuitamente