Šajā ceļvedī
Pieejams, indeksēts un citēts ir trīs dažādas lietas
Aistents nenorāda jūsu lapu vienkārši tāpēc, ka tas atbild jūsu pārlūkprogrammā. Atšķirība piekļuve URLvai tā saturs var tikt lasīts, vai tas ir indeksēts, un vai tas tiek izvēlēts atbildei. Šie soļi ir atkarīgi no pakalpojuma un jautājuma.
Šis ceļvedis palīdz jums izpētīt tehniskos šķēršļus publiskajā lapā. Tas neuzskata savu reputāciju vai aprēķina "AI redzamības" rādītāju. Šeit pieejamība nozīmē pārlūkprogrammu piekļuvi saturam; Digitālā pieejamība cilvēkiem Tas ir atsevišķs pārbaudāms priekšmets.
Google meklēšanas ģeneratīvo pieredzi gadījumā standarta SEO prakse joprojām ir svarīga. Kāds fails llms.txt vai īpaša marķēšana nesniedz bonusu: Google saka, ka tā tos neizmanto šim nolūkam. Citiem pakalpojumiem var būt savs mērķis. Oficiālie Google ieteikumi.
1 1 Pārbaudiet, ko saņem pasūtītājs
Izvēlieties lapu, kas paredzēts būt publiski. Atveriet to privātā loga, tad pārbaudiet dokumentu pieprasījumu Tīkla panelē. Iegūstiet sākotnējo URL, rediģē, galīgo URL, statusu un atgriezt saturu.
- kļūda
401,403vai5xxJāizmeklē kontekstā. Bloks var būt nodomāts. - statuss no
200var būt pievienots sign-in ekrāns, anti-bot izaicinājums vai kļūdas ziņojums. Pārbaudiet atbildes ķermeni. - Salīdziniet piekļuvi no jūsu rīkiem ar serveri vai CDN logiem. Veiksmīgs pieprasījums no jūsu datora nenodrošina, ka pārlūkprogramma saņem to pašu atbildi.
Lai saglabātu pierādījumus par URL jūs administrējat, aizstāt piemēru adresi šajā komandā. Tas seko rediģējumiem un glabā galvas un ķermeņa atsevišķi:
curl -sS -L -D entetes.txt -o page.html https://example.com/serviceNeiesūtiet pieteikšanās sīkdatni vai privātās tokenus, simulējot publisko piekļuvi. Ja ugunsmūra parādās iesaistīta, identificējiet noteikumu un ietekmēto krēpu pirms aizsardzības maiņas. Mainot tikai testa lietotāja-agenta nosaukumu, tas neatkārto reālā pārlūkprogrammas tīkla identitāti.
2. Salīdziniet sākotnējo HTML un renderēto lapu
I page.html vai avota kodu, meklējiet frāzi no galvenā satura, nosaukuma un svarīgas iekšējās saites. Salīdziniet ar DOM pēc JavaScript izpildi Elements panelis.
Google var izpildīt JavaScript, bet pārraudzība, renderēšana un indekss ir atsevišķi soļi. Blokēts skript vai kļūda var novērst gaidīto renderēšanu. Neuzskatu, ka katram asistentam ir vienādas iespējas. Kā JavaScript SEO darbojas saskaņā ar Google.
Jūsu diagnozei ierakstiet, kas ir pazuduši bez JavaScript un kas notiek tikai pēc mijiedarbības. Nodrošināt nepieciešamo informāciju un saites uzticami pieejamu. Serveru renderēšana vai statiskā ģenerācija var palīdzēt, nebūt universāla indeksa prasība.
Vienā ekrāna attēla redzamā menija nav pietiekama: pārliecinieties, ka svarīgām lapām ir lietojamas saites ar reāliem galamērķiem. Tēvs, skaidri secinājumi un faktiskais saturs arī palīdz apmeklētājiem saprast, ko jūsu lapa piedāvā.
3. Lasīt noteikumus, neskaidrojot crawling ar indekss
Atvērts /robots.txt attiecīgajā domēnā. Identificējiet grupu, kas atbilst crawleram un noteikumiem, kas piemērojami maršrutam. Tās klātbūtne nenodrošina, ka lapa ir atļauta; tās neesamība vienīgi nenozīmē, ka pārlūkošana ir aizliegta.
Disallow Robežu pārraides ierobežojumi robotiem, kas seko protokolu. Tas neaizsargā privātās satura vai garantē, ka URL pazūd no rezultātiem. Role un robežas robots.txt.
Atsevišķi pārbaudi <meta name="robots"> Un galvenais X-Robots-Tag. Pour que Google lise un noindexViņam ir jābūt pieejamam atbildei, kas tajā ir. Indeksa un snippet direktīvas. Une canonique exprime une préférence de version ; elle ne prouve pas que cette URL est indexée. Kanonizācijas signāli.
Lai publiski lapa, kas paredzēta, lai parādītu meklēšanā, meklējiet nevēlamas ierobežojumus un pārbaudiet atklāšanas saites un vietnes kartes. Saglabājiet izslēgšanas privātās lapās vai lapās, kas nav meklēšanas daļa.
4 Izvēlieties meklēšanas un apmācības atļaujas atsevišķi
“Atļaujiet AI” nav vienots noteikums. OpenAI atšķiras šādas lomas; tās nesaka katra piegādātāja uzvedību.
Uz maza ekrāna, pārklāj galdu horizontāli.
| aģents | Roli | Ko jums nevajadzētu iesniegt |
|---|---|---|
| Googlebot | Crawling par Google meklēšanu. | Veiksmīgs piekļuve nav garantija indeksošanai vai citācijai. |
| OAI-SearchBot | Iekšējā satura atklāšana ChatGPT meklēšanai. | Šis atļauja ir atdalīta no mācību atļaujas. |
| GPTBot | Saraksts saturu, ko var izmantot, lai apmācītu OpenAI modeļus. | Blokējot to, tas automātiski bloķē OAI-SearchBot. |
| ChatGPT-User | Apmeklējumi, ko izraisa noteiktas lietotāja darbības. | Tas nav automatizēts meklēšanas pārlūkprogramma; robots.txt var neattiecināt uz šiem pasākumiem. |
Meklēšanas un apmācības kontroles ir neatkarīgas. Lai iegūtu patiesi privātu piekļuvi, izmantojiet autentifikāciju un servera puses atļauju. Oficiālā OpenAI crawler dokumentacija.
Piemērs: ļauj ChatGPT meklēt un izslēgt GPTBot
Šeit ir piemērs fikcijas vietnei, kurā ir trīs izslēgti apgabali. Tas ilustrē redakcionālo izvēli, neiesaka to katram vietnei. Neaizstāj savu failu, saglabājot esošos izslēgšanas.
User-agent: *
Disallow: /admin/
Disallow: /compte/
Disallow: /api/
User-agent: OAI-SearchBot
Allow: /
Disallow: /admin/
Disallow: /compte/
Disallow: /api/
User-agent: GPTBot
Disallow: /
Sitemap: https://example.com/sitemap.xmlKonkrēta grupa automātiski nesedz ierobežojumus no * : tādēļ tie tiek atkārtoti OAI-SearchBot. Izlasiet pilnu failu, tostarp jebkuras citas grupas ar to pašu nosaukumu. Protokols RFC 9309.
5 Paziņo, kas novērots, bez apsolījuma citācijas
Google, izmantojiet Search Console URL pārbaudi, ja jūs pārvaldāt īpašumu. Atšķiras Google zināma versija no dzīvas testa. Citos pakalpojumos salīdziniet to dokumentāciju ar faktisko piekļuvi, kas novērota jūsu žurnālos un pieejamajos uzraudzības rīkos.
Argos identificē dažus publisko signālu: HTTP atbildes, HTML struktūra, vadlīnijas un atklāšanas resursi. Tas ne simulē katru pārlūkprogrammu, validē visu robots.txt politiku vai zina meklētājprogrammas faktisko indeksu vai citācijas izvēli.
Dokumentē savu secinājumu katrā posmā: "atbildes satur tekstu", "noteikums ļauj šo ceļu šim pārlūkprogrammai" vai "vēlēšanas motora rīks ziņo par šo URL kā indeksoti". Aistītāja atbilde uz jautājumu var atšķirties; tas nav visaptverošs redzamības tests.
Pēc publicēšanas šo punktu pārskatīt Pārstrādāta pieņemšanas pārbaude, tad pārrauga rezultātus, izmantojot pieejamos datus. Tehniskais piekļuve var būt priekšnoteikums; satura nozīmīgums, pierādījumi un lietderība joprojām ir nepieciešama darba.
Oficiālās atsauces
Iesniegums tika sniegts 2026. gada 2. novembrī. Pakalpojumu saskarnes un noteikumi var mainīties.
Pārbaudiet savu lapu ar Argos
Veic bezmaksas auditu sabiedrības URL un pārbaudiet pieejamos pierādījumus. Automatizētās pārbaudes papildina pārbaudi šajā vadlīnijā.
Analīze bezmaksas lapā