Ugrás az útmutatóra

Technikailag SEO · Kúszás és Al

A keresőmotorok és az AI asszisztensek hozzáférnek az oldalához?

Ellenőrizze a nyilvános hozzáférést, HTML, robots.txt és indexálhatóság. Kiváló keresés, képzés és mesterséges intelligencia-látogatások, anélkül, hogy összetévesztené a hozzáférést a idézéshez.

Szerző Antoine Le Louët · Becsült érték : 8 min · Hivatkozások

Hozzáférhető, indexelt és idézett három különböző dolog

Az asszisztens nem fogja idézni az oldalad egyszerűen azért, mert válaszol a böngésződben. Megkülönböztetés Hozzáférés a URL, hogy a tartalom olvasható-e, indexelt-e és válaszként van-e kiválasztva. Ezek a lépések a szolgáltatástól és a feltett kérdéstől függnek.

Ez az útmutató segít a technikai akadályok kivizsgálásában egy nyilvános oldalon. Nem méri a hírnevét, és nem számítja ki az "AI láthatósági" pontszámot. Itt a hozzáférhetőség azt jelenti, hogy a mászók hozzáférnek a tartalomhoz; digitális hozzáférhetőség az emberek számára egy külön ellenőrzés tárgyát képezi.

A Google keresési tapasztalatainak standard SEO gyakorlatok továbbra is relevánsak. Egy fájl llms.txt vagy a különleges jelölés nem ad bónuszt: Google azt mondja, hogy nem használja fel őket erre a célra. Más szolgáltatásoknak is lehetnek saját felhasználási területeik. Hivatalos Google ajánlások.

1. Ellenőrizze, hogy egy kijelentkezett látogató mit kap

Válasszon egy nyilvános oldalt. Nyissa ki egy privát ablakban, majd ellenőrizze a dokumentum kérését a hálózati panelen. Rögzítse a kezdeti URL, átirányítja, végleges URL, státusz és visszaadott tartalmat.

  • Hiba történt. 401, 403 vagy 5xx összefüggésben kell vizsgálni. Egy blokk lehet szándékos.
  • A státusz 200 kísérheti a beiratkozó képernyőt, az anti-bot kihívást vagy hibaüzenetet. Ellenőrizze a válaszszervet.
  • Hasonlítsa össze a hozzáférést a szerszámokról a szerverrel vagy a CDN naplókkal. A számítógéped sikeres kérése nem bizonyítja, hogy egy mászó ugyanazt a választ kapja.

Ha bizonyítékot szeretne tartani egy URL beadásához, cserélje ki a parancsban szereplő példacímet. Követi a fejlécek és a test átirányítását és mentését:

curl -sS -L -D entetes.txt -o page.html https://example.com/service

Ne küldjön beiratkozó sütit vagy személyes tokent a nyilvános hozzáférés szimulálásakor. Ha a tűzfal megjelenik, azonosítsa a szabályt és az érintett csúszómászót, mielőtt megváltoztatja a védelmet. Csak a teszt felhasználóinak a fejléce változik, és nem reprodukálja a valódi kúsztató hálózati identitását.

2. Hasonlítsa össze a kezdeti HTML és a visszaadott oldalt

Be page.html vagy a forráskód, keressen egy kifejezést a fő tartalomból, a címből és egy fontos belső linkből. Összehasonlítva a DOM-mal JavaScript kivégzés az Elemek panelen.

A Google végrehajthatja JavaScript-et, de a mászás, a rendezés és a indexelés külön lépések. A zárolt szkript vagy hiba megakadályozhatja a várt fordítást. Ne feltételezd, hogy minden asszisztensnek ugyanaz a képessége. Hogyan? JavaScript SEO a munka a következők szerint: Google.

A diagnózishoz jegyezd fel, mi hiányzik JavaScript nélkül, és mi csak egy interakció után érkezik. A lényeges információk és linkek megbízható rendelkezésre bocsátása. A szerver renderelése vagy statikus generáció segíthet, anélkül, hogy egyetemes követelmény lenne az indexeléshez.

A képernyőképen látható menü nem elég: ellenőrizze, hogy a fontos oldalaknak van-e használható linkje valódi úti célokkal. A cím, világos szakaszok és tényszerű tartalom is segít a látogatóknak megérteni, hogy mit kínál az oldal.

3. Olvassa el a szabályokat anélkül, hogy összekeverné a mászás indexelés

Nyisd ki! /robots.txt a vonatkozó tartományon belül. Azonosítsa a mászónak megfelelő csoportot és az útvonalra vonatkozó szabályokat. Jelenléte nem bizonyítja, hogy egy oldal megengedett; hiánya önmagában nem jelenti azt, hogy tilos mászni.

Disallow a protokollt követő katalogizálási határértékek. Nem védi a magántartalmat, és nem garantálja, hogy a URL eltűnik az eredményekből. A robots.txt szerepe és korlátai.

Külön-külön vizsgálva <meta name="robots"> és a fejléc X-Robots-Tag. Pour que Google lise un noindex, hozzá kell tudnia férni a választ tartalmazó. Indexelés és snippet-irányelvek. Une canonique exprime une préférence de version ; elle ne prouve pas que cette URL est indexée. Kanonikalizációs jelek.

Egy nyilvános oldalt, hogy jelenjen meg a keresés, keressen nem kívánt korlátozások és ellenőrizze a felfedezés linkek és a sitemap. A nem keresésre szánt személyes oldalak vagy oldalak kizárását megtarthatja.

4. Válassza ki a keresési és képzési engedélyeket külön

Az "Alow Al" nem egy szabály. OpenAI megkülönbözteti a következő szerepek; ezek nem írják le minden szolgáltató viselkedését.

Egy kis képernyőn, görgessük vízszintesen az asztalt.

A hozzáférés különböző szolgáltatások között
ÜgynökSzerepMit nem szabad felállítani
GooglebotMászás Google Keresd meg!A sikeres hozzáférés nem garantálja az indexelést vagy a idézést.
OAI-SearchBotA CATGPT kereséshez szükséges tartalomfeltárás.Ez az engedély külön van a kiképzési engedélytől.
GPTBotA OpenAI modellek képzéséhez használható tartalom gyűjteménye.A blokkolás nem akadályozza automatikusan az OAI-SearchBotot.
ChatGPT-UserBizonyos felhasználói tevékenységek által kiváltott látogatások.Ez nem az automatizált kereső; robots.txt nem alkalmazható ezekre a cselekvésekre.

A kutatási és képzési ellenőrzések függetlenek. A valódi privát hozzáféréshez használja a hitelesítést és a szerver oldali engedélyezést. Hivatalos OpenAI kúsztató dokumentáció.

Példa: engedélyezze a CATGPT keresését és a GPTBot eltiltását

Itt van egy példa egy kitalált oldalra, három kizárt területtel. Ez illusztrálja a szerkesztői választás nélkül ajánlják minden oldalon. Ne cserélje ki az aktáját anélkül, hogy ne őrizné meg a meglévő kizárásait.

User-agent: *
Disallow: /admin/
Disallow: /compte/
Disallow: /api/

User-agent: OAI-SearchBot
Allow: /
Disallow: /admin/
Disallow: /compte/
Disallow: /api/

User-agent: GPTBot
Disallow: /

Sitemap: https://example.com/sitemap.xml

Egy adott csoport nem örököl automatikusan korlátozásokat a * : ezért az OAI-SearchBot esetében ismétlődnek. Olvassa el a teljes fájlt, beleértve minden más csoport azonos nevet. Jegyzőkönyvi szabályok, RFC 9309.

5. Erősítse meg, amit megfigyeltek, anélkül, hogy ígéretes idézés lenne.

A Google-hoz a Search Console URL ellenőrzést kell használni, ha az ingatlant beadod. A Diffition Google ismert verziója az élő tesztből. Más szolgáltatások esetében hasonlítsa össze dokumentációját a naplókban megfigyelt tényleges hozzáféréssel és a rendelkezésre álló ellenőrző eszközökkel.

Argos azonosítja néhány nyilvános jelzések: HTTP válaszok, HTML struktúra, irányelvek és felfedezési források. Nem szimulál minden másolót, nem érvényesíti a teljes robots.txt szabályzatot, és nem ismeri a kereső tényleges indexét vagy idézési lehetőségeit.

Dokumentálja a következtetéseit minden lépésnél: "a válasz tartalmazza a szöveget," "a szabály lehetővé teszi ezt az utat a kúsztatónak" vagy "a keresőeszköze ezt a URL indexáltatja." A asszisztens válasza egy kérdésre változhat; ez nem egy átfogó láthatósági teszt.

A kiadvány közzétételét követően, vizsgálja felül ezeket a pontokat a az elfogadási ellenőrzések újratervezése, majd a rendelkezésre álló adatok segítségével nyomon követi az eredményeket. A technikai hozzáférés előfeltétele lehet; a tartalom jelentősége, bizonyítéka és hasznossága még mindig munkaigényes.

Hivatalos hivatkozások

A forrásokról november 2-án folytatott konzultáció 26 A szolgáltatás interfészei és szabályai változhatnak.

Ellenőrizze az oldalt Argos

Ingyenes ellenőrzést futtasson le egy nyilvános URL-ban, és vizsgálja meg a rendelkezésre álló bizonyítékokat. Az automatizált ellenőrzések kiegészítik az ebben az útmutatóban szereplő ellenőrzéseket.

Ingyenes oldal elemzése