Technikailag SEO · Kúszás és Al
A keresőmotorok és az AI asszisztensek hozzáférnek az oldalához?
Ellenőrizze a nyilvános hozzáférést, HTML, robots.txt és indexálhatóság. Kiváló keresés, képzés és mesterséges intelligencia-látogatások, anélkül, hogy összetévesztené a hozzáférést a idézéshez.
Ebben az útmutatóban
Hozzáférhető, indexelt és idézett három különböző dolog
Az asszisztens nem fogja idézni az oldalad egyszerűen azért, mert válaszol a böngésződben. Megkülönböztetés Hozzáférés a URL, hogy a tartalom olvasható-e, indexelt-e és válaszként van-e kiválasztva. Ezek a lépések a szolgáltatástól és a feltett kérdéstől függnek.
Ez az útmutató segít a technikai akadályok kivizsgálásában egy nyilvános oldalon. Nem méri a hírnevét, és nem számítja ki az "AI láthatósági" pontszámot. Itt a hozzáférhetőség azt jelenti, hogy a mászók hozzáférnek a tartalomhoz; digitális hozzáférhetőség az emberek számára egy külön ellenőrzés tárgyát képezi.
A Google keresési tapasztalatainak standard SEO gyakorlatok továbbra is relevánsak. Egy fájl llms.txt vagy a különleges jelölés nem ad bónuszt: Google azt mondja, hogy nem használja fel őket erre a célra. Más szolgáltatásoknak is lehetnek saját felhasználási területeik. Hivatalos Google ajánlások.
1. Ellenőrizze, hogy egy kijelentkezett látogató mit kap
Válasszon egy nyilvános oldalt. Nyissa ki egy privát ablakban, majd ellenőrizze a dokumentum kérését a hálózati panelen. Rögzítse a kezdeti URL, átirányítja, végleges URL, státusz és visszaadott tartalmat.
- Hiba történt.
401,403vagy5xxösszefüggésben kell vizsgálni. Egy blokk lehet szándékos. - A státusz
200kísérheti a beiratkozó képernyőt, az anti-bot kihívást vagy hibaüzenetet. Ellenőrizze a válaszszervet. - Hasonlítsa össze a hozzáférést a szerszámokról a szerverrel vagy a CDN naplókkal. A számítógéped sikeres kérése nem bizonyítja, hogy egy mászó ugyanazt a választ kapja.
Ha bizonyítékot szeretne tartani egy URL beadásához, cserélje ki a parancsban szereplő példacímet. Követi a fejlécek és a test átirányítását és mentését:
curl -sS -L -D entetes.txt -o page.html https://example.com/serviceNe küldjön beiratkozó sütit vagy személyes tokent a nyilvános hozzáférés szimulálásakor. Ha a tűzfal megjelenik, azonosítsa a szabályt és az érintett csúszómászót, mielőtt megváltoztatja a védelmet. Csak a teszt felhasználóinak a fejléce változik, és nem reprodukálja a valódi kúsztató hálózati identitását.
2. Hasonlítsa össze a kezdeti HTML és a visszaadott oldalt
Be page.html vagy a forráskód, keressen egy kifejezést a fő tartalomból, a címből és egy fontos belső linkből. Összehasonlítva a DOM-mal JavaScript kivégzés az Elemek panelen.
A Google végrehajthatja JavaScript-et, de a mászás, a rendezés és a indexelés külön lépések. A zárolt szkript vagy hiba megakadályozhatja a várt fordítást. Ne feltételezd, hogy minden asszisztensnek ugyanaz a képessége. Hogyan? JavaScript SEO a munka a következők szerint: Google.
A diagnózishoz jegyezd fel, mi hiányzik JavaScript nélkül, és mi csak egy interakció után érkezik. A lényeges információk és linkek megbízható rendelkezésre bocsátása. A szerver renderelése vagy statikus generáció segíthet, anélkül, hogy egyetemes követelmény lenne az indexeléshez.
A képernyőképen látható menü nem elég: ellenőrizze, hogy a fontos oldalaknak van-e használható linkje valódi úti célokkal. A cím, világos szakaszok és tényszerű tartalom is segít a látogatóknak megérteni, hogy mit kínál az oldal.
3. Olvassa el a szabályokat anélkül, hogy összekeverné a mászás indexelés
Nyisd ki! /robots.txt a vonatkozó tartományon belül. Azonosítsa a mászónak megfelelő csoportot és az útvonalra vonatkozó szabályokat. Jelenléte nem bizonyítja, hogy egy oldal megengedett; hiánya önmagában nem jelenti azt, hogy tilos mászni.
Disallow a protokollt követő katalogizálási határértékek. Nem védi a magántartalmat, és nem garantálja, hogy a URL eltűnik az eredményekből. A robots.txt szerepe és korlátai.
Külön-külön vizsgálva <meta name="robots"> és a fejléc X-Robots-Tag. Pour que Google lise un noindex, hozzá kell tudnia férni a választ tartalmazó. Indexelés és snippet-irányelvek. Une canonique exprime une préférence de version ; elle ne prouve pas que cette URL est indexée. Kanonikalizációs jelek.
Egy nyilvános oldalt, hogy jelenjen meg a keresés, keressen nem kívánt korlátozások és ellenőrizze a felfedezés linkek és a sitemap. A nem keresésre szánt személyes oldalak vagy oldalak kizárását megtarthatja.
4. Válassza ki a keresési és képzési engedélyeket külön
Az "Alow Al" nem egy szabály. OpenAI megkülönbözteti a következő szerepek; ezek nem írják le minden szolgáltató viselkedését.
Egy kis képernyőn, görgessük vízszintesen az asztalt.
| Ügynök | Szerep | Mit nem szabad felállítani |
|---|---|---|
| Googlebot | Mászás Google Keresd meg! | A sikeres hozzáférés nem garantálja az indexelést vagy a idézést. |
| OAI-SearchBot | A CATGPT kereséshez szükséges tartalomfeltárás. | Ez az engedély külön van a kiképzési engedélytől. |
| GPTBot | A OpenAI modellek képzéséhez használható tartalom gyűjteménye. | A blokkolás nem akadályozza automatikusan az OAI-SearchBotot. |
| ChatGPT-User | Bizonyos felhasználói tevékenységek által kiváltott látogatások. | Ez nem az automatizált kereső; robots.txt nem alkalmazható ezekre a cselekvésekre. |
A kutatási és képzési ellenőrzések függetlenek. A valódi privát hozzáféréshez használja a hitelesítést és a szerver oldali engedélyezést. Hivatalos OpenAI kúsztató dokumentáció.
Példa: engedélyezze a CATGPT keresését és a GPTBot eltiltását
Itt van egy példa egy kitalált oldalra, három kizárt területtel. Ez illusztrálja a szerkesztői választás nélkül ajánlják minden oldalon. Ne cserélje ki az aktáját anélkül, hogy ne őrizné meg a meglévő kizárásait.
User-agent: *
Disallow: /admin/
Disallow: /compte/
Disallow: /api/
User-agent: OAI-SearchBot
Allow: /
Disallow: /admin/
Disallow: /compte/
Disallow: /api/
User-agent: GPTBot
Disallow: /
Sitemap: https://example.com/sitemap.xmlEgy adott csoport nem örököl automatikusan korlátozásokat a * : ezért az OAI-SearchBot esetében ismétlődnek. Olvassa el a teljes fájlt, beleértve minden más csoport azonos nevet. Jegyzőkönyvi szabályok, RFC 9309.
5. Erősítse meg, amit megfigyeltek, anélkül, hogy ígéretes idézés lenne.
A Google-hoz a Search Console URL ellenőrzést kell használni, ha az ingatlant beadod. A Diffition Google ismert verziója az élő tesztből. Más szolgáltatások esetében hasonlítsa össze dokumentációját a naplókban megfigyelt tényleges hozzáféréssel és a rendelkezésre álló ellenőrző eszközökkel.
Argos azonosítja néhány nyilvános jelzések: HTTP válaszok, HTML struktúra, irányelvek és felfedezési források. Nem szimulál minden másolót, nem érvényesíti a teljes robots.txt szabályzatot, és nem ismeri a kereső tényleges indexét vagy idézési lehetőségeit.
Dokumentálja a következtetéseit minden lépésnél: "a válasz tartalmazza a szöveget," "a szabály lehetővé teszi ezt az utat a kúsztatónak" vagy "a keresőeszköze ezt a URL indexáltatja." A asszisztens válasza egy kérdésre változhat; ez nem egy átfogó láthatósági teszt.
A kiadvány közzétételét követően, vizsgálja felül ezeket a pontokat a az elfogadási ellenőrzések újratervezése, majd a rendelkezésre álló adatok segítségével nyomon követi az eredményeket. A technikai hozzáférés előfeltétele lehet; a tartalom jelentősége, bizonyítéka és hasznossága még mindig munkaigényes.
Hivatalos hivatkozások
A forrásokról november 2-án folytatott konzultáció 26 A szolgáltatás interfészei és szabályai változhatnak.
- Google: a robots.txt szerepe és korlátai
- Google: noindex és a snippet-vezérlés
- Google: kanonikalizációs jelek
- Google: mászás és JavaScript lejátszás
- Google: láthatóság a nemi alapú MI jellemzőiben
- OpenAI: az OAI-SearchBot, a GPTBot és a CATGPT-User szerepei
- RFC 9309: A robotok kizárási jegyzőkönyve szabályai
Ellenőrizze az oldalt Argos
Ingyenes ellenőrzést futtasson le egy nyilvános URL-ban, és vizsgálja meg a rendelkezésre álló bizonyítékokat. Az automatizált ellenőrzések kiegészítik az ebben az útmutatóban szereplő ellenőrzéseket.
Ingyenes oldal elemzése