Tehnički SEO · Krawling i AI
Mogu li pretraživači i pomoćnici Al pristupiti vašoj stranici?
Provjerite pristup javnosti, HTML, robots.txt i indeksabilnost. Određeno pretraživanje, trening i AI-posete bez zbunjujućeg pristupa s citat.
U ovom vodiču
Dostupne, indeksirane i navedene su tri različite stvari
Pomoćnik neće navesti vašu stranicu samo zato što odgovara u vašem pregledniku. Određeno pristup URL, može li se njegov sadržaj pročitati, je li indeksiran, i je li odabran za odgovor. Ovi koraci ovise o usluzi i o pitanju koje je postavljeno.
Ovaj vodič pomaže da istražite tehničke prepreke na javnoj stranici. Ne mjeri svoju reputaciju niti izračunava rezultat "AI vidljivost". Ovdje, pristupačnost znači pristup punjenima sadržaju; digitalna pristupačnost za ljude je odvojena tema za provjeru.
Za Google Pretraživačka generativna iskustva, standardna SEO Praktike su i dalje relevantne. Datoteka llms.txt ili posebna oznaka ne daje bonus: Google kaže da ih ne koristi za tu svrhu. Ostale usluge mogu imati vlastitu upotrebu. Službeni Google preporuke.
1. Provjerite što primljen posjetitelj
Odaberite stranicu koja je namijenjena javnosti. Otvorite ga u privatnom prozoru, zatim pregledajte zahtjev za dokumentom u mrežnom panelu. Zabilježi početni URL, preusmjeravanje, završni URL, status i vratio sadržaj.
- Greška
401,403ili5xxmora biti istražena u kontekstu. Blok može biti namjeran. - Stanje
200može pratiti prijavu zaslona, anti-bot izazova ili pogreške poruke. Provjerite tijelo odgovora. - Usporedite pristup od vaših alata s poslužiteljem ili CDN dnevnikima. Uspešan zahtjev s vašeg računala ne dokazuje da se i puzač isto odazove.
Da zadržim dokaze za URL Ako upravljate, zamijenite primjer adresu u ovoj naredbi. Slijedi preusmjeravanje i sprema zaglavlja i tijelo odvojeno:
curl -sS -L -D entetes.txt -o page.html https://example.com/serviceNe šaljite kolačiće uloge ili privatni znak pri simulaciji javnog pristupa. Ako se pojavi firewall, identificiraj pravilo i pogođeni puzač prije promjene zaštite. Mjenjanje samo zaglavlja korisnika-Agenta za testiranje ne reproducira pravi mrežni identitet.
2. Usporedi početni HTML i iscrtanu stranicu
Ubaci page.html ili izvorni kod, tražite izraz iz glavnog sadržaja, naslov i važan unutarnji link. Usporedite s DOM nakon JavaScript Izvršavanje u panelu Elementa.
Google može pokrenuti JavaScript, ali puzanje, reflektiranje i indeksiranje su odvojeni koraki. Blokirana skripta ili greška može spriječiti očekivano iscrtavanje. Ne pretpostavljaj da svaki asistent ima iste mogućnosti. Kako djeluje JavaScript SEO prema Google.
Za vašu dijagnozu, zapisivati što nedostaje bez JavaScript i što dolazi samo nakon interakcije. Oslobodite ključne informacije i linkove pouzdano dostupne. Poslužiteljsko iscrtavanje ili statička generacija može pomoći, bez da bude univerzalni zahtjev za indeksiranje.
Meni koji se vidi na snimku ekrana nije dovoljan: provjerite da li važne stranice imaju užitljive veze s pravim odredištima. Naslov, jasni dijelovi i čitljivi sadržaj također pomažu posjetiteljima da razumiju što vam ponuda pruža stranica.
3. Pročitajte pravila bez pomešanja puna indeksiranja
Otvori /robots.txt na relevantnoj domeni. Identificirajte grupu koja odgovara puzaču i pravila koja se primjenjuju na put. Njegova prisutnost ne dokazuje da je stranica dopuštena; samo njeno odsustvo ne znači da je zabranjeno puzanje.
Disallow Ogranicenjanja za robote koji slijede protokol. Ne štiti privatni sadržaj ili jamstvo da URL nestaje iz rezultata. Uloga i ograničenja robots.txt.
Inspect zasebno <meta name="robots"> i zaglavlje X-Robots-Tag. Pour que Google lise un noindex, mora biti u mogućnosti pristupiti odgovor koji ga sadrži. Smjernice za indeksiranje i rezime. Une canonique exprime une préférence de version ; elle ne prouve pas que cette URL est indexée. Signali za kanonizaciju.
Za javnu stranicu koja se treba pojaviti u potrazi, tražite nenamjerna ograničenja i provjerite linkove za otkriće i mapu stranica. Zadrži isključenja za privatne stranice ili stranice koje ne pripadaju u potrazi.
4. Odvojeno odaberite dozvole za pretragu i trening
"Dozvoliti Al" nije jedno pravilo. OpenAI razlikuje sljedeće uloge; ovi ne opisuju ponašanje svakog pružatelja usluga.
Na malom zaslonu, pomjerajte stol horizontalno.
| Agent | Uloga | Što ne bi smjeli uključiti |
|---|---|---|
| Googlebot | Zavrćem Google Traži. | Uspješan pristup ne jamči indeksiranje ili citat. |
| OAI-SearchBot | Otkriće sadržaja za pretragu u ChatGPT-u. | Ova dozvola je odvojena od dozvole za trening. |
| GPTBot | Priprema za uporabu OpenAI -Manekenke. | Blokiranje ne blokira automatski OAI- SearchBot. |
| ChatGPT-User | Posjeti pokrenuti određenim korisničkim akcijama. | Ovo nije automatski puzač za pretragu; robots.txt ne može se primjenjivati na te postupke. |
Kontrole pretrage i treninga su nezavisne. Za istinski privatni pristup, koristite autentičnost i ovlaštenje na poslužitelju. Službeno OpenAI Dokumentacija o puzaču.
Primjer: popustiti ChatGPT pretraživanju i ne dozvoliti GPTBot
Evo primjera za izmišljeno mjesto, s tri isključena područja. Ilustrira urednički izbor bez preporuke za svaku stranicu. Ne zamjenjujte datoteku bez sačuvanja postojećih isključenja.
User-agent: *
Disallow: /admin/
Disallow: /compte/
Disallow: /api/
User-agent: OAI-SearchBot
Allow: /
Disallow: /admin/
Disallow: /compte/
Disallow: /api/
User-agent: GPTBot
Disallow: /
Sitemap: https://example.com/sitemap.xmlSpecifična grupa ne nasljeduje automatski ograničenja od * : stoga se ponavljaju za OAI-SearchBot. Pročitajte kompletnu datoteku, uključujući i sve druge grupe s istim imenom. Pravila protokola, RFC 9309.
5. Potvrdi što je bilo opaženo, bez obećavanja citata
Za Google, koristite pretraživanje konzole URL inspekcija ako upravljate imovinom. Određeno GooglePoznata verzija iz uživo testa. Za druge usluge usporedite njihovu dokumentaciju s istinskim pristupom koji se promatra u vašim dnevnikima i dostupnim alatima za praćenje.
Argos utvrđuje neke javne signale: HTTP odgovore, HTML struktura, direktive i izvori otkrića. Ne simulira svaki puzač, potvrđuje cijeli tvoj život. robots.txt politika, ili znati stvarni indeks ili citati izbora.
Dokumentirajte svoj zaključak na svakom koraku: "odgovor sadrži tekst", "pravilo omogućuje ovu putanju za ovaj puzač" ili "alat pretraživača izvještava ovo URL kao indeksiran". Odgovor asistenta na pitanje može varirati; to nije sveobuhvatan test vidljivosti.
Nakon objave, ponovno pregledati ove točke u Provjere prihvata za preispitanje, zatim pratiti rezultate koristeći dostupne podatke. Tehnički pristup može biti preduvjet; značaj, dokazi i korisnica sadržaja još uvijek trebaju rad.
Službene reference
Izvori su se savjetovali 2. studenog 2026. Službeno sučelje i pravila se mogu promijeniti.
Provjerite svoju stranicu pomoću Argos
Pokrenite besplatnu reviziju javnosti URL i pregledajte dostupne dokaze. Automatski čekovi nadopunjuju provjere u ovom vodiču.
Analizirajte stranicu besplatno