„Ne rangiramo“ i „Google ne vidi stranicu“ stalno se tretiraju kao isti problem, no riječ je o dvije različite stvari. Rangiranje je natjecanje: vaša stranica već živi u Googleovu indeksu i ocjenjuje se naspram svake druge stranice koja cilja isti upit. Indeksiranje je vrata prije nego to natjecanje uopće počne - je li Google odlučio da vaša stranica uopće pripada njegovoj knjižnici. Stranica koja nije indeksirana ne može rangirati ni za što, koliko god bila dobro napisana ili pažljivo birane ključne riječi. Dijagnosticiranje krivog problema troši tjedne rada na sadržaju za stranicu koju Google nikad nije namjeravao prikazati.
Crawl, indeks i rangiranje tri su odvojena posla
Svaki pojam opisuje drugu fazu na putu stranice do rezultata pretrage, a miješanje tih pojmova vodi do krivog rješenja.
- Crawl - Googlebot otkriva URL (kroz poveznicu, sitemap ili preusmjeravanje) i dohvaća njegov sadržaj.
- Indeks - Google odlučuje da je stranica vrijedna spremanja i dodaje upotrebljivu verziju u indeks pretrage.
- Rangiranje - za određeni upit Google bira zaslužuje li ta indeksirana stranica poziciju, i koju.
Stranica može biti crawlana, a ipak odbačena iz indeksa - Google ju je posjetio i odlučio je ne zadržati. Može biti i indeksirana, a i dalje sjediti na dvanaestoj stranici rezultata, što je problem rangiranja, ne indeksiranja. Miješanje ta dva može značiti da mjesec dana poboljšavate sadržaj stranice koju Google nikad nije ni spremio.
Kako Googlebot zapravo pronalazi vaše stranice
Otkrivanje se najčešće događa kroz poveznice: unutarnje poveznice s drugih stranica na vašem siteu, vanjske poveznice odnekud drugdje i unosi u XML mapi stranica. Posve nove stranice bez ijedne unutarnje poveznice, zakopane četiri klika duboko u navigaciji ili lansirane bez dodavanja u sitemap, mogu ostati neotkrivene tjednima čak i na inače zdravom siteu. Crawl budžet - koliko je pažnje Googlebot spreman potrošiti na vašu domenu - važniji je na vrlo velikim siteovima, gdje tanke ili duplicirane stranice konkuriraju onima koje stvarno želite crawlane.
Najčešći blokatori koji drže stranice nevidljivima
Većina problema s indeksiranjem svodi se na šačicu ponavljajućih krivaca:
- noindex meta oznaka ili X-Robots-Tag zaglavlje ostavljeno sa staging okruženja.
- pravila u robots.txt koja greškom blokiraju važnu mapu ili cijeli site.
- zidovi za prijavu, meki 404 ili tanki duplicirani URL-ovi koji Googleu izgledaju niskovrijedno.
- canonical oznake koje greškom pokazuju na drugi URL, govoreći Googleu da radije indeksira njega.
- sadržaj koji se prikazuje tek nakon teškog client-side JavaScripta, koji neki crawl prolazi loše obrađuju.
Stvaran primjer: staging noindex kojeg se nitko nije sjetio
Čest obrazac koji vidimo kod migracija stranica: razvojni tim gradi novu stranicu na staging poddomeni s općim noindex direktivom, kako tražilice ne bi indeksirale poluzavršene stranice. Stranica se lansira, DNS usmjerava domenu na novu verziju, posjetiteljima sve izgleda u redu - no noindex oznaka bila je ugrađena u predložak i nitko je nije uklonio za produkciju. Tjednima kasnije organski promet tiho nestaje. Ništa vidljivo nije „pokvareno“; stranice su jednostavno tražile od Googlea da ih ne indeksira, a Google je poslušao. Zato provjera indeksiranja nakon lansiranja treba biti standardna praksa, ne naknadna misao.
Kako provjeriti status indeksiranja u Search Consoleu
Alat URL Inspection u Google Search Consoleu najpouzdaniji je način provjere konkretne stranice. „URL je na Googleu“ znači da je indeksirana i podobna za rangiranje. „Otkriveno - trenutačno nije indeksirano“ znači da Google zna da URL postoji, ali ga još nije crawlao, često zbog crawl budžeta ili niskog percipiranog prioriteta. „Crawlano - trenutačno nije indeksirano“ znači da je Google dohvatio stranicu i odlučio je ne spremiti, obično signal kvalitete ili dupliciranja. Pretraga site:vasadomena.com/putanja u Googleu gruba je javna provjera, ne zamjena za pravi audit - može pokazati zastarjele ili djelomične rezultate.
Za pregled cijelog sitea, izvještaj Page indexing (u izborniku Indexing) grupira svaki isključeni URL po razlogu: Duplicate without user-selected canonical, Blocked by robots.txt, Crawled - currently not indexed i nekoliko drugih. Klik na razlog odmah nabraja sve pogođene URL-ove, što je puno brže od pojedinačne provjere stranica, i obično je prvo mjesto koje vrijedi provjeriti nakon migracije ili naglog pada prometa.
Greške koje troše vrijeme u lovu na indeksiranje
- Ponavljano klikanje na „Zatraži indeksiranje“ bez popravka uzroka - to ne prisiljava Google da indeksira stranicu koju je već odbacio.
- Tretiranje svake stranice s „Otkriveno - trenutačno nije indeksirano“ kao greške, dok na velikom ili posve novom siteu to može biti obično red čekanja.
- Uređivanje teksta i ključnih riječi prije nego se potvrdi da se stranica uopće može indeksirati.
- Zanemarivanje izvještaja Page indexing u Search Consoleu dok promet već ne padne.
Praktičan popis prije objave
- Provjerite meta robots oznaku stranice i eventualno X-Robots-Tag zaglavlje zbog zaostalog noindexa.
- Provjerite robots.txt zbog Disallow pravila koje pokriva putanju stranice.
- Potvrdite da canonical oznaka pokazuje na samu stranicu, ne negdje drugdje.
- Dodajte barem jednu unutarnju poveznicu s već indeksirane stranice kako bi je Googlebot mogao pronaći.
- Ažurirajte XML mapu stranica i koristite URL Inspection da zatražite indeksiranje kad je gore navedeno čisto.
U Killer Clicku indeksaciju tretiramo kao nulti korak SEO-a, ne kao fusnotu. Sadržaj, poveznice i on-page optimizacija tek se počinju isplaćivati kad je stranica stvarno podobna da se pojavi - zato na svakom lansiranju i migraciji provjeravamo indeksiranje prije nego uopće pričamo o rangiranju.