Dvije male datoteke sjede u korijenu gotovo svake ozbiljne web stranice: robots.txt i XML mapa stranica. Lako ih je zanemariti dok nešto ne krene krivo - Google promaši pola stranica ili indeksira staging putanju koju ste htjeli sakriti. Obje datoteke jednostavne su za čitanje, no pretpostavke koje ljudi imaju o tome što rade obično su krive u jednom ili drugom smjeru, i upravo zato izazivaju toliko zabune tijekom audita i migracija.
Što robots.txt stvarno kontrolira
robots.txt je obična tekstualna datoteka na vasadomena.com/robots.txt koja pristojnim crawlerima govori koje putanje smiju zatražiti. Koristi jednostavna Allow i Disallow pravila grupirana po user-agentu, pa možete dati različite upute Googlebotu, Bingbotu ili konkretnim botovima koje uopće ne želite na siteu. To je zahtjev, ne mehanizam prisile - ozbiljne tražilice ga poštuju, ali ništa ne sprječava skriptu da ga posve ignorira.
Što robots.txt ne radi
Tu počinje najviše zabune. Disallow pravilo zaustavlja crawl, ne indeksiranje. Ako druge stranice povezuju na blokirani URL, Google ga svejedno može prikazati u rezultatima koristeći anchor tekst tih poveznica, samo bez pravog opisa - jer nikad nije smio dohvatiti stranicu. robots.txt također nije sigurnosna granica: datoteku može pročitati bilo tko, pa blokiranje /admin/ ondje samo napadačima pokazuje gdje tražiti, a osjetljive putanje i dalje trebaju pravu autentifikaciju.
- Vjerovanje da Disallow uklanja stranicu iz indeksa (ne uklanja - za to koristite noindex).
- Blokiranje mapa s CSS-om ili JavaScriptom, čime Google ne može ispravno renderirati stranicu.
- Zaostali opći „Disallow: /“ nakon prelaska sa staginga na produkciju.
Testiranje promjene prije nego ode u produkciju važnije je nego što ljudi misle, jer jedna pogrešno postavljena kosa crta u Disallow pravilu može greškom blokirati cijelu sekciju. Google je ugasio samostalni alat robots.txt Tester, no URL Inspection u Search Consoleu potvrdit će je li konkretna stranica trenutačno blokirana, a većina alata trećih strana za crawlanje (Screaming Frog i slični) mogu simulirati puni crawl naspram staged robots.txt datoteke prije nego ikad stigne u produkciju.
Što XML mapa stranica stvarno radi
Sitemap je XML datoteka koja navodi URL-ove za koje želite da ih tražilice znaju, opcionalno s metapodacima poput datuma zadnje izmjene. Ubrzava otkrivanje, što je najvažnije za velike siteove, posve nove siteove s malo vanjskih poveznica ili siteove koji često objavljuju. Slanje u Search Console daje Googleu jasan popis za usporedbu s onim što je već crawlao i indeksirao.
Što sitemap ne jamči
Biti naveden u sitemapu je naznaka, ne naredba - Google i dalje može odlučiti ne indeksirati URL ako izgleda tanko, duplicirano ili niskokvalitetno. Trpanje sitemapa svakom mogućom varijantom URL-a, filtriranim kategorijama ili preusmjerenim starim URL-ovima može potrošiti povjerenje koje Google polaže u tu datoteku i usporiti otkrivanje stranica koje su stvarno važne. Čist sitemap kanoničnih, indeksabilnih URL-ova radi bolje od velikog i nerednog.
Ograničenja veličine sitemapa i dijeljenje velikih kataloga
Jedna sitemap datoteka ograničena je na 50.000 URL-ova i 50 MB nekomprimirano. E-commerce katalozi, oglasi za nekretnine ili sadržajno bogati izdavači koji prijeđu tu granicu jednostavno podijele URL-ove u nekoliko sitemap datoteka (često po sekciji - proizvodi, kategorije, blog članci) i referenciraju sve njih iz jedne sitemap index datoteke. To je detalj vodovoda, ne redizajn, a većina frameworkova i CMS platformi automatski generira index čim broj URL-ova prijeđe granicu.
Manje marketinške stranice obično imaju statičku robots.txt datoteku koja se rijetko mijenja. Veće platforme - marketplaceovi, multi-tenant SaaS proizvodi, siteovi s korisnički generiranim sadržajem - često je generiraju dinamički po okruženju, tako da staging, preview i produkcija automatski dobiju ispravna pravila umjesto oslanjanja na to da se netko sjeti zamijeniti datoteku. Ako vaša platforma već dinamički generira sitemap iz baze podataka, vrijedi provjeriti treba li robots.txt slijediti isti obrazac umjesto da živi kao statička datoteka koja tiho zastarijeva.
Stvaran primjer: blokiranje krivog nakon redizajna
Čest obrazac neuspjeha nakon redizajna stranice: novi robots.txt kopiran je sa staging okruženja, koje je ispravno blokiralo sve kako tražilice ne bi indeksirale nedovršenu verziju. Nitko ga prije lansiranja ne zamijeni produkcijskom verzijom. Tjednima kasnije Search Console počinje javljati „Indeksirano, iako blokirano robots.txt datotekom“, ili statistika crawla padne gotovo na nulu. Sitemap može biti savršeno u redu i poslan - no kad je blokiran cijeli site, to više nije bitno.
Praktično postavljanje koje izbjegava većinu problema
- Držite robots.txt minimalnim: dopustite javni sadržaj, a blokirajte samo pravi šum poput admin panela, unutarnje pretrage ili unutarnjosti košarice.
- Nikad ne blokirajte mape s CSS-om, JavaScriptom ili slikama koje su stranici potrebne za ispravan prikaz.
- Generirajte sitemap samo od kanoničnih, indeksabilnih URL-ova, s jednim dosljednim hostom (https, s ili bez www) i bez preusmjerenih ili parametriziranih URL-ova.
- Referencirajte puni URL sitemapa unutar robots.txt (Sitemap: https://vasadomena.com/sitemap.xml) i pošaljite ga i izravno u Search Console.
- Ponovno provjerite obje datoteke odmah nakon svakog lansiranja, redizajna ili migracije platforme - zaostala Disallow pravila sa staginga najčešći su pojedinačni uzrok naglog pada prometa.
U Killer Clicku generiranje sitemapa ugrađujemo u sam build stranice gdje je moguće, tako da se automatski ažurira kako se dodaju stranice, a robots.txt ručno provjeravamo prije svakog lansiranja umjesto da vjerujemo onome što je ostavila prethodna platforma, agencija ili zadana CMS instalacija.