Ce este Robots.txt?

Definiție Robots.txt

Robots.txt este un fisier text plasat la radacina site-ului (exemplu.ro/robots.txt) care ghideaza crawlerele motoarelor de cautare. Specifica ce pagini sau directoare pot fi accesate si care nu. Atentie: robots.txt este o sugestie, nu o bariera de securitate — un crawler malitios il poate ignora.

De ce contează Robots.txt

Fisierul robots.txt este primul document pe care orice crawler il solicita cand viziteaza un domeniu. Un robots.txt absent sau gresit configurat poate duce la consumarea inutila a crawl budget-ului pe resurse fara valoare, sau poate bloca accesul Google la sectiuni critice ale site-ului.

Cum verifici Robots.txt

SoftAudit descarca si analizeaza robots.txt, verifica sintaxa regulilor Allow/Disallow, confirma ca fisierul este accesibil la radacina domeniului si detecteaza daca sitemap-ul XML este declarat corect prin directiva Sitemap. Instrumentul semnaleaza si regulile care blocheaza accidental CSS sau JavaScript esential.

Greșeli frecvente

Blocarea folderelor /css/, /js/ sau /images/ impiedica Google sa randeze pagina complet, afectand grav indexarea. O alta greseala frecventa este folosirea Disallow: / in productie — o singura linie care face intregul site invizibil in motoarele de cautare.

Bune practici

Mentine robots.txt cat mai simplu: blocheaza doar directoarele fara valoare SEO (admin, checkout, cautare interna) si include linia Sitemap: https://domeniu.ro/sitemap.xml. Testeaza orice modificare in Google Search Console cu instrumentul robots.txt Tester inainte de a publica.

Întrebări frecvente

Termeni asociați