Robots.txt și sitemap XML sunt două fișiere fundamentale care ajută motoarele de căutare să înțeleagă structura site-ului dvs. și să îl crawleze eficient. Configurate greșit, pot bloca indexarea paginilor importante sau pot permite crawlarea paginilor pe care nu le doriți în Google.
Acest ghid vă arată cum să le configurați corect pentru a maximiza eficiența SEO.
Ce este robots.txt și cum funcționează
Robots.txt este un fișier text simplu, accesibil la /robots.txt al oricărui site, care conține instrucțiuni pentru crawlerele motoarelor de căutare. Aceste instrucțiuni specifică ce secțiuni ale site-ului pot fi accesate și care nu.
Un robots.txt de bază arată astfel:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://www.domeniu.ro/sitemap_index.xmlSintaxa robots.txt:
- User-agent: specifică pentru ce crawler se aplică regula (* = toți)
- Disallow: calea blocată pentru crawlare
- Allow: excepție de la o regulă Disallow mai generală
- Sitemap: URL-ul sitemapului (recomandat)
Ce să blocați în robots.txt pe un site WordPress
Directivele recomandate pentru WordPress:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /?s=
Disallow: /search/
Disallow: /author/
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
Sitemap: https://www.domeniu.ro/sitemap_index.xmlExplicații:
- /wp-admin/ este blocată dar /wp-admin/admin-ajax.php este permisă (necesară pentru funcționalitățile AJAX)
- /?s= blochează pagina de rezultate de căutare internă
- /author/ blochează paginile de autori cu conținut minimal
- Paginile de coș și cont sunt blocate pentru că conțin date personale sau sunt inutile în indexare
Greșeli critice în robots.txt
Blocarea CSS și JavaScript: Google are nevoie să acceseze fișierele CSS și JS pentru a renderiza corect pagina și evalua calitatea. Nu blocați /wp-content/ sau folderele de resurse.
Disallow: /: blochează tot site-ul. Această linie apare uneori în configurații de test și este lăsată accidental pe producție.
Confuzia Disallow cu noindex: robots.txt blochează crawlarea, nu indexarea. O pagină blocată prin robots.txt poate rămâne indexată dacă are backlink-uri externe. Folosiți tag-ul noindex pentru a elimina pagini din index.
Ce este sitemap XML și la ce folosește
Sitemap XML este un fișier care listează toate URL-urile importante ale site-ului dvs., cu informații opționale despre frecvența de actualizare și prioritatea relativă. Ajută Googlebot să descopere rapid paginile noi și actualizate, mai ales pe site-urile mari.
Un sitemap simplu arată astfel:
<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<url>
<loc>https://www.domeniu.ro/pagina/</loc>
<lastmod>2026-04-17</lastmod>
<changefreq>monthly</changefreq>
<priority>0.8</priority>
</url>
</urlset>Sitemap index: pentru site-uri cu conținut voluminos
Un sitemap poate conține maximum 50.000 de URL-uri și nu poate depăși 50MB. Pentru site-uri mari, folosiți sitemap index care listează mai multe fișiere sitemap:
<sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<sitemap>
<loc>https://www.domeniu.ro/sitemap-posts.xml</loc>
</sitemap>
<sitemap>
<loc>https://www.domeniu.ro/sitemap-pages.xml</loc>
</sitemap>
</sitemapindex>Generarea sitemapului în WordPress
Yoast SEO generează automat sitemap XML cu opțiuni de configurare: ce tipuri de conținut să includă, excluderea paginilor specifice și frecvența de actualizare. Accesați Yoast SEO → Features → XML Sitemaps → activat.
URL-ul sitemapului generat de Yoast: /sitemap_index.xml
URL-ul sitemapului generat de RankMath: /sitemap_index.xml
Ce să includeți și ce să excludeți din sitemap
Includeți în sitemap:
- Toate paginile indexabile cu conținut unic
- Articolele publicate
- Paginile de categorii și arhive importante
Excludeți din sitemap:
- Paginile cu noindex
- Paginile de administrare sau funcționale (login, checkout)
- Paginile cu conținut subțire sau duplicate
- Paginile de tag cu puțin conținut
Trimiterea sitemapului în Google Search Console
Trimiterea sitemapului în procesul de indexare Google se face din Search Console → Indexing → Sitemaps → Add sitemap. Introduceți URL-ul sitemapului și apăsați Submit.
Google nu indexează instantaneu – poate dura câteva zile până la câteva săptămâni. Monitorizați raportul Sitemaps din Search Console pentru erori și pentru proporția de URL-uri indexate față de cele trimise.
Robots.txt și sitemap XML lucrează împreună: robots.txt definește ce NU trebuie crawlat, sitemapul definește ce TREBUIE prioritizat. Configurate corect și menținute la zi, aceste două fișiere sunt baza unui SEO tehnic solid pentru orice site WordPress.
