Robots.txt е малък текстов файл в главната директория на сайта, който казва на роботите на търсачките кои части на сайта да обхождат и кои – не. Правилно настроен, той пести ресурса за обхождане (crawl budget), насочва Googlebot към важните страници и пази служебните зони. Неправилно настроен, може с един ред да скрие целия сайт от Google. В това ръководство ще научите как работи robots.txt, какъв е синтаксисът, ще получите готови примери за WordPress, WooCommerce, OpenCart и PrestaShop и ще разберете как да тествате файла.

1. Какво е robots.txt и защо е важен

Файлът се намира винаги на адрес https://вашият-домейн/robots.txt. Преди да обходи сайта, всеки добросъвестен робот – Googlebot, Bingbot и др. – чете този файл и спазва правилата в него.

За какво се използва

  • Пестене на crawl budget – роботите не губят време в административни зони, вътрешно търсене, филтри и параметри.
  • Насочване към важното – повече ресурс за категориите, продуктите и статиите.
  • Посочване на XML картата на сайта чрез реда Sitemap:.
  • Ограничаване на конкретни ботове – SEO инструменти, AI роботи, агресивни скрейпъри.

Какво robots.txt НЕ прави

  • Не премахва страници от индекса. Блокирана страница може да остане в Google (без описание), ако към нея има линкове. За премахване използвайте noindex – и не блокирайте страницата, докато Google не види тага.
  • Не е защита. Файлът е публичен и злонамерените ботове го игнорират. Чувствителните данни се пазят с парола и права на достъп.
  • Не е задължителен за спазване – добросъвестните търсачки го спазват, но не всички ботове.

2. Синтаксис на robots.txt

Директива Значение Пример
User-agent За кой робот са правилата; * = всички User-agent: Googlebot
Disallow Забранява обхождането на път Disallow: /wp-admin/
Allow Разрешава път в забранена зона Allow: /wp-admin/admin-ajax.php
Sitemap Адрес на XML картата Sitemap: https://example.com/sitemap.xml
* Произволна последователност от символи Disallow: /*?sort=
$ Край на адреса Disallow: /*.pdf$
# Коментар # Служебни страници
  • Пътищата са чувствителни към малки и главни букви.
  • Когато има конфликт, Google прилага най-конкретното (най-дългото) правило; при равенство – по-малко ограничаващото (Allow).
  • Crawl-delay се игнорира от Google (Bing го спазва).
  • Всеки поддомейн и протокол има свой robots.txt.
  • Празно Disallow: означава „разрешено всичко“, а Disallow: / – „забранено всичко“.

3. Как да създадете и настроите robots.txt

  1. Създайте обикновен текстов файл robots.txt (UTF-8).
  2. Качете го в главната директория на сайта, така че да се отваря на /robots.txt. В WordPress SEO плъгините (AIOSEO, Yoast, Rank Math) позволяват редакция от администрацията; ако няма физически файл, WordPress генерира виртуален.
  3. Започнете с минимални правила – по-добре е да блокирате малко, отколкото да блокирате нещо важно.
  4. Добавете реда Sitemap:.
  5. Тествайте (виж т. 9) и следете отчетите в Search Console.

Как се настройва robots.txt

Никога не блокирайте CSS, JavaScript и изображенията, нужни за показване на страниците – Google трябва да вижда сайта като потребител.

4. Готови примери по платформи

WordPress

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /?s=
Disallow: /search/
Disallow: /*?replytocom=

Sitemap: https://example.com/sitemap.xml

Не блокирайте /wp-content/ и /wp-includes/ – там са стиловете, скриптовете и изображенията.

WordPress + WooCommerce

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /?s=
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
Disallow: /*?add-to-cart=
Disallow: /*?orderby=
Disallow: /*?filter_

Sitemap: https://example.com/sitemap.xml

Ако използвате български адреси (/количка/, /поръчка/), заменете пътищата с вашите.

OpenCart

User-agent: *
Disallow: /admin/
Disallow: /system/
Disallow: /storage/
Disallow: /*route=account/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*?limit=
Disallow: /*&limit=
Allow: /image/
Allow: /catalog/view/

Sitemap: https://example.com/sitemap.xml

OpenCart създава много дублирани адреси с параметри за сортиране и брой продукти – блокирайте ги и задайте canonical към основната категория. Ако използвате SEO URL адреси, проверете, че продуктите и категориите не са засегнати от правилата.

PrestaShop

User-agent: *
Disallow: /admin*/
Disallow: /classes/
Disallow: /config/
Disallow: /*controller=cart
Disallow: /*controller=order
Disallow: /*controller=my-account
Disallow: /*controller=search
Disallow: /*?orderby=
Disallow: /*?orderway=
Disallow: /*?q=
Allow: /img/
Allow: /themes/
Allow: /modules/*.css
Allow: /modules/*.js

Sitemap: https://example.com/1_index_sitemap.xml

PrestaShop може да генерира robots.txt от администрацията (Настройки → Трафик и SEO). Изображенията на продуктите в /img/ трябва да са достъпни – те носят трафик от Google Images.

Важно: това са отправни точки. Преди да ги приложите, проверете реалната структура на адресите на вашия сайт.

5. Ограничаване на конкретни ботове

Освен търсачките сайта обхождат SEO инструменти (AhrefsBot, SemrushBot, MJ12bot, DotBot), AI роботи и скрейпъри. Някои от тях правят хиляди заявки и натоварват сървъра.

# Блокиране на конкретни SEO ботове
User-agent: MJ12bot
Disallow: /

User-agent: DotBot
Disallow: /

# Блокиране на роботите, които събират данни за обучение на AI
User-agent: GPTBot
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: Google-Extended
Disallow: /
  • Google-Extended не влияе на Google търсенето – той контролира използването на съдържанието за обучение на AI моделите на Google.
  • Ако блокирате ботовете на AI асистентите (например OAI-SearchBot, PerplexityBot), съдържанието ви може да не се цитира в AI отговорите – преценете внимателно.
  • Злонамерените ботове игнорират robots.txt – за тях използвайте защитна стена (Cloudflare, Wordfence) или блокиране по IP на сървъра.

6. Как да разрешите обхождане само на определени части

Понякога искате да блокирате цял раздел, но да оставите отделни страници достъпни:

User-agent: *
Disallow: /members/
Allow: /members/register/
Allow: /members/pricing/

Разрешаване на обхождане само на определени страници

Типични случаи:

  • Сайтове с членство – вътрешната част е затворена, публичните страници са отворени.
  • Лендинг страници за реклами, които не искате в органичните резултати – по-добре ги маркирайте с noindex.
  • Филтри и динамични резултати – блокирайте параметрите, но оставете основните категории.

7. Как да блокирате всички ботове, освен Google

User-agent: Googlebot
Allow: /

User-agent: Googlebot-Image
Allow: /

User-agent: *
Disallow: /

Използвайте това рядко и обмислено. Така губите трафик от Bing, DuckDuckGo, Yandex, Seznam и AI търсачките, а социалните мрежи може да не показват визуализация на споделените линкове (техните ботове също ще бъдат блокирани). Ако искате да спрете само натоварващите ботове, блокирайте тях поименно.

8. Чести грешки

  • Disallow: /, оставено от тестовата среда – целият сайт изчезва от Google.
  • Блокиране на /wp-content/, CSS или JS – Google не вижда страницата правилно.
  • Блокиране на страници, които искате да премахнете с noindex – Google не вижда тага.
  • Опит да „скриете“ чувствителни директории – robots.txt е публичен и ги рекламира.
  • Грешна главна/малка буква в пътя.
  • Липсващ ред Sitemap:.
  • Различен robots.txt на www и без www, на HTTP и HTTPS.

9. Как да тествате robots.txt

  • Google Search Console → Настройки → robots.txt – показва коя версия е прочел Google, кога и дали има грешки. Старият „robots.txt Tester“ е заменен с този отчет.
  • Проверка на URL адрес в Search Console – казва дали конкретна страница е блокирана от robots.txt.
  • Screaming Frog – обхожда сайта със зададените правила и показва блокираните адреси.
  • Отчетът „Страници“ – раздел „Блокирана от robots.txt“.

10. Дългосрочна стратегия

  • Преглеждайте robots.txt при всяка промяна на структурата, нов модул или миграция.
  • Анализирайте лог файловете и статистиката за обхождане – къде Googlebot харчи ресурса си.
  • Комбинирайте robots.txt с canonical, noindex и XML sitemap – всички сигнали трябва да казват едно и също.
  • Следете официалните препоръки на Google – например Google вече рендерира JavaScript, затова скриптовете не бива да се блокират.
  • Документирайте всяка промяна с коментар и дата във файла.

Често задавани въпроси

Задължителен ли е robots.txt?

Не. Без файл роботите обхождат всичко. Но той е полезен за пестене на ресурс и за посочване на sitemap.

Как да премахна страница от Google?

С мета таг noindex (или HTTP заглавка X-Robots-Tag), изтриване (404/410) или временно чрез „Премахвания“ в Search Console – не с robots.txt.

Колко бързо Google вижда промените?

Google кешира robots.txt до 24 часа. В отчета robots.txt в Search Console можете да поискате повторно четене.

Заключение

Robots.txt е прост, но мощен инструмент: с няколко реда насочвате търсачките към ценните страници, пестите ресурс и посочвате картата на сайта. Използвайте го за управление на обхождането, а не за скриване или премахване на страници, никога не блокирайте ресурсите за показване и тествайте след всяка промяна. Вижте и ръководството ни за техническо SEO.

Полезни инструменти от WebsitePR

Споделете: