Нека разгадаем Мета ботовете и Robots.txt

Само аз ли съм или думите „мета ботове“ и „robots.txt“ звучат като нещо, което Шварценегер казва в „Терминатор 2“?

Надяваме се, че тази статия ще ни помогне да разберем въпросните мета ботове и файловете robots.txt и да не ги бъркаме с хитовата поредица с Шварценегер. Да започваме.

Meta Robots Tags срещу Robots.txt

Преди да разгледаме основите на това какво представляват тези две неща, важно е да знаем, че нито едно не ви дава повече предимство при оптимизацията.

Файловете Robots.txt инструктират роботите за целия ви сайт. Докато етикетите на метароботите обработват само една конкретна страница.

Лично ние предпочитаме да използваме мета ботовете за доста неща,  за които другите SEO специалисти могат просто да използват файла robots.txt.

Няма правилен или грешен отговор. Това е лично предпочитание въз основа на опит.

Какво е Robots.txt?

Файлът robots.txt казва на обхощдащите ботове (краулъри) какво трябва да...ами, обходят. Той е част от протокола за изключване на ботовете (REP).

Googlebot е пример за краулър. Google използва Googlebot за обхождане на уебсайтове и регистриране на информация от него, за да разбере как да го класира в резултатите от търсенето.

Можете да намерите файла robots.txt на всеки сайт, като добавите /robots.txt след URL адреса:

www.mywebsite.com/robots.txt

Ето как изглежда един robots.txt:

пример-robots-txt-файл

Със звездичката ( * ) потребителят-агент казва на краулърите, че файлът robots.txt може да се види от всички ботове, които минават през сайта.

Наклонена черта ( / ) след „Disallow“ казва на робота да не посещава никакви страници в сайта.

пример-robots-txt-моз
Ето например как изглежда файлът robots.txt на Moz.

Можете да видите, че във файла на Moz, те показват на ботовете какви страници да обхождат с помощта на потребителски агенти и директиви. Ще се потопим в повече детайли по-късно.

Защо Robots.txt е важен?

Не можем да преброим колко много клиенти идват при нас след миграция или стартиране на нов уебсайт и ни питат: Защо не се класира добре сайта ми след месеци работа?

Отговорът на този въпрос би бил, че 60% от причините са, че файлът robots.txt не е актуализиран правилно. Т.е. вашият robots.txt изглежда по този начин:

пример-robots-txt-файл

Това ще блокира всички уеб краулъри, които посещават сайта.

Другата причина robots.txt да е от толкова голямо значение е бюджетът за обхождане на Google. Те заявяват:

„Googlebot е създаден да бъде примерен гражданин в уеб пространството. Обхождането е основният му приоритет, като същевременно се уверява, че не влошава опита на потребителите, посещаващи сайта. Ние наричаме това „ограничение на честотата на обхождане“.

По-просто казано, това представлява броя на едновременните паралелни връзки, които Googlebot може да използва за обхождане на сайта, както и времето, необходимо за изчакване между извличанията. "

Така че, ако имате голям сайт със страници с ниско качество, които не искате Google да обхожда, можете да му кажете да ги „забрани“ чрез robots.txt.

Това ще освободи бюджета ви за обхождане, за да обхожда само висококачествените страници, за които искате Google да ви класира.

Основи на Robots.txt

Как да използвате Robots.txt

Използването на robots.txt е жизненоважно за SEO успеха. Но неразбирането как работи може да ви остави да се чудите защо не се класирате.

Търсачките ще обхождат и индексират вашия сайт въз основа на това, което им кажете във файла robots.txt, използвайки директиви и изрази. По-долу са общите инструкции за robots.txt, които трябва да знаете:

  1. User-agent: * - Това е първият ред в robots.txt, който обяснява на сканиращите ботове какво искате да обхождат във вашия сайт. Звездичката информира всички "паяци".
  2. User-agent: Googlebot - Така показвате какво искате да обходи единствено Google ботът.
  3. Disallow: / - Това казва на всички краулъри да НЕ обхождат целия сайт.
  4. Disallow: - Това казва на всички краулъри да обхождат целия сайт.
  5. Disallow: / staging / - Това казва на всички краулъри да игнорират тестовия сайт.
  6. Disallow: / ebooks / * .pdf - Това казва на краулърите да игнорират всички PDF формати, което може да доведе до дублирано съдържание.
  7. User-agent: Googlebot
    • Disallow: / images / - Това казва на Googlebot да игнорира всички изображения на сайта.
    • * - Това се разглежда като отметка, която представлява произволна последователност от знаци.
    • $ - Използва се за съответствие в края на URL адреса.

За създаването на файл robots.txt, ние използваме Yoast за WordPress. Но преди да започнем със създаването на robots.txt, ето няколко основни неща, които трябва да запомним:

  • Форматирайте правилно своя robots.txt. SEMrush е чудесен пример за това как robots.txt трябва да бъде правилно форматиран. Виждате, че структурата следва този модел: User-agent → Disallow → Allow → Host → Sitemap. Това позволява на паяците на търсачките да имат достъп до категории и уеб страници в правилния ред.
  • Уверете се, че всеки URL адрес, който искате да разрешите или забраните е поставен на отделен ред. Също така, не ги разделяйте с разстояния.
  • Винаги използвайте малки букви, за да назовете вашия robots.txt.
  • Не използвайте специални символи, освен * и $. Други знаци не се разпознават.
  • Създайте отделни файлове robots.txt за различните поддомейни. Например „hubspot.com“ и „blog.hubspot.com“ имат отделни файлове и различни robots.txt.
  • Използвайте #, за да оставяте коментари във файла си robots.txt. Роботите не спазват редове с символа #.
  • Ако дадена страница е забранена във файловете robots.txt, капиталът на връзката няма да премине.
  • Никога не използвайте robots.txt за защита или блокиране на чувствителни данни.

Какво да скрия с Robots.txt
Robots.txt файловете често се използват за изключване на конкретни директории, категории или страници от SERPs.

Можете да ги изключите, като използвате директивата „disallow“. Ето няколко общи страници, които можете да скриете, използвайки файл robots.txt:

  • Страници с дублирано съдържание (често удобно за принтера съдържание)
  • Динамични страници за продукти и услуги
  • Страници с акаунти
  • Административни страници
  • Количка за пазаруване
  • Чатове
  • Страници с коментари

файл-пример-ботове-google
Това е много полезно за сайтове за електронна търговия, използващи параметри като Macy.

Важно е да знаете, че не всички роботи ще следват вашия файл. Лошите ботове могат напълно да го игнорират, така че не забравяйте да съхранявате чувствителните данни на блокирани страници.

Чести грешки в Robots.txt
Ето няколко от често срещаните грешки, които често виждаме:

Грешка №1: Името на файла съдържа главни букви

Единственото възможно име на файла е robots.txt, не Robots.txt или ROBOTS.TXT. Придържайте се към малки букви, винаги когато става дума за SEO.

Грешка №2: Не се поставя файл Robots.Txt в основната директория

Ако искате файлът ви robots.txt да бъде намерен, трябва да го поставите в основната директория на вашия сайт.

Грешно:

www.mysite.com/tshirts/robots.txt

Правилно:

www.mysite.com/robots.txt

Грешка №3: ​​Неправилно форматиран потребителски агент

Грешно:

Disallow: Googlebot

Правилно:

User-agent: Googlebot

Disallow: /

Грешка №4: Споменаване на няколко каталога в един ред „Забрани“

Грешно:

Disallow: /css/ /cgi-bin/ /images/

Правилно:

Disallow: /css/

Disallow: /cgi-bin/

Disallow: /images/

Грешка №5: празен ред в „User-Agent“

Грешно:

User-Agent:

Disallow:

Правилно:

User-agent: *

Disallow:

Грешка №6: Огледални уебсайтове и URL адрес в директивата за хоста

Внимавайте, когато споменавате директивите за „хост“, така че търсачките да ви разберат правилно:

Грешно:

User-agent: Googlebot

Disallow: /cgi-bin

Правилно:

User-agent: Googlebot

Disallow: /cgi-bin

Host: www.site.com

Ако вашият сайт има https, правилната опция е:

User-agent: Googlebot

Disallow: /cgi-bin

Host: https://www.site.com

Грешка №7: Изброяване на всички файлове в директорията

Грешно:

User-agent: *

Disallow: /pajamas/flannel.html

Disallow: /pajamas/corduroy.html

Disallow: /pajamas/cashmere.html

Правилно:

User-agent: *

Disallow: /pajamas/

Disallow: /shirts/

Грешка № 8: Без инструкции за забрана

Инструкциите за забрана са необходими, така че ботовете на търсачките да разберат намерението ви.

Грешно:

User-agent: Googlebot

Host: www.mysite.com

Правилно:

User-agent: Googlebot

Disallow:

Host: www.mysite.com

Грешка №9: Блокиране на целия ви сайт

Грешно:

User-agent: Googlebot

Disallow: /

Правилно:

User-agent: Googlebot

Disallow:

Грешка № 10: Използване на различни директиви в * раздела 

Грешно:

User-agent: *

Disallow: /css/

Host: www.example.com

Правилно:

User-agent: *

Disallow: /css/

Грешка № 11: Грешно HTTP заглавие

Грешно:

Content-Type: text/html

Правилно:

Content-Type: text/plain

Грешка №12: Нямате карта на сайта

Винаги поставяйте своите Sitemap в долната част на файла си robots.txt.

Грешно:

ботове-без-карта-на-сайт

Правилно:

роботи-правилна-карта-на-сайт

Грешка №13: Използване на Noindex

Google обяви през 2019 г., че вече няма да признава директивата noindex, използвана във файловете robots.txt.

Затова използвайте етикетите за мета роботи, за които говорим по-долу.

Грешно:

noindex-ботове-грешно
Правилно:

ботове-правилно

Грешка № 14: Забраняване на страница във файла Robots.Txt, но все пак свързване към нея

Ако забраните страница във файла robots.txt, Google пак ще обходи страницата, ако имате вътрешни връзки, сочещи към нея.

Трябва да премахнете тези връзки за паяците, за да спрете напълно да обхождате.

Ако не сте сигурни, можете да проверите кои страници се индексират в отчета на Google Search Console.

Трябва да видите нещо подобно:

ботове-google-search-console

Можете да използвате и инструмента за тестване на Google robots.txt.

Какво представляват етикетите на Meta Robots?
Таговете за мета роботи (наричани още директиви ) са HTML кодови фрагменти, които казват на търсачите как да обхождат и индексират страници на вашия уебсайт.

Маркерите за мета роботи се добавят в секцията <head> на уеб страница.

Ето един пример:

<meta name = "роботи" content = "noindex" />

Термалните етикети за роботи са съставени от две части.

Първата част на маркера е name = ’’ ’.

Това е мястото, където идентифицирате потребителския агент. Например „Googlebot.“

Втората част на маркера е content = ’’. Тук казвате на ботовете какво искате да направят.

Видове мета етикети за роботи
Meta robots таговете са два типа :

  • Мета етикет роботи.
    X-роботи-тагове

Тип 1: Маркер за мета роботи

Мета маркерите за роботи обикновено се използват от SEO маркетолозите.

Тя ви позволява да кажете на потребителските агенти (помислете Googlebot) да обхождат определени области.

Ето един пример:

<meta name = „googlebot“ content = „noindex, nofollow“>

Този маркер за мета роботи казва на бота на Google, Googlebot, да не индексира страницата в търсачките и да не следва никакви връзки.

Така че тази страница не би била част от SERPs.

Бихме използвали този етикет за мета роботи за страница с благодарности или коментари.

Тип 2: X-робот-таг

Маркерът x-robots ви позволява да правите същото като етикетите за мета роботи, но в заглавките на HTTP.

Той ви дава повече функционалности от етикетите за мета роботи.

Ще ви е необходим обаче достъп до .php, .htaccess или сървърните файлове.

Например, ако искате да блокирате изображение или видео, но не цялата страница, вместо това ще използвате x-robots-tag.

Параметри на етикети за мета роботи
Има много начини за използване на директивите за етикети на мета роботи в кода. Но първо, трябва да разберете какво представляват тези директиви и какво правят:

  • all - Без ограничения за индексиране и съдържание. Тази директива се използва по подразбиране. Това не оказва влияние върху работата на търсачките.
  • index - Позволете на търсачките да индексират тази страница в резултатите от търсенето. Това е по подразбиране. Не е необходимо да го добавяте към страниците си.
  • noindex - Премахва страницата от индекса на търсещите машини и резултатите от търсенето. Това означава, че търсещите няма да намерят вашия сайт или да кликнат през него.
  • follow - Позволява на търсачките да следват вътрешните и външните връзки на тази страница.
  • nofollow - Не позволявайте да следвате вътрешните и външните връзки. Това означава, че тези връзки няма да преминат капитала на връзката.
  • none - Същото като noindex и nofollow мета таговете.
  • noarchive - Не показвайте връзката „Запазено копие“ в SERPs.
  • nosnippet - Не показвайте разширената версия на описанието на тази страница в SERPs.
  • notranslate - Не предлагайте превод на тази страница в SERPs.
  • noimageindex - Не индексирайте изображенията на страницата.
  • unavailable_after: [RFC-850 дата / час] - Не показвайте тази страница в SERPs след определена дата / час. Използвайте RFC 850 формат.
  • max-snippet - установява максимален брой знаци в мета описанието.
  • max-video-preview - Определя броя секунди, след които видеото ще визуализира.
  • max-image-preview - Установява максимален размер за визуализацията на изображението.

Как да използвате Meta Robots тагове
Ако използвате уебсайт на WordPress, има много опции за плъгини, за да персонализирате маркерите си за мета роботи.

Ние предпочитаме да използваме Yoast. Това е многофункционален SEO плъгин за WordPress.

Но има и плъгин за Meta Tags Manager и приставката за Meta Tags на GA.

Потребители на Joomla, препоръчваме ви EFSEO и Tag Meta.

Без значение върху какво е изграден сайтът ви, ето три съвета за използване на етикети за мета роботи:

  • Поддържайте чувствителността към регистър. Търсачките разпознават атрибути, стойности и параметри както в големи, така и в малки букви. Препоръчваме ви да се придържате към малките букви, за да подобрите четенето на кода. Плюс това, ако сте в SEO средите, най-добре е да придобиете навик да използвате малки букви.
  • Избягвайте множество <meta> тагове. Използването на множество мета тагове ще доведе до конфликти в кода. Използвайте множество стойности във вашия <meta> маркер, като този: <meta name = „robots“ content = „noindex, nofollow“>.
  • Не използвайте конфликтни мета тагове, за да избегнете грешки при индексиране. Например, ако имате множество кодови редове с мета тагове като този <meta name = „robots“ content = “follow”> и това <meta name = “robots” content = “nofollow”>, ще бъде взето само “nofollow” предвид. Това е така, защото роботите поставят на първо място ограничителни стойности.

Етикетите Robots.txt и Meta Robots работят заедно
Една от най-големите грешки, които виждаме, когато работим върху уебсайтовете, е, когато файлът robots.txt не съвпада с това, което сте посочили в маркерите за мета роботи.

Например, файлът robots.txt крие страницата от индексиране, но маркерите с мета роботи правят точно обратното.

Google е дал приоритет на това, което е забранено от файла robots.txt.

Но можете да елиминирате несъответствието между мета robots таговете и robots.txt, като ясно казвате на търсачките кои страници трябва да бъдат индексирани и кои не.

Интересно: Тук ще ви напомним малък трик, чрез който може да следите преминаващите ботове през сайта си.

Споделете: