Сега Google напомня, че вече не трябва да бъдете зависими от noindex в robots.txt.
Тъй като част от Google премахва изцяло поддръжката на директивата noindex във файловете robots.txt, администраторите, които имат въпросния тип директиви, ще получат известия.Наскоро много от членовете на SEO общността започнаха да получават известия от Google Search Console с темата „Премахване на изявленията„ noindex “от robots.txt …“
Как изглежда новината? Има много снимки на това известие в социалните медии, но ето едно от Бил Хартцер в Twitter:
Бил Хартцер споредли в Twitter съобщение, което гласи, че Google е идентифицирал robots.txt файл, съдържащ неподдържания "noindex"
1 септември 2019 г. Това е датата, na която вече не трябва да зависиm от споменаването на noindex във файла robots.txt. Това беше обявено от Google по-рано този месец и сега изпраща съобщения, за да помогне за разпространението на тази новина. В съобщението на Бил Хартцер пише още, че "noindex" правилото никога не е било официално поддържано от Google и на 1 септември окончателно ще спре да работи. Ето защо накрая е приложен бутон с инструкции как да бъде блокирано правилото.
Защо това ни засяга? Ако получите това известие, уверете се, че всичко, което споменавате в тази директива за noindex, се поддържа по различен начин. Най-важното е да се уверите, че не използвате директивата noindex във файла robots.txt. Ако все пак го използвате, ще трябва да направите предложените промени по-горе преди 1 септември. Също така, гледайте дали използвате командите nofollow или crawl-забавяне и ако е така, използвате истински поддържания метод за тези директиви.
Какви са алтернативите? Google изброи следните опции, тези, които вероятно използвате така или иначе:
Noindex в мета таговете: Поддържан както в HTTP отговора, така и в HTML, директивата noindex е най-ефективният начин за премахване на URL адреси от индекса, когато е разрешено обхождането.
404 и 410 HTTP кодове : И двата кода означават, че страницата не съществува, което ще пропусне URL адресите от индекса на Google, след като бъдат обходени и обработени.
Защита с парола: Освен ако маркирането не се използва за обозначаване на съдържание с абонамент или плащане, скриването на страница зад парола обикновено я премахва от индекса на Google.
Дезактивиране в robots.txt: Търсачките могат да индексират само страници, за които знаят, така че блокирането на страницата от обхождане често означава, че съдържанието му няма да бъде индексирано. Въпреки че търсачката може също да индексира URL адрес въз основа на връзки от други страници, без да виждаме самото съдържание, ние се стремим да направим такива страници по-малко видими в бъдеще.
Инструмент за премахване на URL адрес от конзолата за търсене (Search Console Remove URL tool): Инструментът е бърз и лесен метод за временно премахване на URL адрес от резултатите на търсенето с Google.