Когато настройваме SEO на даден сайт трябва да имаме впредвид:
Google може да индексира URL адреси, които са блокирани в robots.txt, без да ги обхожда. Това заяви офицерът по търсенето Джон Мюлер в отговор на въпрос от един от уебмайсторите в Twitter.
По-специално, потребителят попита защо сайтът, който е напълно блокиран в robots.txt, показва заглавията на страниците и описанията в резултатите от търсенето.
Мюлер отговори: "URL адресите могат да бъдат индексирани без сканиране, ако са блокирани в robots.txt."
На въпроса защо заглавията и връзките се показват, ако URL адресите не са обходени, Мюлер отговори: "Заглавията обикновено се вземат от връзки, но откъси не трябва да бъдат." В същото време той добави, че би искал да погледне самите URL адреси, за да разбере какво става.
Както обясни маркетинговият консултант Бари Адамс (Barry Adams), robots.txt е инструмент за управление на обхождането, но не и за индексиране. За да предотвратите индексирането, трябва да използвате подходящата директива в мета таговете на роботи или заглавките на HTTP за X-Robots-Tag.
Но за да може Googlebot да види тези директиви, трябва да му бъде позволено да обходи тези страници!