Файл robots.txt
Документ robots.txt нужен для того, чтобы хранить инструкции по индексации сайта поисковыми роботами. Находится это файл в корневой директории сайта и каждый заход поискового робота на сайт начинается с него. Что за инструкции содержит файл robots.txt? Все просто — веб-мастер указывает: кому и что запрещено индексировать на сайте. То есть в robots.txt есть только запрещающие …