Файл robots.txt
Документ robots.txt нужен для того, чтобы хранить инструкции по индексации сайта поисковыми роботами. Находится это файл в корневой директории сайта и каждый заход поискового робота на сайт начинается с него.
Что за инструкции содержит файл robots.txt? Все просто — веб-мастер указывает: кому и что запрещено индексировать на сайте. То есть в robots.txt есть только запрещающие инструкции. Если файла robots.txt на сайте нет, то значит будут подвергаться индексации все найденные роботом страницы. Элементарный пример содержимого документа robots. txt:
User-agent: StackRambler
Disallow: /cgi-bin/
Эти строки запрещают поисковому рамблер-роботу индексировать все файлы в директории под названием cgi-bin. Так как эти инструкции предназначены только для робота «Рамблера», значит, все остальные поисковики будут индексировать все, в том числе и директорию cgi-bin.
Как видно в этом примере, с помощью файла robots . txt можно запретить индексацию целой группы страниц, а не только одной.
Не скупись - в социалках поделись
Most Commented Posts
Автор: seo-teacher
Количество статей, опубликованных автором: 260. Дополнительная информация об авторе появится вскоре.