Гугл – мастер
Как работает гугл, когда индексирует страницы вашего сайта? Робот (бот, паук) регулярно (или по мере обновления) обходит каждую страницу вашего сайта и заносит ее в базу данных поисковой системы. Наиболее известны три робота Google: Adsense бот, Freshbot и DeepCrawl. Adsense бот активно индексирует те страницы сайта, на которых находится блок Adsense. Создали новую страницу и …