Слава богу, ты пришел! Сразу подпишись на RSS feed. И не пропустишь ничего нового. Спасибо за визит!

Как работает гугл, когда индексирует страницы вашего сайта? Робот (бот, паук) регулярно (или по мере обновления) обходит каждую страницу вашего сайта и заносит ее в базу данных поисковой системы.
Наиболее известны три робота Google: Adsense бот, Freshbot и DeepCrawl.
Adsense бот активно индексирует те страницы сайта, на которых находится блок Adsense. Создали новую страницу и JavaScript из кода Adsense тут же отправляет сообщение на Adsense бот, который за 10 – 15 минут индексирует страницу, чтобы далее предложить релевантные объявления в рекламном блоке. Как влияют базы данных адсенза на дальнейший пиар малоизвестно, но по наблюдениям за новыми сателлитами, те сайты, где изначально устанавливался рекламный блок адсензе индексировались быстрее в гугле. Вывод сделайте самостоятельно.
Freshbot исследует наиболее популярные страницы на вашем ресурсе. Не имеет значения, одна это страница или сотни. Чем чаще обновляется сайт, тем лучше. Такие сайты как Amazon.com и CNN.com содержат страницы, которые каждые 10 минут сканируются, ибо часто изменяются. А вот статистический сайт может ожидать что freshbot в зависимости от популярности сможет посетить каждую из страниц в срок от 1 до 14 дней.
Цель посещения Freshbot’а заключается и в том, что он считывает ссылки как внешние так и внутренние. Бот отправляет инфу об этих ссылках в базу данных.
Примерно раз в месяц, паук DeepCrawl приходит на ваш сайт и находит все ссылки, по базе данных Freshbot’а. База данных робота DeepCrawl влияет на выдачу в поиске. Индексация может занимать время до одного месяца – когда весь сайт будет проиндексирован в Google – даже при добавлении в Google Sitemap.

Резюме:
Примерно раз в месяц сайт индексируется полностью.
Ссылки в постах ускоряют индексацию.
Реклама от гугл может положительно влиять на индексацию.

ф\я