Для того, чтобы пользователь интернета мог всегда найти нужную ему информацию существуют поисковые системы. Для ускорения процесса поиска информации поисковые системы формируют своеобразные указатели в виде коротких ссылок. В этом и заключается суть индексации сайтов.
Специальные программы, которые называются поисковыми роботами или ботами, постоянно сканируют Всемирную паутину, собирают всю информацию и заносят ее в базу данных сети. Таким образом, от того, какое впечатление произведет конкретный сайт на поискового робота, будет зависеть судьба этого сайта в плане индексации, ранжирования и монетизации.
Google в своей работе использует 3 поисковых робота:
1. Freshbot. Его работа заключается в сканировании сайта, в определении наиболее популярных страничек и их индексации. Параллельно, Freshbot собирает все ссылки со страниц сайта и формирует из них базу данных, которая передается роботу DeepCrawl. Это робот посещает сайт в среднем раз в два дня, однако если он обнаруживает сайт, который популярен, имеет высокую посещаемость и часто обновляемый контент, то он станет посещать это сайт чаще. К примеру, Youtube он посещает каждые 5-10 минут.
2. DeepCrawl получает базу данных со ссылками от Freshbot и формирует из них свою базу данных. Алгоритм его работы настроен на посещение сайтов один раз в месяц.
3. Adsensebot посещает страницы сайта, на которых установлена реклама Google Adsense.
Получение быстрой индексации в Google
Основываясь на принципах работы ботов Google можно сформулировать основные моменты, способствующие быстрой индексации сайта в поисковой системе.
1. Постоянное обновление ресурса и наполнение его страниц качественным контентом является одним из главных способов быстрой индексации. Чем чаще обновляется контент, тем чаще заходит на ресурс поисковый робот. Если вначале ресурс наполнялся каждый день, то бот его посещал каждый день. В случае длительного перерыва в наполнении ресурса потребуется больше времени для индексации новых страниц.
2. Следует использовать простую навигацию: понятная и простая для посетителя навигация упрощает работу робота. В этом поможет составление карты сайта. Добавление ресурса в панель вебмастера Google с указанием пути к Sitemap является действенным способом получения быстрой индексации. Для создания Sitemap можно воспользоваться плагинами движка, на котором работает ресурс, а также специальными сервисами, генерирующими Sitemap.
3. Важно поддерживать авторитетность ресурса, что на языке роботов переводится как качество и количество ссылок на сайт с других ресурсов (внешних ссылок). Чем больше таких ссылок и чем более авторитетны ресурсы, ссылающиеся на сайт, тем выше в глазах робота авторитетность данного сайта. Это проявится увеличением PageRank и повышением позиции в поисковой выдаче. Измерение авторитетности производится по десятибальной шкале. Показатель PageRank 4 или 5 является признаком хорошего ресурса. Следует помнить, что ранжируются отдельные страницы, а не весь ресурс. Соответственно, PageRank будет разным у различных страниц.
4. Правильная настройка файла robots.txt позволяет облегчить работу робота. Каждый движок обладает своими настройками этого файла. Самое главное, понимание того, что нужно сделать, чтобы не закрыть от индексации что-то нужное.
Для проверки индексации ресурса в Google можно установить в свой браузер тулбар Google, в котором будут отображаться данные о PageRank страницы.
Источник: http://www.mrise.ru/
