» Поисковые системы :: Как работают поисковые системы :: Индексирование информации в сети

Для выдачи необходимого материала по вашему запросу, поисковые системы не сканируют весь ресурс Интернета, это слишком дорого бы обходилось, время занимало намного больше.

Для экономии времени и материальных затрат поисковые системы формируют собственную базу данных по всем страницам, хранящимся в сети, и непосредственно проводят поиск в этой базе данных. Выгода очевидна, поиск занимает намного меньше времени, чем, если проводить поиск по всем сайтам. Базу данных называют индексом поисковой системы, а подсоединение необходимого сайта в этот индекс называют индексированием сайта.

Каждая поисковая система обладает специальной программой, которая и индексирует сайты. Эта программа называется пауком, а процесс индексирования - ползание паука(spider crawling). Поисковых пауков называют - ботами.

Поисковый паук начинает свое странствие по самым популярны сайтами в сети. Пауки индексируют слова на предоставленной странице, а затем проходят по всем ссылкам того же сайта, подобным манером поисковый бот достаточно стремительно сканирует ресурсы сети.

Любой поисковый бот имеет собственное название, для отличия ботов данной поисковой системы. Имя ботов видно в поле User-Agent (Пользовательский Агент) запроса к серверу. К примеру, бот Яндекса - Yandex. Иногда бывает, что формируются различные страницы для различных поисковых ботов, при заходе бота от Yandex на страничку, выдается одна страница, а для бота Google - другая. Но когда для паука выкладывается одна страница, а для пользователя - другая, то этот сайт отчислят из индекса поисковой системы.

п»їевро окна, купить пластиковые окна ПВХ окна в кредит в Выхино отделка откосов, купить пластиковые окна ПВХ