Комплекс программ, результат работы которых учитывается каким-либо поисковиком, является поисковым роботом. Эти программы созданы для выполнения различных задач, как, например, систематизация, индексация, поиск и т.д.
А ведь как мило все начиналось

Во времена появления поисковых систем таких роботов практически не было. Об этом можно судить, вспомнив результаты поисковой выдачи Яндекса на первых порах его существования. С тех пор количество таких роботов стало значительно больше, да и задачи они теперь выполняют более сложные.

� вот к чему все это привело

Например, национальный робот обрабатывает информацию с сайтов, находящихся в разных доменных зонах: .рф, .ru, .com и так далее. Робот-индексатор изображений отслеживает и индексирует только графические файлы, расположенные на ресурсах, поскольку графику, как таковую, проиндексировать нельзя.

Его напарником является робот, индексирующий и наблюдающий за расширениями, описаниями и названиями видео и аудиофайлов. Робот-зеркальщик занимается тем, что ищет и прикрепляет к сайтам зеркала. Отдельная машина ведет учет и анализ внешних ссылок, которые она находит на ресурсах. Робот-оформитель выделяет отдельные слова или фразы жирным шрифтом в самой выдаче системы, если они совпадают с поисковым запросом.

У поисковой системы есть отдельная машина, которая прогоняет сайт по базе всего поисковика в поисках каких-либо данных по нему. Если факт индексации ресурса не подтвержден, либо на нем появились новые страницы или информация, которая нуждается в индексации, то робот передает этот сайт в работу своему коллеге.

Для внешних ссылок есть еще один робот, который просматривает их работоспособность. В том случае, когда ссылка ведет на несуществующий ресурс, информация об это передается в соответствующие руки и некоторое время спустя этот ресурс удаляется из индекса поисковой системы.

Существует робот, отвечающий за новичков. Он рыскает в интернете в поиске новых, не проиндексированных сайтов, и, в случае нахождения такового, передает его в разработку своим друзьям.

Самая тяжелая работа у робота, который перепроверяет всю информацию, которая была получена не так давно. А самая простая у робота, который следит за обновлениями ресурсов, которые уже есть в базе поисковика.

Вот с такими роботами приходится иметь дело оптимизаторам при продвижении сайтов. Самим же поисковым системам приходится работать с машиной, работа которой направлена на оптимизацию поисковика, ну и, время от времени, разбирать заявки оптимизаторов, которые считают, что робот не правильно понял их действия.