Поисковые роботы - как они работают и что делают. Вопреки расхожему мнению, робот непосредственно не занимается какой-либо обработкой сканируемых документов. Он их только считывает и сохраняет, дальше их обработку осуществляют другие программы. Общая информация о поисковых роботах. Поисковый робот – это программа, автоматически путешествующая по веб, запрашивая документы и рекурсивно получая все документы, на которые они ссылаются. Заметьте, что слово «рекурсивно» здесь не относится к конкретной. Поисковая система. Поисковые роботы. Назначение поисковых роботов. Создание сайта. Поисковый движок. На заре развития у поисковых систем был один поисковый робот, работающий циклично. Сайты сканировались от "А" до "Я".
