mailinfo.ru - Новости

Елена Колмановская о "быстром" "Яндексе"...»

17 августа 2005

Главный редактор "Яндекса" Елена Колмановская комментирует статью, посвященную запуску "быстрого" робота "Яндекса", индексирующего определенную часть Рунета.

Как удалось увеличить скорость индексирования?

База быстрого робота — это менее 1% всей базы, поэтому процесс обхода документов и выкладывания может происходить заметно чаще без существенного увеличения нагрузки.

Выборка из быстрой базы делается одновременно с выборкой из медленной?

Да. В момент запроса метапоиск обращается как к основным поисковым машинам, так и к машинам с базой быстрого робота. Основную базу некорректно называть "медленной", ее обновление происходит каждые 2–3 дня.

Пришлось ли ради этого увеличивать серверный парк?

Мы добавили десяток серверов к примерно пяти сотням, на которых работал поиск и робот.

Насколько возросла нагрузка на сервера?

"Быстрая база" расположена на отдельных серверах.

Планируется ли в дальнейшем увеличивать скорость?

Возможно, но скорость выкладывания не является самоцелью. Работа над быстрым роботом подразумевает: обнаружение актуальных документов; оперативную индексацию и выкладывание; правильное ранжирование. Все три составляющие важны для пользователей.

Сейчас в вашей базе находится почти 800 млн документов. Если учесть все факторы, можно сказать примерно, когда ее размер достигнет миллиарда?

Когда на главной странице "Яндекса" будет написано "Поиск по 1 000 000 000 документов Рунета". :)