РАМБЛЕР

Описание поисковика

Однажды в городе Пущино в 1991г. появилась группа людей, которые были вдохновленных недавно появившейся коммуникационной средой Интернет. Дмитрий Крюков, Сергей Лысаков, Виктор Воронков, Владимир Самойлов, Юрий Ершов - это творческие, технически подкованные и смелые люди с активной жизненной позицией и со стремлением к новому, это были создатели поисково системы рамблер т.е. им предстояло её создать. Эти люди в Институте физиологии и биохимии микроорганизмов РАН обслуживали радиотехнические приборы. Дмитрий Крюков вместе с биологами занимался анализом трехмерной структуры ДНК на ЯМР-спектрометре и созданием огромной электронной катротеки микроорганизмов. Находясь в Пущино, возникает сильное желание общаться и связываться с огромным миром, который за лесом. По всей видимости, эта тяга и сподвигла компанию "Стек" во главе с Сергеем Лысаковым заняться локальными сетями и подключением к Интернету. Нормальный, оперативный и эффективный обмен данными был необходим для реализации научных целей. "Стековцы" сами создали внутри города сеть, подключили Пущино к Москве и через нее к Интернету. Это был первый выходящий за пределы Москвы IP-канал в России. Затем подключились к Курчатовскому институту атомной энергии. "Стековцы" вспоминают, что кабели иногда приходилось прокладывать зимой, вручную, под землей и при минусовой температуре! Компания запускает собственные mail и ftp серверы в 1992 году. Через пару лет свой первый www сервер. Таким образом, шаг за шагом Пущино превращается в очень важный узел Мировой Сети.

1996 год стал ключевым в эпохе развития русского интернета, потому что в этот год Сергей Лысаков и Дмитрий Крюков принимают решение разработать первую русскую поисковую систему для Интернета. Команда "Стека" прозорливо сделала ставку на программу-поисковик. Это было ответственное и необоснованное решение, поскольку в то время русский сегмент сети был очень мал не более 40-55 сайтов. А новые разработки означали для компании покупку оборудования, для этого они пошли на жертвы и сократили собственные зарплаты.

Программист Дмитрий Крюков придумал проекту название, он открыл англо-русский словарь и его взгляд упал на rambler. Дмитрию понравилось значение слова "скиталец, странник, бродяга": роботы поисковой машины действительно ходят по сайтам, собирая информацию, круглые сутки не зная покоя. За работой сидел и днями, и ночами. Жена Карина приносила обеды и ужины в офис. Когда Дмитрия спрашивают, что это значит для программиста - создать такую программу, он спокойно отвечает: это интересно, это проверка себя, своих сил. Это не настолько сложно, чтобы отказывать себе в удовольствии сделать это. Через несколько месяцев, к осени 1996 года, был готов окончательный вариант поисковой системы рамблер. 26 сентября был зарегистрирован доменwww.rambler.ru, а 8 октября "Стек" активизировал систему.

В тот момент в Рунете уже существовало две-три поисковые системы - но они не выдержали проверки временем и быстро исчезли. Но рамблер эволюционировал и развивался. Рамблерупришлось пройти через огонь и воду. Сергей Лысаков и Дмитрий Крюков рассказывают, что однажды на верхнем этаже прорвало трубу и сервер, на котором работала поисковая система рамблер, пришлось просушивать. К счастью, ничего не сломался. В другой раз подвело железо: сгорели жесткие диски. Сергей и Дмитрий в тот же день съездили в Москву и срочно купили за бешеные деньги новые устройства. Поисковая система рамблер не работала всего одни сутки. Для отладки работыпоисковой системы рамблер приходилось очень подолгу сидеть за компом и неотрывно контролировать процесс поиска и поток запросов. Рамблер держался на энтузиазме своих создателей, на воле и вере в правильность выбранного пути.

В 1997 году, весной появляется Rambler Top100 уникальный рейтинг-классификатор, он оценивает популярность российских ресурсов на основе объективных данных и позволяет попасть на них одним "кликом". Вся история Рунета разделилась на "до" и "после". Появление такого счетчика, который был способен направлять аудиторию на разные ресурсы, создало активную конкурентную среду. Веб-мастера стали более тщательно и вдумчиво работать над своими сайтами, стремясь занять в Топ100 более высокие строчки. Большой рейтинг давал преимущества в быстром росте аудитории. Модераторам Топ100 приходится бороться с накрутками - искуственное повышение рейтинга ресурса. В первый год жизни рейтинга объем сегмента сети русскоязычного интернета вырос как минимум на два порядка. Rambler's Top100 быстро стал стандартом медиаизмерений.

26 сентября 2003 года изменился дизайн головной страницы www.rambler.ru, он стал более свежим и вместе с тем остался легко узнаваемым. В июне 2003 года компания запустила новую версию поисковой машины, которая отличается от предыдущей по двум основным параметрам. В новой версии сильно увеличилась скорость поиска, новая архитектура системы обновления поискового индекса, обновление происходит несколько раз в день. Это значит, что Rambler всегда находит даже самые свежие документы, включая последние новости. Rambler понимает живой русский язык, знает, что бывает "б/у", "у.е." и "а/я". Механизм ассоциаций помогает точнее сформулировать свой запрос и быстрее найти искомый ресурс.

Особенности Рамблер

Необходимо заполнить регистрационную анкету в поисковой системе rambler. Это будет гарантией того, что роботы рамблера узнают о Вашем сайте и скорее начнут его индексацию. Анкета находится по адресу http://www.rambler.ru/doc/add_site_form.shtml.

Автоматически роботы rambler сканируют сайты, находящиеся в следующих доменах первого уровня:

• .ru, .su, .ua, .by, .kz, .kg, .uz, .ge

• сайты из других доменов игнорируют

Если Ваш сайт находится вне названных доменов (например, в зонах .com, .org, .net), но существенная часть сайта содержит русскоязычные материалы или, по Вашему мнению, он может представлять интерес для русскоязычной аудитории поисковой системы рамблер, Вы можете отослать письмо на адрес search.support@rambler.ru с просьбой включить Ваш сайт в число сканируемых, либо заполнить форму обратной связи.

Зарегистрируйте сайт в рейтинге Top100 и расставте счетчик на всех страницах сайта. Анкета, заполняемая при регистрации в этом рейтинге, индексируется ежедневно, а специальный роботрамблера дважды в день пополняет базу поисковой машины новыми страницами, на которых размещен счетчик. Таким образом, включение сайта в Тор100 - это самый быстрый способ попасть в результаты поиска!

При заполнении полей анкеты "Название сайта" и "Описание" не следует вводить в них длинные перечни ключевых слов. Эти поля все равно пока не используются для поиска в поисковой системе рамблер. Название и описание должны быть предназначены для прочтения человеком, так как эти поля используются во внутренних базах данных поисковой системы рамблер и просматриваются редакторами.

Рамблер умеет извлекать гиперссылки из объектов Macromedia Flash. Если Ваш сайт имеет заставку или навигационные панели, выполненные c использованием этой технологии, рамблеробработает их, найдет адреса всех страниц сайта и проиндексирует весь сайт. Однако, сами тексты flash-объектов рамблером не индексируются. Это решение принято потому, что большая часть таких объектов содержит элементы навигации, заставки, меню и другие фрагменты, эти элементы очень важные как источники гиперссылок, но как текст малоинформативные. Для сайтов, которые целиком состоят из flash-объектов, рекомендуется создать HTML-копию и зарегистрировать ее в поисковой машине.

Роботы рамблера при сканировании игнорируют поля <meta name="keywords"...> и все другие поля <meta...>, кроме <meta name="robots"...>. Это связано с тем, что поисковая система рамблерстарается индексировать документ таким, какой он есть (то есть таким, каким его видит пользователь).

Не следует также использовать невидимый текст (в котором цвет шрифта совпадает с цветом фона).

Комментарии в документе роботы рамблера тоже не сканируют, поэтому используйте их по прямому назначению. Помните, что каждый комментарий увеличивает размер Вашего документа, а значит, снижает вероятность того, что документ будет просмотрен до конца.

Обратите внимание на заголовки и выделения в документе. Базовые понятия и ключевые для данного сайта слова целесообразно включать в следующие HTML-теги (в порядке значимости):

<title> <h1>...<h4> <b>, <strong>, <u>

Чем чаще слово встречается в этих полях, тем более вероятно, что поисковая система рамблервыдаст ссылку на Ваш документ выше в списке результатов поиска. Но, использование этих тегов должно сочетаться с дизайном Вашего сайта, не злоупотребляйте ими.

С точки зрения поиска, использование фреймов в документе не приветствуется. Это не означает, что роботы не умеют сканировать фреймы. Роботы rambler прекрасно справляются с конструкциями фреймов, однако наличие лишнего этажа ссылок (от головного навигационного фрейма к "содержательным") замедляет индексацию.

Включайте в документы с фреймами HTML-тег <noframes> с текстом документа и ссылками. Разумеется, это увеличит размер документа, но будет являться актом доброй воли по отношению кпоисковой системе рамблер и к другим поисковым машинам.

Максимальный размер документа для роботов рамблера составляет 200 килобайт. Документы большего размера усекаются до указанной величины.

Роботы рамблера обрабатывают ссылки типа <a href=".../imagemap ...">, однако наряду со ссылкой такого вида мы рекомендуем поместить в текст документа конструкцию <map name="name">. Это позволит ускорить индексацию документов которые указанны в imagemap, и обычным браузерам будет обеспечен более лёгкий доступ к документам.

Когда пишите контент для сайта необходимо следить за соблюдением русско-латинского регистров. Например вместо русской 'р' используют латинскую 'p', вместо русского 'с' - латинское 'c'. Некоторые подобные ошибки индексатор поисковой системы рамблер исправляет, но не все. Слова с такими опечатками теряют свою информативность.

Для поисковой системы рамблер не используйте дефисы '-' как символы переноса. Слова будут разбиваться и терять информативность; кроме того, такие переносы имеют все шансы оказаться у пользователя в середине строки.

Часто изменяющиеся документы рекомендуется исключить из списка индексируемых, т. к. актуальность этих документов для рамблера быстро теряется. Осуществить это можно с помощью стандартного для HTTP механизма - посредством файла robots.txt в головной директории Вашего сайта или HTML-тега <meta name="robots" ...>.

Части документа, не требующие, по Вашему мнению, индексации, можно отделять в документе с помощью тегов <noindex> ... </noindex>. Из частей документа, размеченных этими тегами, также не будут выделены ссылки для дальнейшего обхода.

При задании перекрестных ссылок в документе будьте внимательны, проверяйте работоспособность каждой ссылки, иначе роботы поисковой системы рамблера не смогут добраться до Ваших документов.

Следует также иметь в виду, что с точки зрения HTML записи типа:

<a href="directory" ...> и <a href="directory/" ...> ("слэш" в конце href) являются разными ссылками. Обычно при запросе по первой ссылке робот рамблера получит редирект на вторую, а значит извлечет сам документ при обращении к Вашему серверу только на следующем проходе. Тем самым Вы замедляете индексацию Вашего сайта.

Апорт — поисковая система, которой уже нет

Здравствуйте, уважаемые читатели блога KtoNaNovenkogo.ru. Опять я все проворонил, так же как и приходоблачной технологии в лице Яндекс Диска (о нем шла речь в предыдущей статье). Оказывается, что в прошлом году умер старейший поисковик рунета Aport, и уподобившись Рамблеру стал использовать у себя поисковый движок Яндекса. Но это еще полбеды, ибо в этом году, даже такой куцый вариант поисковой системы Апорт перестал существовать — доменное имя Aport.ru (что такое домены) было продано за довольно смешные деньги и теперь там живет ГС барахолка. Поисковая система пока еще доступна наподдомене, но не понятно как долго это будет продолжаться.

Для кого-то это рядовое событие, но ведь Aport был пионером в рунете и имел все шансы занять место Яндекса на небосклоне. Не сложилось, как и у Рамблера, но вот такой печальный финал выглядит для меня несколько неожиданным. Думаю, что многие начинали свой путь в большом интернете, используя в числе прочих поисковиков и Апорт, поэтому я и решил написать небольшой реквием по этому случаю.