Как появились первые поисковые системы интернета

В настоящее время трудно представить свою жизнь без поисковых систем. Абсолютно каждый пользователь сети интернет ежедневно ищет информацию в таких поисковиках, как Яндекс и Google. Причем поисковые системы сейчас стали настолько "умны", что могут понять запрос буквально с полуслова. Но так было не всегда. В конце восьмидесятых годов, когда интернет еще не был развит столь повсеместно, как таковых поисковиков не было в принципе. Пользователи сохраняли ссылки на полезные сайты в "закладках" или просто собирали их в отдельные текстовые файлы. История возникновения первых поисковых систем началась в девяностые годы и прошла огромный путь. Рассмотрим подробнее этапы зарождения и развития поисковых систем интернета.

1990. Archie.

Первой в мире поисковой системой считается появившийся в 1990 году Archie - компьютерная программа, осуществлявшая поиск файлов на анонимных FTP-серверах по протоколу FTP. Archie была разработана студентами Монреальского университета Макгилла Аланом Эмтейджем, Питером Дойчем и Биллом Хилланом. Программа была довольно примитивной - она просто скачивала списки файлов со всех доступных FTP-серверов и строила базу данных с возможностью поиска по названиям файлов. При этом индексировать содержимое файлов Archie не умела. Но в тот период это и не требовалось, так как объем информации был достаточно мал, и поиск можно было осуществлять вручную.

1991. Veronica. Jughead

В 1991 году студент Миннесотского университета Марк Маккэхилл создал новый сетевой протокол Gopher. Структура протокола была очень схожа со структурой каталогов в файловой системе (вложенные друг в друга каталоги и файлы). Это позволяло пользователям быстро искать необходимую информацию.

На базе Gopher были созданы две новые поисковые системы - Veronica и Jughead. Как и Archie, они искали имена файлов и заголовки, хранящиеся в индексных системах Gopher. Veronica предлагала поиск по ключевым словам практически всех заголовков в списках Gopher. Jughead же выполнял поиск информации по одному серверу за раз.

Протокол Gopher активно использовался университетами и правительственными учреждениями США, вплоть до конца 90-х годов. Впоследствии был практически полностью вытеснен протоколом HTTP.

1993. W3catalog.

В 1993 году разработчиком из Женевского университета Оскаром Нирштрассом была представлена поисковая система W3catalog. Она представляла собой ряд сценариев на Perl, которые копировали веб-страницы и форматировали их в стандартный формат. При этом W3catalog использовал только составленные вручную списки веб-ресурсов.

1993. Wandex.

В 1993 году разработчик из Массачусетского института Мэтью Грэй создает Wandex - первую в мире поисковую систему, способную индексировать сайты и выдавать результаты поиска по запросу. Однако, алгоритмы Wandex были еще очень далеки от совершенства. Сканировались только заголовки сайтов, а не все содержимое. При запросе выдавались не релевантные ссылки, а все подряд, без какого-либо анализа и ранжирования.

1993. Aliweb.

В том же 1993 году появилась поисковая система Aliweb. Поиск с помощью Aliweb также осуществлялся по ресурсам Всемирной сети. Однако владельцы сайтов должны были сами добавлять их в индекс Aliweb, чтобы эти сайты появлялись в поиске. Для многих это было очень неудобно, поэтому данная поисковая система так и не получила дальнейшее распространение.

1994. Excite.

В 1994 году студентами Стэнфордского университета была представлена поисковая система Excite. Программа использовала статистический анализ слов в тексте для упрощения поиска в интернете. В дальнейшем Excite стал включать в себя не только поисковую систему, но также и веб-почту, обмен мгновенными сообщениями, информационные ресурсы. В 1997 году Excite был отмечен как второй по популярности сайт в интернете.

1994. WebCrawler.

21 апреля 1994 года студентом Вашингтонского университета Брайаном Пинкертоном была запущена WebCrawler - первая в мире полнотекстовая поисковая система. Она осуществляла поиск по всему содержимому веб-страниц, а не только по их заголовкам. С тех пор это стало стандартом для большинства поисковых систем. Кроме того, WebCrawler стал первым поисковиком, получившим широкое распространение. Примечательно, что данная поисковая система работает до сих пор.

1994. Yahoo.

В 1994 году аспирантами Стэнфордского университета Дэвидом Фило и Джерри Янгом был создан сайт "Путеводитель Джерри по Всемирной паутине". Данный сайт представлял собой каталог других веб-сайтов. Изначально "Путеводитель" был предназначен для студентов университета. Но уже к осени 1994 года сайт насчитывал более 2 тысяч ссылок, а его аудитория расширилась далеко за пределы университета. Фило и Янг продолжают активно работать над своим проектом, выбирают для него краткое запоминающееся название Yahoo! И уже к концу 1994 года Yahoo! становится домашней страницей веб-браузера Netscape. Постепенно Yahoo! превращается из обычного каталога в информационный портал, на котором доступны новости, афиша, погода, котировки и др.

На сегодняшний день Yahoo! входит в ТОП5 поисковых систем во всем мире, преимущественно в США.

1995. Altavista.

В 1995 году была запущена поисковая система Altavista. На момент своего появления Altavista была самой быстрой из всех поисковых систем - она работала на мощнейшем на то время сервере DEC Alpha. Кроме того, она принимала запросы на так называемом "естественном языке". Достаточно было ввести в поисковую строку любую фразу или вопрос, чтобы получить ответ. Еще одним преимуществом Altavista стало обеспечение поддержки множества языков, в том числе китайского и японского. А в 1996 году Altavista запустила морфологическое расширение для русского языка.

1996. Апорт.

В феврале 1996 года была представлена поисковая система Апорт. На тот момент Апорт осуществлял поиск только по сайту russia.agama.com. По всему интернету поисковик начал искать лишь с конца 1997 года. Вплоть до середины 2000-х годов Апорт был одним из лидеров поиска в Рунете. На пике популярности система обладала довольно расширенными возможностями - на главной странице присутствовал новостной блок, погода, телепрограмма, курс валют. Также Апорт давал возможность поиска организаций по заданному адресу. Стоит отметить тот факт, что Апорт стал первым поисковиком Рунета, кто применил технологию ранжирования Page Rank - базовую технологию Google.

Апорт как поисковая система просуществовала до 2012 года. После она была перепрофилирована в прайс-агрегатор.

1996. Rambler.

8 октября 1996 года на свет появляется еще одна поисковая система - Rambler. Ядро Rambler было написано российским программистом Дмитрием Крюковым всего за 4 месяца. Он же стал автором названия и логотипа поисковой системы. К моменту своего появления Rambler проиндексировал порядка 100 тысяч документов. Это стало отличным показателем, ведь число веб-сайтов Рунета на тот период составляло не более 50-ти.

Буквально за год Rambler становится лидером среди российских поисковых систем, оставляя позади себя первопроходцев поиска Рунета - Altavista и Апорт.

В 1997 году появился счетчик Rambler Top100 - первый рейтинг-классификатор Рунета. Счетчик позволял определять посещаемость веб-сайтов и популярность среди пользователей интернета, а также оценивать возможный трафик для рекламодателей.

В 1999 году Rambler получил награду как лучший российский сайт (по версии Международного Компьютерного Клуба).

Начиная с 2001 года Rambler начал сдавать свои позиции, уступив место лидера Яндексу. А в 2011 году Rambler полностью отказывается от собственной поисковой машины и устанавливает на своем портале поиск от Яндекс. На сегодняшний день Rambler является медийно-сервисным интернет-порталом, включающим в себя новостной агрегатор, почтовую службу, биржевые сводки и другие информационно-развлекательные сервисы.

1997. Yandex.

23 сентября 1997 года российские программисты и предприниматели Аркадий Волож и Илья Сегалович представили на выставке Softool новую поисковую систему Yandex.Ru. Стоит отметить тот факт, что первая рабочая версия поискового приложения под названием "Яndex" появилась еще в 1993 году. На тот момент приложение представляло собой инструмент для поиска информации в рамках одного сайта.

Несмотря на то, что Яндекс не был первой поисковой системой Рунета, он стал быстро набирать аудиторию. К середине 1999 года Яндекс уже входил в ТОП7 популярнейших сайтов Рунета. В 2001 году Яндекс становится лидером среди русскоязычных сайтов, обогнав Rambler. Успех был обусловлен запуском обновления поисковой системы: улучшение поиска ссылок, введение "взвешенного индекса цитирования", повышение точности и скорости поиска информации. В этом же году появляется система контекстной рекламы Яндекс.Директ, впоследствии ставшая основным источником доходов компании.

На сегодняшний день Яндекс является крупнейшим поисковым сервисом Рунета и входит в ТОП10 популярнейших поисковиков мира.

1997. Google.

В 1997 году в западных странах наступает переломный момент в развитии поисковых систем - двое студентов Стэнфордского университета Сергей Брин и Ларри Пейдж основывают Google. На самом деле разработка проекта велась еще с 1996 года. Брин и Пейдж считали, что поисковые системы должны ранжировать и анализировать сайты в зависимости от того, сколько раз слова, используемые в поисковых запросах, появлялись на веб-страницах. Так был разработан алгоритм анализа ссылок Page Rank. Именно эта технология легла в основу поисковой системы Google. Проект был назван BackRub, а впоследствии переименован в Google.

Page Rank оказался отличным способом выявления полезных веб-ресурсов, и пользователи интернета довольно быстро поняли, что поиск в Google более эффективен, чем поиск с помощью других поисковых систем. Аудитория Google росла стремительными темпами. Уже к 2002 году Google занял место лидера среди поисковых систем по всему миру. На сегодняшний день Google является самым посещаемым сайтом в мире. Ежедневно он обрабатывает более 7 млрд. запросов в день, и это количество продолжает неуклонно расти.

1998. MSN Search. Bing.

Осенью 1998 года международная корпорация Microsoft представила поисковую систему MSN Search, которая использовала базу данных проиндексированных страниц от Inktomi. Система включала в себя поисковую машину, индекс и веб-сканер.

8 марта 2006 года была представлена демо-версия сервиса Windows Live Search. В сентябре 2006 года Windows Live Search полностью сменил уже устаревшую на тот момент поисковую систему MSN Search. Новый поисковый механизм позволял пользователям интернета искать информацию среди данных конкретного типа: по веб-страницам, новостям, музыке, изображениям.

3 июня 2009 года Live Search был официально заменен на Bing. Bing является поисковой системой по умолчанию в браузере Microsoft Edge. На сегодняшний день Bing занимает вторую строчку в списке мировых поисковых систем.

1998. Mail.

В 1998 году группа российских программистов, вдохновившись примером компании Yahoo!, выложила на тестовый сайт свое программное обеспечение по поддержке почтового сервиса. Поток пользователей, желающих получить красивый электронный адрес с окончанием @mail.ru, стремительно рос. Так появился информационно-развлекательный интернет-портал Mail.ru. Функция поиска там тоже присутствовала. Но стоит отметить, что долгое время поиск на Mail осуществлялся сторонними движками: в 2004-2006 и 2010-2013 годы использовался поиск Google, в 2007-2009 годы - поиск Яндекс. Лишь с июля 2013 года Mail.ru стала использовать собственные поисковые технологии. На настоящее время Mail.поиск входит в десятку самых популярных поисковых систем Рунета.

2000. Baidu.

В 2000 году два предпринимателя из Китая Робин Ли и Эрик Сю основали поисковую систему Baidu. На сегодняшний день Baidu является лидером среди поисковых систем Китая. Количество запросов, ежедневно обрабатываемых данным поисковиком, превышает 6 млрд, что неудивительно для самой густонаселенной страны мира. Примечательно, что в Китае Google используют лишь 4 процента пользователей интернета.

Популярность за пределами Китая поисковая система Baidu так и не получила. Связано это с несколькими факторами: Baidu индексирует лишь сайты на китайском и английском языках; предпочтение в ранжировании отдается сайтам, расположенным на китайских или гонконгских серверах; результаты поиска сильно цензурируются.

2008. DuckDuckGo.

25 сентября 2008 года предпринимателем Гэбриелом Вайнбергом была представлена поисковая система DuckDuckGo. Ее ключевой особенностью является конфиденциальность пользовательской информации. Система не хранит IP-адреса, не ведет логи и использует cookie только по мере необходимости.

За 30 лет своего развития и совершенствования поисковые системы прошли огромнейший путь. На сегодняшний день в мире существует более 20 действующих поисковых систем. Каждая из них обладает определенными достоинствами и недостатками. Нет однозначного ответа на вопрос "какой поисковик лучше". Одному пользователю удобнее искать в Google, другой предпочтет использовать Bing. В заключение хотим отметить, что поисковые алгоритмы постоянно совершенствуются, что делает поиск информации в интернете еще более быстрым и эффективным.

Мадина А.