Главная→Игры и программы→Каждая поисковая система содержит. Как работают поисковые системы

Каждая поисковая система содержит. Как работают поисковые системы

21.11.2017

Какой бы вопрос не волновал современного человека, ответы он не ищет в книгах. Он ищет их в интернете. Причем не нужно знать адрес сайта, на котором лежит нужная тебе информация. Таких сайтов миллионы, а помогает найти нужный поисковая система.

На просторах нашего отечественного интернета самые популярные две поисковые системы – Google и Яндекс.

Вы хотя бы раз задумывались, как работает поисковая система? Как она понимает, какой сайт показать, на каком из миллионов ресурсов точно есть ответ на ваш запрос?

Что представляет собой поисковая система?

Поисковая система – это огромная база веб-документов, которая постоянно пополняется и расширяется. У каждой поисковой системы есть поисковые пауки, роботы – это специальные боты, которые обходят сайты, индексируют размещенный на них контент, а затем ранжируют по степени его качества и релевантности поисковым запросам пользователей.

Поисковые системы работают для того, чтобы любой человек мог найти любую информацию. Потому они стараются показывать в первую очередь те веб-документы, в которых есть максимально подробный ответ на вопрос человека.

По своей сути поисковая система – это каталог сайтов, справочник, основная функция которого – поиск информации по этому самому каталогу.

Как я уже написал выше, у нас популярные две системы – Google (мировая) и Яндекс (русскоязычный сегмент). Но есть еще такие системы, как Rambler, Yahoo, Bing, Mail.Ru и другие. Принцип работы похож у них у всех, отличаются только алгоритмы ранжирования (и то не сильно существенно).

Как работает поисковая система в Интернете

Принцип работы поисковых систем очень сложный, но я попробую объяснить простыми словами.

Поисковый робот (паук) обходит страницы сайта, скачивает их содержимое и извлекает ссылки. Далее начинает свою работу индексатор – это программа, которая анализирует все скачанные пауками материалы, опираясь на собственные алгоритмы работы.

Таким образом, создается база данных поисковой системы, в которой хранятся все обработанные алгоритмом документы.

Работа с поисковым запросом проводится следующим образом:

анализируется введенный пользователем запрос;
результаты анализы передаются специальному модулю ранжирования;
обрабатываются данные всех документов, выбираются самые релевантные введенному запросу;
генерируется сниппет – заголовок, дескрипшн, слова из запроса подсвечиваются полужирным;
результаты поиска представляются пользователю в виде SERP (страницы выдачи).

Принципы работы поисковых машин

Главная задача любой поисковой системы – предоставить пользователю наиболее полезную и точную информацию по его запросу. Потому поисковый робот обходит сайты постоянно. Сразу после вашего запуска, согласно определенному распорядку, паук заходит к вам в гости, обходит ряд страниц, после чего проходит их индексация.

Принцип работы поисковых машин базируется на двух основных этапах:

обход страниц, с помощью которого собираются данные;
присвоение индекса, благодаря которому система сможет быстро проводить поиск по содержимому данной страницы.

Как только страница сайта проиндексирована, она уже появится в результатах поиска по определенному поисковому запросу. Проверить, попала ли новая страница в индекс поисковой системы, можно с помощью инструментов для вебмастеров. Например, в Яндекс.Вебмастере сразу видно, какие страницы проиндексированы и когда, и какие выпали из индекса и по какой причине.

Но вот на какой странице она окажется – зависит от степени индексации и качества ее содержания. Если на вашей странице дается самый точный ответ на запрос – она будет выше всех остальных.

Принципы ранжирования сайтов в поисковых системах

По какому принципу работают поисковые роботы, мы разобрались. Но вот каким образом проходит ранжирование сайтов?

Ранжирование базируется на двух основных «китах» — текстовое содержание страницы и нетекстовые факторы.

Текстовое содержание – это контект страницы. Чем он полнее, чем точнее, чем релевантнее запросу – тем выше будет страница в результатах выдачи. Кроме самого текста, поисковая система обращает внимание на заполнение тегов title (заголовок страницы), description (описание страницы), H1 (заголовок текста).

Нетекстовые факторы – это внутренняя перелинковка и внешние ссылки. Суть в чем: если сайт интересен, полезен, значит, на него ссылаются другие тематические ресурсы. И чем больше таких ссылок – тем авторитетнее ресурс.

Но это – самые основные принципы, очень кратко. Вникнем чуть глубже.

Основные факторы ранжирования сайта

Есть целый ряд факторов, влияющих на ранжирование сайта. Основные из них – это:

1. В нутренние факторы ранжирования сайта

Это текст на сайте и его оформление – подзаголовки, выделение важных моментов в тексте. Использование внутренней перелинковки тоже сюда относится. Также важны визуальные элементы: использование картинок, фотографий, видео, графиков. Немаловажно также качество самого текста, его содержание.

2. Внешние факторы ранжирования сайта , которые определяют его популярность. Это те самые внешние ссылки, которые ведут на ваш сайт с других ресурсов. Определяется не только количество этих сайтов, но их качество (желательно, чтобы сайты были схожей тематики с вашим), а также общее качество ссылочного профиля (насколько быстро появились эти ссылки, естественным путем или с помощью закупки на бирже).

Исходя из всего вышесказанного, можно сделать один вывод: поисковые системы стараются работать так, чтобы показывать пользователю те сайты, которые дают максимально полный ответ на его запрос и уже заслужили определенный авторитет. При этом учитываются самые разные факторы: и содержание сайта, и его настройка, и отношение пользователей к нему. Хороший во всех отношениях сайт непременно займет высокое место на выдаче.

А знаете ли вы, что...

Поисковая машина Yandex была выпущена в конце 1996 года, а сам сайт http://www.yandex.ru открылся в 1997 году, когда Рунет еще находился в фазе развития, сравнимой с младенчеством. Хорошо запоминающееся название поисковой системы изначально являлось сокращением от словосочетания "Языковой Index"

Поисковая оптимизация

Настоящая статья рассматривает различные поисковые алгоритмы, их специфику, особенности работы. Информация этой статьи поможет вам в оптимизации своего сайта в основных поисковых системах: AOL, Google и AskJeeves (часть 1), Yahoo и Alta Vista (часть 2) и MSN (часть 3).

Сейчас уже каждый имеет представление о том, что такое поисковая система. Как только у человека возникает вопрос, появляется необходимость найти адрес какого-либо ресторана или совершить интерактивную покупку, он часто обращается к одной из поисковых сетей в Интернете.

Если вам когда-либо приходилось воспользоваться двумя разными поисковыми системами для осуществления поиска по одному и тому же запросу, вы, наверняка, замечали, что результаты поиска не обязательно одинаковы. Почему же на один и тот же запрос разные поисковые системы выдают разные результаты? С одной стороны, это происходит потому, что процесс индексации в разных поисковых системах различается, и результаты поиска будут зависеть от того, какая информация обнаруживается поисковым "пауком", и какая информация помещена веб-разработчиком в базу данных. С другой стороны, и это, скорее всего, самое важное, для поиска информации в базах данных поисковые системы использует разные алгоритмы. Алгоритм представляет собой определенные правила и установленную последовательность действий, которая используется поисковой системой с целью определения релевантности информации в базе данных запросу пользователя.

Поисковый алгоритм

Поисковый алгоритм - это математическая формула, в которой запрос пользователя берется за неизвестное, и обычно, рассмотрев несколько решений, полученных с помощью этой формулы, поисковая система выдают одно. Поисковый алгоритм соотносит ключевые слова запроса с информацией в базе данных и находит релевантные результаты. Поисковые роботы анализируют контент веб-страниц и релевантность ключевых слов на этих страницах, опираясь на формулу, которая может различаться в разных поисковых системах.

Какая информация включена в алгоритм?

Многие алгоритмы содержат информацию о запросах пользователей, тех страницах, которые они изучают в последствии, и времени, которое они проводят на странице. Располагая такой информацией, поисковая система может выдать нужные результаты. Для того чтобы результаты были релевантными запросу, необходимо переработать огромное количество информации для каждого отдельного случая. К сожалению, алгоритм рассчитан лишь на небольшое число возможных запросов, что значительно понижает эффективность данного метода.

Другой метод включает в себя анализ ссылок. Считаются, что ссылки существуют между близкими по тематике сайтами, и ссылки с качественных сайтов ведут на такие же качественные сайты. Анализирую принципы, по которым одни веб-страницы ссылаются на другие, поисковая система может определить, о чем сайт, и насколько релевантна страница. Аналогично, некоторые поисковые системы принимают во внимание, внутреннюю навигацию по сайту. Так поисковые роботы определяют, как связаны между собой страницы одного сайта, и насколько удобна для пользователя навигация. Если "паук" попадает в тупик, на страницу, с которой трудно перейти в другой раздел, такая страница "наказывается".

Обычные базы данных состоят из сгруппированных веб-разработчиком данных. Этот подход уже немного устарел, однако большинство баз данных созданы именно человеком, самая большая из них DMOZ.

Одним из самых основных элементов, которые обязательно анализирует поисковый алгоритм, выступает место расположения ключевых слов на веб-странице и их плотность. Чем чаще ключевое слово появляется на странице, тем релевантнее оно считается.

Из-за увеличения объема спама поисковые системы перестали учитывать мета-теги. А те, которые все еще уделяют внимание этому фактору, в основном рассматривают теги и <description> . Конечно, существуют и другие факторы , которые поисковая система берет в расчет при поиске информации на запрос пользователя, например, как долго сайт существует в Интернете, содержит ли он ошибки и др. Чем различаются поисковые системы? Принципы алгоритма каждой поисковой системы держатся в строжайшей тайне. Никто точно не знает, на что именно обращает свое внимание поисковая система при индексировании информации, и какую придает важность каждой переменной формулы, так любые выводы строятся на предположениях, размышлениях и догадке. Каждая поисковая система применяет собственные анти-спам методы и фильтры и у каждой свое понимание того, что именно относится к спаму. Многие поисковые системы совершенствуют свои алгоритмы для того, чтобы поддерживать новые технологии фильтрации, другие не меняют алгоритмы, применяя усовершенствованные фильтры. Для того чтобы понять, каково назначение фильтров в поисковой системе, нужно представить, как проходит фильтрация воды: поток воды проходит через специальную установку, сделанную из пористого вещества, которая задерживает нежелательные примеси. Также работает фильтр поисковой системы, он обнаруживает "нежелательные примеси" и исключает их из результатов поиска. Как обеспечить эффективность поисковой оптимизации? Нелегко угодить всем поисковым системам, когда их тысячи. Все же некоторые советы помогут вам рационализировать свои усилия и помогут достичь результативности в главных поисковых системах. Работа над ключевыми словами подразумевает получение следующей информации: <ul><li>как часто ваши ключевые слова запрашиваются пользователями;</li> <li>высока ли их конкурентоспособность;</li> <li>соответствуют ли они контенту сайта.</li> </ul>Выберите 3-5 ключевых фраз для оптимизации страницы , вместо того, чтобы тратить силы на все множество слов. Чем больше фраз выбрано, тем ниже плотность ключевых слов. Закрепите ключевые слова за каждой страницей, вместо того, чтобы подгонять их под весь сайт. Плотность ключевых слов может составлять от 0.7 % (применимо к Google) до 1.7 (применимо к Yahoo). Убедительный, уникальный заголовок для каждой страницы является необходимым элементом поисковой оптимизации. Все главные поисковые системы придают огромное значение качеству заголовка. Уникальный контент , содержащий основные ключевые слова, также необходим. Пишите ради идей, не ради ключевых слов. Ключевые слова должны вытекать из контента, а не наоборот, контент из ключевых слов . Оптимизируйте структуру и дизайн сайта , чтоб избежать наказаний поисковой системы. Удобная навигация, читабельный код, действующие ссылки, правильная разметка облегчит работу поисковой системы по индексированию вашего сайта и повысит потенциал страниц, т.е. способность привлечь пользователя. Высококачественные, релевантные внешние ссылки Так как основные поисковые системы полагаются на внешние ссылки при определении релевантности сайта, просто необходимо позаботиться об их качественности и релевантности. Не пользуйтесь искусственными взаимными ссылками. Ваши ссылки должны вести на релевантные вашей сфере деятельности ресурсы. Основы работы поисковых систем Имея представлениях о том, как работает поисковая система, вы сможете легко определить, каким она хочет видеть ваш сайт, как оценивает релевантность, а какие сайты "наказывает" и за что. Поисковая оптимизация - непрерывный процесс Поисковая оптимизация представляет собой непрерывный процесс. Постоянное обновление контента , ссылок и страниц необходимо для обеспечения длительного успеха. Ключом поисковой оптимизации является уникальное содержание: контент, ключевые слова, ссылки. Не раздувайте из мухи слона Если вы следуете основным принципам поисковой оптимизации, изменения поискового алгоритма не напугают вас. Конечно, могут потребоваться некие преобразования и изменения, но не стоит бить тревогу. Почему важно понимать, каковы требования поисковой системы? Говорят, своих врагов нужно знать в лицо. В данном случае, поисковая система, конечно же, не является вашим врагом, но чем больше вы знаете о том, каковы основные принципы ее работы, как она индексирует сайты и т.п., тем выше ваши шансы на высокий рейтинг в этой самой поисковой системе. Допустим, что вы оптимизируете ресурс только под Google и Yahoo, в этом случае вы теряете две трети возможного трафика, при проведении оптимизации под MSN, вы лишаете себя 85% трафика. Оптимизировать свой ресурс сразу под несколько поисковых систем будет легче, когда вы располагаете информацией об их основных понятиях. Значит ли это, что как только происходит какое-либо изменение в алгоритме поисковой системы, вам необходимо тут же приниматься за совершенствование своего сайта? Нет, это не так. Фактически, то, что необходимо в данной ситуации, это не паниковать. Совершенствуя и преобразовывая свой ресурс, старайтесь действовать в соответствии с теми знаниями о поисковой системе, которые доступны для вас. Попытка разгадать таинственную формулу поискового алгоритма вряд ли приведет к желаемому результату. Скорее всего, вы просто потратите драгоценное время впустую вместо того, чтобы налаживать дружеские отношения с поисковыми системами. Зарекомендовав себя с хорошей стороны, вы сможете не только обеспечить своему ресурсу место на странице результатов поиска, но почувствуете себя увереннее и спокойнее. Основные различия главных поисковых систем "Зная в лицо своего врага", вы сможете разобраться, что именно определяет позиции вашего сайта в той или иной поисковой системе. Алгоритмы поисковых систем совершенствуются непрерывно, некоторые ежедневно. Невозможно предсказать, когда и как случится очередное изменение, но полезно обратить внимание на следующие факторы, которые, безусловно, скажутся на рейтинге сайта: <table cellspacing="0" cellpadding="0" border="1"><tr valign="top" align="center"><td colspan="2" valign="top"> Фактор </td> <td rowspan="2" valign="top"> Внешние ссылки </td> <td rowspan="2" valign="top"> Плотность ключевых слов в контенте </td> <td rowspan="2" valign="top"> Плотность ключевых слов в заголовке </td> <td rowspan="2" valign="top"> Плотность ключевых слов в мета-тегах </td> </tr><tr valign="top"><td colspan="2" valign="top"> Поисковая система </td> </tr><tr valign="top"><td colspan="2" valign="top"> Google </td> <td> Естественные, односторонние ссылки; наказание за быстро приобретаемые ссылки </td> <td> 2.10% </td> <td> 17% </td> <td> не определено </td> </tr><tr valign="top"><td colspan="2" valign="top"> Yahoo </td> <td> </td> <td> 3.40% </td> <td> 19.60% </td> <td> 7.00% </td> </tr><tr valign="top"><td colspan="2" valign="top"> MSN </td> <td> естественные и искусственно приобретенные ссылки, взаимные ссылки; не важно, какова скорость их приобретения </td> <td> 4.90% </td> <td> 18% </td> <td> 7.80% </td> </tr></table> Поиск в AOL AOL претендует на звание первой поисковой системы, использующей "кластерную" технологию. Результаты поиска автоматически разбиваются по релевантным темам и выводятся на страницу результатов параллельно общим результатам поиска. Важно отметить, что в 80% случаев для нахождения нужной информации AOL обращается к базе данных Google. Поэтому оптимизацию под AOL можно смело считать за оптимизацию под Google, т.к. обе системы используют одни и те же принципы для оценивания релевантности ресурсов и выдачи результатов. Основное различие состоит в том, что AOL используется как средство поиска информации в 16% случаев работы с поисковыми системами. Поисковой системой Google используется так называемый Hilltop алгоритм или другими словами "апдейт Остина". Hilltop во многом полагается на "авторитетность" сайта, которая определяется им как значимость сайта и его важность применимо к определенной области деятельности (тематической группе ключевых слов). В этой поисковой системе разработан такой критерий оценки ресурсов, как популярность ссылок. Этот критерий обеспечивает качественность результатов поиска и повышает сопротивляемость поисковой системы автоматически-генерируемым веб-страницам. Популярность ссылок является неотделимым компонентом Google PageRank. WikiPedia.org определяет PageRank как целую систему алгоритмов оценки параметров от численных величин до веб-страниц, проиндексированных поисковой системой. PageRank включает в себя свыше 100 факторов. Трудно сказать, какой вес имеет каждый из этих факторов, однако известно, что обратные ссылки выступают в качестве одного из самых весомых факторов при определении релевантности. К PageRank факторам также относятся такие понятия, как плотность ключевых слов, срок регистрации домена, дизайн, отсутствие ошибок на страницах сайта, удобная навигация, отсутствие спама и многие другие. Можно сказать, что Google является самой загадочной и в настоящей момент наиболее популярной из основных поисковых систем. AskJeeves (Спроси Jeeves) Для работы в AskJeeves нужно просто ввести в строке запроса ключевое слово на английском, затем просто нажать кнопку "Ask" и Jeeves сделает все необходимое. Недавно был осуществлен ребрендинг поисковой системы и ее талисман, дворецкий, вскоре войдет в историю. AskJeeves работает по принципам поисковой системы Teoma. Многие отмечают, что Teoma терпимо относится к "заброшенным" сайтам дольше по времени, чем любая другая поисковая система. Поэтому существует большая вероятность того, что и при применении переадресации (временной - 302 или постоянной - 301), у вашего старого URL большие шансы оставаться в базе данных в течение продолжительного времени. Ранее переиндексирование данных поисковой системой происходило раз в 3-6 месяцев, очень редко случалось такое, что AskJeeves дважды в месяц индексировал один и тот же ресурс. Переиндексация в этой поисковой системе вообще считается случайной и поверхностной, также отмечают, что спонсорские взносы повышают шансы ресурса на более скорую и глубокую индексацию. В любом случае, вы нескоро увидите свой сайт в AskJeeves или Taoma, пока не внесете спонсорский взнос. Иначе вам придется ждать очень долго, что поисковый робот изъявит желание индексировать ваш сайт. AskJeeves - неплохое место для вашей рекламы. Подача объявлений работает здесь так же, как в Google Adwords. Если работа с Adwords приносит вам довольно неплохой качественный трафик, в AskJeeves вас ожидает еще больший успех. Здесь слово "качественный" является ключевым. В AskJeeves очень легко подделать количество кликов. Все потому, что AskJeeves применяет особый метод выведения результатов поиска на страницу результатов. Если в Google проспонсированные результаты располагаются на странице, безусловно, отдельно от общих результатов: либо выделены голубым вверху, либо внизу справа, то в AskJeeves трудно провести грань между проспонсированными и обычными ресурсами. В архитектуру поисковой системы обычно входят: <input class="toctogglecheckbox" id="toctogglecheckbox" role="button" style="display:none" type="checkbox"><h3>Энциклопедичный YouTube </h3> <ul> 1 / 5✪ Урок 3: Как работает поисковая система. Введение в SEO ✪ Поисковая система изнутри ✪ Shodan - черный Google ✪ Поисковая система ЧЕБУРАШКА заменит Google и Яндекс в России ✪ Урок 1 - Как устроена поисковая система <h4>Субтитры</h4> </ul><h2>История </h2> <table class="bordered infobox" style="padding: 5px; font-size: 0.867em;"><tbody><tr><th class="first_header" colspan="«3»">Хронология </th> </tr><tr><th>Год </th> <th>Система </th> <th>Событие </th> </tr><tr><td rowspan="3">1993 </td> <td>W3Catalog ?! </td> <td>Запуск </td> </tr><tr><td>Aliweb </td> <td>Запуск </td> </tr><tr><td>JumpStation </td> <td>Запуск </td> </tr><tr><td rowspan="3">1994 </td> <td>WebCrawler </td> <td>Запуск </td> </tr><tr><td>Infoseek </td> <td>Запуск </td> </tr><tr><td>Lycos </td> <td>Запуск </td> </tr><tr><td rowspan="7">1995 </td> <td>AltaVista </td> <td>Запуск </td> </tr><tr><td>Daum </td> <td>Основание </td> </tr><tr><td>Open Text Web Index </td> <td>Запуск </td> </tr><tr><td>Magellan </td> <td>Запуск </td> </tr><tr><td>Excite </td> <td>Запуск </td> </tr><tr><td>SAPO </td> <td>Запуск </td> </tr><tr><td>Yahoo! </td> <td>Запуск </td> </tr><tr><td rowspan="5">1996 </td> <td>Dogpile </td> <td>Запуск </td> </tr><tr><td>Inktomi </td> <td>Основание </td> </tr><tr><td>Рамблер </td> <td>Основание </td> </tr><tr><td>HotBot </td> <td>Основание </td> </tr><tr><td>Ask Jeeves </td> <td>Основание </td> </tr><tr><td rowspan="2">1997 </td> <td>Northern Light </td> <td>Запуск </td> </tr><tr><td>Яндекс </td> <td>Запуск </td> </tr><tr><td>1998 </td> <td>Google </td> <td>Запуск </td> </tr><tr><td rowspan="5">1999 </td> <td>AlltheWeb </td> <td>Запуск </td> </tr><tr><td>GenieKnows </td> <td>Основание </td> </tr><tr><td>Naver </td> <td>Запуск </td> </tr><tr><td>Teoma </td> <td>Основание </td> </tr><tr><td>Vivisimo </td> <td>Основание </td> </tr><tr><td rowspan="2">2000 </td> <td>Baidu </td> <td>Основание </td> </tr><tr><td>Exalead </td> <td>Основание </td> </tr><tr><td>2003 </td> <td>Info.com </td> <td>Запуск </td> </tr><tr><td rowspan="3">2004 </td> <td>Yahoo! Search </td> <td>Окончательный запуск </td> </tr><tr><td>A9.com </td> <td>Запуск </td> </tr><tr><td>Sogou </td> <td>Запуск </td> </tr><tr><td rowspan="4">2005 </td> <td>MSN Search </td> <td>Окончательный запуск </td> </tr><tr><td>Ask.com </td> <td>Запуск </td> </tr><tr><td>Нигма </td> <td>Запуск </td> </tr><tr><td>GoodSearch </td> <td>Запуск </td> </tr><tr><td>SearchMe </td> <td>Основание </td> </tr><tr><td rowspan="5">2006 </td> <td>wikiseek </td> <td>Основание </td> </tr><tr><td>Quaero </td> <td>Основание </td> </tr><tr><td>Live Search </td> <td>Запуск </td> </tr><tr><td>ChaCha </td> <td>Запуск (бета) </td> </tr><tr><td>Guruji.com </td> <td>Запуск (бета) </td> </tr><tr><td rowspan="4">2007 </td> <td>wikiseek </td> <td>Запуск </td> </tr><tr><td>Sproose </td> <td>Запуск </td> </tr><tr><td>Wikia Search </td> <td>Запуск </td> </tr><tr><td>Blackle.com </td> <td>Запуск </td> </tr><tr><td rowspan="10">2008 </td> <td>DuckDuckGo </td> <td>Запуск </td> </tr><tr><td>Tooby </td> <td>Запуск </td> </tr><tr><td>Picollator </td> <td>Запуск </td> </tr><tr><td>Viewzi </td> <td>Запуск </td> </tr><tr><td>Cuil </td> <td>Запуск </td> </tr><tr><td>Boogami </td> <td>Запуск </td> </tr><tr><td>LeapFish </td> <td>Запуск (бета) </td> </tr><tr><td>Forestle </td> <td>Запуск </td> </tr><tr><td>VADLO </td> <td>Запуск </td> </tr><tr><td>Powerset </td> <td>Запуск </td> </tr><tr><td rowspan="5">2009 </td> <td>Bing </td> <td>Запуск </td> </tr><tr><td>KAZ.KZ </td> <td>Запуск </td> </tr><tr><td>Yebol </td> <td>Запуск (бета) </td> </tr><tr><td>Mugurdy </td> <td>Закрытие </td> </tr><tr><td>Scout </td> <td>Запуск </td> </tr><tr><td rowspan="3">2010 </td> <td>Cuil </td> <td>Закрытие </td> </tr><tr><td>Blekko </td> <td>Запуск (бета) </td> </tr><tr><td>Viewzi </td> <td>Закрытие </td> </tr><tr><td rowspan="1">2012 </td> <td>WAZZUB </td> <td>Запуск </td> </tr><tr><td rowspan="1">2014 </td> <td>Спутник </td> <td>Запуск (бета) </td> </tr></tbody></table>На раннем этапе развития сети Интернет Тим Бернерс-Ли поддерживал список веб-серверов, размещённый на сайте ЦЕРН . Сайтов становилось всё больше, и поддерживать вручную такой список становилось всё сложнее. На сайте NCSA был специальный раздел «Что нового!» (англ. What"s New! ) , где публиковали ссылки на новые сайты.Первой компьютерной программой для поиска в Интернете была программа Арчи (англ. archie - архив без буквы «в»). Она была создана в 1990 году Аланом Эмтэджем (Alan Emtage), Биллом Хиланом (Bill Heelan) и Дж. Питером Дойчем (J. Peter Deutsch), студентами, изучающими информатику в университете Макгилла в Монреале . Программа скачивала списки всех файлов со всех доступных анонимных FTP -серверов и строила базу данных, в которой можно было выполнять поиск по именам файлов. Однако, программа Арчи не индексировала содержимое этих файлов, так как объём данных был настолько мал, что всё можно было легко найти вручную.Развитие и распространение сетевого протокола Gopher , придуманного в 1991 году Марком Маккэхилом (Mark McCahill) в университете Миннесоты , привело к созданию двух новых поисковых программ, Veronica и Jughead . Как и Арчи, они искали имена файлов и заголовки, сохранённые в индексных системах Gopher. Veronica (англ. Very Easy Rodent-Oriented Net-wide Index to Computerized Archives ) позволяла выполнять поиск по ключевым словам большинства заголовков меню Gopher во всех списках Gopher. Программа Jughead (англ. Jonzy"s Universal Gopher Hierarchy Excavation And Display ) извлекала информацию о меню от определённых Gopher-серверов. Хотя название поисковика Арчи не имело отношения к циклу комиксов «Арчи» , тем не менее Veronica и Jughead - персонажи этих комиксов.К лету 1993 года ещё не было ни одной системы для поиска в вебе, хотя вручную поддерживались многочисленные специализированные каталоги. Оскар Нирштрасс (Oscar Nierstrasz) в Женевском университете написал ряд сценариев на Perl , которые периодически копировали эти страницы и переписывали их в стандартный формат. Это стало основой для W3Catalog ?! , первой примитивной поисковой системы сети, запущенной 2 сентября 1993 года .Вероятно, первым поисковым роботом, написанным на языке Perl, был «World Wide Web Wanderer» - бот Мэтью Грэя (Matthew Gray) из в июне 1993 года. Этот робот создавал поисковый индекс «Wandex ». Цель робота Wanderer состояла в том, чтобы измерить размер всемирной паутины и найти все веб-страницы, содержащие слова из запроса. В 1993 году появилась и вторая поисковая система «Aliweb ». Aliweb не использовала поискового робота , но вместо этого ожидала уведомлений от администраторов веб-сайтов о наличии на их сайтах индексного файла в определённом формате.JumpStation , созданный в декабре 1993 года Джонатаном Флетчером, искал веб-страницы и строил их индексы с помощью поискового робота, и использовал веб-форму в качестве интерфейса для формулирования поисковых запросов. Это был первый инструмент поиска в Интернете, который сочетал три важнейших функции поисковой системы (проверка, индексация и собственно поиск). Из-за ограниченности ресурсов компьютеров того времени индексация и, следовательно, поиск были ограничены только названиями и заголовками веб-страниц, найденных поисковым роботом.Поисковые системы участвовали в «Пузыре доткомов» конца 1990-х . Несколько компаний эффектно вышли на рынок, получив рекордную прибыль во время их первичного публичного предложения . Некоторые отказались от рынка общедоступных поисковых движков и стали работать только с корпоративным сектором, например, Northern Light .Google взял на вооружение идею продажи ключевых слов в 1998 году, тогда это была маленькая компания, обеспечивавшая работу поисковой системы по адресу goto.com . Этот шаг ознаменовал для поисковых систем переход от соревнований друг с другом к одному из самых выгодных коммерческих предприятий в Интернете . Поисковые системы стали продавать первые места в результатах поиска отдельным компаниям.Поисковая система Google занимает видное положение с начала 2000-х . Компания добилась высокого положения благодаря хорошим результатам поиска с помощью алгоритма PageRank . Алгоритм был представлен общественности в статье «The Anatomy of Search Engine», написанной Сергеем Брином и Ларри Пейджем, основателями Google . Этот итеративный алгоритм ранжирует веб-страницы, основываясь на оценке количества гиперссылок на веб-страницу в предположении, что на «хорошие» и «важные» страницы ссылаются больше, чем на другие. Интерфейс Google выдержан в спартанском стиле, где нет ничего лишнего, в отличие от многих своих конкурентов, которые встраивали поисковую систему в веб-портал. Поисковая система Google стала настолько популярной, что появились подражающие ей системы, например, Mystery Seeker (тайный поисковик). <h3>Поиск информации на русском языке </h3> В 1996 году был реализован поиск с учётом русской морфологии на поисковой машине Altavista и запущены оригинальные российские поисковые машины Рамблер и Апорт . 23 сентября 1997 года была открыта поисковая машина Яндекс . 22 мая 2014 года компанией Ростелеком была открыта национальная поисковая машина Спутник , которая на момент 2015 года находится в стадии бета-тестировании. 22 апреля 2015 года был открыт новый сервис Спутник. Дети специально для детей с повышенной безопасностью.Большую популярность получили методы кластерного анализа и поиска по метаданным . Из международных машин такого плана наибольшую известность получила «Clusty» компании Vivisimo . В 2005 году в России при поддержке МГУ запущен поисковик «Нигма », поддерживающий автоматическую кластеризацию . В 2006 году открылась российская метамашина Quintura , предлагающая визуальную кластеризацию в виде облака тегов . «Нигма» тоже экспериментировала с визуальной кластеризацией. <h2>Как работает поисковая система </h2> Основные составляющие поисковой системы: поисковый робот , индексатор , поисковик .Как правило, системы работают поэтапно. Сначала поисковый робот получает контент, затем индексатор генерирует доступный для поиска индекс, и наконец, поисковик обеспечивает функциональность для поиска индексируемых данных. Чтобы обновить поисковую систему, этот цикл индексации выполняется повторно .Поисковые системы работают, храня информацию о многих веб-страницах, которые они получают из HTML страниц. Поисковый робот или «краулер» (англ. Crawler ) - программа, которая автоматически проходит по всем ссылкам, найденным на странице, и выделяет их. Краулер, основываясь на ссылках или исходя из заранее заданного списка адресов, осуществляет поиск новых документов, ещё не известных поисковой системе. Владелец сайта может исключить определённые страницы при помощи robots.txt , используя который можно запретить индексацию файлов, страниц или каталогов сайта.Поисковая система анализирует содержание каждой страницы для дальнейшего индексирования. Слова могут быть извлечены из заголовков, текста страницы или специальных полей - метатегов . Индексатор - это модуль, который анализирует страницу, предварительно разбив её на части, применяя собственные лексические и морфологические алгоритмы. Все элементы веб-страницы вычленяются и анализируются отдельно. Данные о веб-страницах хранятся в индексной базе данных для использования в последующих запросах. Индекс позволяет быстро находить информацию по запросу пользователя . Ряд поисковых систем, подобных Google, хранят исходную страницу целиком или её часть, так называемый кэш , а также различную информацию о веб-странице. Другие системы, подобные системе AltaVista, хранят каждое слово каждой найденной страницы. Использование кэша помогает ускорить извлечение информации с уже посещённых страниц . Кэшированные страницы всегда содержат тот текст, который пользователь задал в поисковом запросе. Это может быть полезно в том случае, когда веб-страница обновилась, то есть уже не содержит текст запроса пользователя, а страница в кэше ещё старая. Эта ситуация связана с потерей ссылок (англ. linkrot ) и дружественным по отношению к пользователю (юзабилити) подходом Google. Это предполагает выдачу из кэша коротких фрагментов текста, содержащих текст запроса. Действует принцип наименьшего удивления , пользователь обычно ожидает увидеть искомые слова в текстах полученных страниц (User expectations ). Кроме того, что использование кэшированных страниц ускоряет поиск, страницы в кэше могут содержать такую информацию, которая уже нигде более не доступна.Поисковик работает с выходными файлами, полученными от индексатора. Поисковик принимает пользовательские запросы, обрабатывает их при помощи индекса и возвращает результаты поиска .Когда пользователь вводит запрос в поисковую систему (обычно при помощи ключевых слов), система проверяет свой индекс и выдаёт список наиболее подходящих веб-страниц (отсортированный по какому-либо критерию), обычно с краткой аннотацией, содержащей заголовок документа и иногда части текста. Поисковый индекс строится по специальной методике на основе информации, извлечённой из веб-страниц . С 2007 года поисковик Google позволяет искать с учётом времени, создания искомых документов (вызов меню «Инструменты поиска» и указание временного диапазона). Большинство поисковых систем поддерживает использование в запросах булевых операторов И, ИЛИ, НЕ, что позволяет уточнить или расширить список искомых ключевых слов. При этом система будет искать слова или фразы точно так, как было введено. В некоторых поисковых системах есть возможность приближённого поиска , в этом случае пользователи расширяют область поиска, указывая расстояние до ключевых слов . Есть также концептуальный поиск , при котором используется статистический анализ употребления искомых слов и фраз в текстах веб-страниц. Эти системы позволяют составлять запросы на естественном языке. Примером такой поисковой системы является сайт ask com .Полезность поисковой системы зависит от релевантности найденных ею страниц. Хоть миллионы веб-страниц и могут включать некое слово или фразу, но одни из них могут быть более релевантны, популярны или авторитетны, чем другие. Большинство поисковых систем использует методы ранжирования, чтобы вывести в начало списка «лучшие» результаты. Поисковые системы решают, какие страницы более релевантны, и в каком порядке должны быть показаны результаты, по-разному . Методы поиска, как и сам Интернет со временем меняются. Так появились два основных типа поисковых систем: системы предопределённых и иерархически упорядоченных ключевых слов и системы, в которых генерируется инвертированный индекс на основе анализа текста.Большинство поисковых систем являются коммерческими предприятиями, которые получают прибыль за счёт рекламы , в некоторых поисковиках можно купить за отдельную плату первые места в выдаче для заданных ключевых слов. Те поисковые системы, которые не берут денег за порядок выдачи результатов, зарабатывают на контекстной рекламе, при этом рекламные сообщения соответствуют запросу пользователя. Такая реклама выводится на странице со списком результатов поиска, и поисковики зарабатывают при каждом клике пользователя на рекламные сообщения. <h2>Типы поисковых систем </h2> Существует четыре типа поисковых систем: с поисковыми роботами, управляемые человеком, гибридные и мета-системы . <ul><li>системы, использующие поисковых роботов </li> </ul> Состоят из трёх частей: краулер («бот», «робот» или «паук»), индекс и программное обеспечение поисковой системы. Краулер нужен для обхода сети и создания списков веб-страниц. Индекс - большой архив копий веб-страниц. Цель программного обеспечения - оценивать результаты поиска. Благодаря тому, что поисковый робот в этом механизме постоянно исследует сеть, информация в большей степени актуальна. Большинство современных поисковых систем являются системами данного типа. <ul><li>системы, управляемые человеком (каталоги ресурсов) </li> </ul> Эти поисковые системы получают списки веб-страниц. Каталог содержит адрес, заголовок и краткое описание сайта. Каталог ресурсов ищет результаты только из описаний страницы, представленных ему веб-мастерами. Достоинство каталогов в том, что все ресурсы проверяются вручную, следовательно, и качество контента будет лучше по сравнению с результатами, полученными системой первого типа автоматически. Но есть и недостаток - обновление данных каталогов выполняется вручную и может существенно отставать от реального положения дел. Ранжирование страниц не может мгновенно меняться. В качестве примеров таких систем можно привести каталог Yahoo , dmoz и Galaxy. <ul><li>гибридные системы </li> </ul> Такие поисковые системы, как Yahoo , Google , MSN , сочетают в себе функции систем, использующие поисковых роботов, и систем, управляемых человеком. <ul><li>мета-системы </li> </ul> Метапоисковые системы объединяют и ранжируют результаты сразу нескольких поисковиков. Эти поисковые системы были полезны, когда у каждой поисковой системы был уникальный индекс, и поисковые системы были менее «умными». Поскольку сейчас поиск намного улучшился, потребность в них уменьшилась. Примеры: MetaCrawler и MSN Search. <h2>Рынок поисковых систем </h2> Google - самая популярная поисковая система в мире с долей на рынке 68,69 %. Bing занимает вторую позицию, его доля 12,26 % .Самые популярные поисковые системы в мире : <table class="wikitable sortable"><tbody><tr class="odd"><th>Поисковая система </th> <th class="c">Доля рынка в июле 2014 </th> <th>Доля рынка в октябре 2014 </th> <th class="c">Доля рынка в сентябре 2015 </th> </tr><tr><td>Google </td> <td class="e" style="text-align:right;">68,69 % </td> <td style="text-align:right;">58,01 % </td> <td class="e" style="text-align:right;">69,24% </td> </tr><tr class="odd"><td>Baidu </td> <td class="c" style="text-align:right;">17,17 % </td> <td style="text-align:right;">29,06 % </td> <td class="c" style="text-align:right;">6,48% </td> </tr><tr><td>Bing </td> <td class="e" style="text-align:right;">6,22 % </td> <td style="text-align:right;">8,01 % </td> <td class="e" style="text-align:right;">12,26% </td> </tr><tr class="odd"><td>Yahoo! </td> <td class="c" style="text-align:right;">6,74 % </td> <td style="text-align:right;">4,01 % </td> <td class="c" style="text-align:right;">9,19% </td> </tr><tr><td>AOL </td> <td class="e" style="text-align:right;">0,13 % </td> <td style="text-align:right;">0,21 % </td> <td class="e" style="text-align:right;">1,11% </td> </tr><tr class="odd"><td>Excite </td> <td class="c" style="text-align:right;">0,22 % </td> <td style="text-align:right;">0,00 % </td> <td class="c" style="text-align:right;">0,00 % </td> </tr><tr><td>Ask </td> <td class="e" style="text-align:right;">0,13 % </td> <td style="text-align:right;">0,10 % </td> <td class="e" style="text-align:right;">0,24% </td> </tr></tbody></table><h3>Азия </h3> В восточноазиатских странах и в России Google - не самая популярная поисковая система. В Китае, например, более популярна поисковая система Soso ?! .В Южной Корее поисковым порталом собственной разработки Naver пользуется около 70 % жителей Yahoo! Japan и Yahoo! Taiwan - самые популярные системы для поиска в Японии и Тайване соответственно . <h3>Россия и русскоязычные поисковые системы </h3> Согласно данным LiveInternet в июне 2015 года об охвате русскоязычных поисковых запросов : <ul><li>Всеязычные: <ul><li>Yahoo! (0,1 %) и принадлежащие этой компании поисковые машины: Inktomi , AltaVista , Alltheweb </li> </ul></li> <li>Англоязычные и международные: <ul><li>AskJeeves (механизм Teoma)</li> </ul></li> <li>Русскоязычные - большинство «русскоязычных» поисковых систем индексируют и ищут тексты на многих языках - украинском , белорусском , английском , татарском и других. Отличаются же они от «всеязычных» систем, индексирующих все документы подряд, тем, что, в основном, индексируют ресурсы, расположенные в доменных зонах , где доминирует русский язык, или другими способами ограничивают своих роботов русскоязычными сайтами. </li> </ul>Некоторые из поисковых систем используют внешние алгоритмы поиска. <h3>Количественные данные поисковой системы Google </h3> Число пользователей Интернета и поисковых систем и требований пользователей к этим системам постоянно растёт. Для увеличений скорости поиска нужной информации крупные поисковые системы содержат большое количество серверов. Сервера обычно группируют в серверные центры (дата-центры). У популярных поисковых систем серверные центры разбросаны по всему миру .В октябре 2012 года Google запустила проект «Где живёт Интернет», где пользователям предоставляется возможность познакомиться с центрами обработки данных этой компании .О работе дата-центров поисковой системе Google известно следующее : <ul><li>Суммарная мощность всех дата-центров Google, по состоянию на 2011 год, оценивалась в 220 МВт.</li> <li>Когда в 2008 году Google планировала открыть в Орегоне новый комплекс, состоящий из трёх зданий общей площадью 6,5 млн м², в журнале Harper’s Magazine подсчитали, что такой большой комплекс потребляет свыше 100 МВт электроэнергии, что сравнимо с потреблением энергии города с населением 300 000 человек.</li> <li>Ориентировочное число серверов Google в 2012 году - 1 000 000.</li> <li>Расходы Google на дата-центры составили в 2006 году - $1,9 млрд, а в 2007 году - $2,4 млрд.</li> </ul>Размер всемирной паутины, проиндексированной Google на декабрь 2014 года, составляет примерно 4,36 миллиарда страниц . <h2>Поисковые системы, учитывающие религиозные запреты </h2> Глобальное распространение Интернета и увеличение популярности электронных устройств в арабском и мусульманском мире, в частности, в странах Ближнего Востока и Индийского субконтинента , способствовало развитию локальных поисковых систем, учитывающих исламские традиции. Такие поисковые системы содержат специальные фильтры, которые помогают пользователям не попадать на запрещённые сайты, например, сайты с порнографией, и позволяют им пользоваться только теми сайтами, содержимое которых не противоречит исламской вере. Незадолго до мусульманского месяца Рамадан , в июле 2013 года, миру был представлен Halalgoogling - система, выдающая пользователям только халяльные «правильные» ссылки , фильтруя результаты поиска, полученные от других поисковых систем, таких как Google и Bing . Двумя годами ранее, в сентябре 2011 года, был запущен поисковый движок I’mHalal, предназначенный для обслуживания пользователей Ближнего Востока. Однако этот поисковый сервис пришлось вскоре закрыть, по сообщению владельца, из-за отсутствия финансирования .Отсутствие инвестиций и медленный темп распространения технологий в мусульманском мире препятствовали прогрессу и мешали успеху серьёзного исламского поисковика. Очевиден провал огромных инвестиций в веб-проекты мусульманского образа жизни, одним из которых был Muxlim . Он получил миллионы долларов от инвесторов, таких как Rite Internet Ventures, и теперь - в соответствии с последним сообщением от I’mHalal перед его закрытием - выступает с сомнительной идеей о том, что «следующий Facebook или Google могут появиться только в странах Ближнего Востока , если вы поддержите нашу блестящую молодёжь» . Тем не менее исламские эксперты в области Интернета в течение многих лет занимаются определением того, что соответствует или не соответствует шариату , и классифицируют веб-сайты как «халяль » или «харам ». Все бывшие и настоящие исламские поисковые системы представляют собой просто специальным образом проиндексированный набор данных либо это главные поисковые системы, такие как Google, Yahoo и Bing, с определённой системой фильтрации, использующейся для того, чтобы пользователи не могли получить доступ к харам-сайтам, таким как сайты о наготе, ЛГБТ , азартных играх и каким-либо другим, тематика которых считается антиисламской .Среди других религиозно-ориентированных поисковых систем распространёнными являются Jewogle - еврейская версия Google и SeekFind.org - христианский сайт, включающий в себя фильтры, оберегающие пользователей от контента, который может подорвать или ослабить их веру . <h2>Персональные результаты и пузыри фильтров </h2> Многие поисковые системы, такие как Google и Bing, используют алгоритмы выборочного угадывания того, какую информацию пользователь хотел бы увидеть, основываясь на его прошлых действиях в системе. В результате, веб-сайты показывают только ту информацию, которая согласуется с прошлыми интересами пользователя. Этот эффект получил название «пузырь фильтров» .Всё это ведёт к тому, что пользователи получают намного меньше противоречащей своей точке зрения информации и становятся интеллектуально изолированными в своём собственном «информационном пузыре». Таким образом, «эффект пузыря» может иметь негативные последствия для формирования гражданского мнения . <h2>Предвзятость поисковых систем </h2> Несмотря на то, что поисковые системы запрограммированы, чтобы оценивать веб-сайты на основе некоторой комбинации их популярности и релевантности, в реальности экспериментальные исследования указывают на то, что различные политические, экономические и социальные факторы оказывают влияние на поисковую выдачу .Такая предвзятость может быть прямым результатом экономических и коммерческих процессов: компании, которые рекламируются в поисковой системе, могут стать более популярными в результатах обычного поиска в ней. Удаление результатов поиска, не соответствующих местным законам, является примером влияния политических процессов. Например, Google не будет отображать некоторые неонацистские веб-сайты во Франции и Германии, где отрицание Холокоста незаконно .Предвзятость может также быть следствием социальных процессов, поскольку алгоритмы поисковых систем часто разрабатываются, чтобы исключить неформатные точки зрения в пользу более «популярных» результатов . Алгоритмы индексации главных поисковых систем отдают приоритет американским сайтам .Поисковая бомба - один из примеров попытки управления результатами поиска по политическим, социальным или коммерческим причинам. <h2>См. также </h2> <ul><li>Qwika</li> <li>Электронная библиотека#Списки библиотек и поисковые системы</li> <li>Панель инструментов веб-разработчика</li> </ul><h2>Примечания </h2> <h2>Литература </h2> <ul><li>Ашманов И. С. , Иванов А. А. Продвижение сайта в поисковых системах. - М. : Вильямс, 2007. - 304 с. - ISBN 978-5-8459-1155-1 . </li> <li>Байков В.Д. Интернет. Поиск информации. Продвижение сайтов. - СПб. : БХВ-Петербург, 2000. - 288 с. - ISBN 5-8206-0095-9 . </li> <li>Колисниченко Д. Н. Поисковые системы и продвижение сайтов в Интернете. - М. : Диалектика, 2007. - 272 с. - ISBN 978-5-8459-1269-5 . </li> </ul><ul><li>Ландэ Д. В. Поиск знаний в Internet. - М. : Диалектика, 2005. - 272 с. - ISBN 5-8459-0764-0 . </li> </ul><ul><li>Ландэ Д. В., Снарский А. А. , Безсуднов И. В. Интернетика: Навигация в сложных сетях: модели и алгоритмы . - M.: Либроком (Editorial URSS), 2009. - 264 с. - ISBN 978-5-397-00497-8 . </li> </ul><ul><li>Chu H., Rosenthal M. </li></ul> Наиболее популярным веб сервисом современности является именно поисковая система. Тут всё объяснимо, ведь те времена, когда представители первых пользователей интернета могли наблюдать новинки в сети уже давным-давно ушли. Информации появляется и скапливается так много, что человеку стало очень трудно найти именно ту, которая ему была бы необходима. Представьте, как бы обстоял бы поиск в интернете, если бы рядовому пользователю пришлось бы искать информацию не пойми где. Именно не пойми где, потому как ручным поиском много информации не найдёшь. <h2>Поисковая система, что это такое?</h2> Хорошо если пользователю уже известны сайты, на которых возможно есть нужная информация, но что делать в противном случае? Для того, чтобы облегчить жизнь человеку в поиске нужной информации в интернете и были придуманы поисковые системы или просто поисковики. Поисковая система выполняет одну очень важную функцию, без которой интернет был бы не таким как мы его привыкли видеть - это поиск информации в сети. Поисковая система - это специальный веб узел или по-другому сайт, который предоставляет пользователям по их запросам гиперссылки на страницы, сайтов, отвечающие на заданный поисковой запрос. Если быть немного точнее, то поиск информации в интернете, осуществляющийся благодаря программно-аппаратному функциональному набору и веб интерфейсу для взаимодействия с пользователями. Для взаимодействия человека с поисковой системой и был создан веб интерфейс, то есть видимая и понятная оболочка. Данный подход разработчиков поисковиков облегчает поиск многим людям. Как правило, именно в интернете осуществляется поиск при помощи поисковых систем, но также существуют системы поиска для FTP-серверов, отдельных видов товаров во всемирной паутине, либо новостной информации или же другие поисковые направления. Поиск может осуществляться не только по текстовому наполнению сайтов, но и по другим типам информации, которые человек может искать: изображения, видео, звуковые файлы и т.д. <h2>Как осуществляется поиск поисковой системой?</h2> Сам поиск в интернете, ровно так же как просмотр веб сайтов возможен при помощи интернет обозревателя - браузера . Только после того, как пользователь задал свой запрос в строке поиска, осуществляется непосредственно и сам поиск. Любая поисковая система содержит программную часть, на которой основан весь поисковой механизм, его называют поисковым движком - это программный комплекс и обеспечивающий возможность поиска информации. После обращению к поисковику, формирования человеком поискового запроса и ввода его в строку поиска, поисковая система генерирует страницу со списком результатов поиска, наиболее релевантные, по мнению поисковика тут располагаются выше. Релевантность поиска - поиск наиболее отвечающих запросу пользователя материалов и расположение на них гиперссылок на странице выдачи с более точными результатами выше других. Само распределениерезультатов называется ранжированием сайтов. Так как же поисковик подготавливает для выдачи свои материалы и как происходит поиск информации самим поисковиком? Сбору информации в сети способствует уникальный для каждой поисковой системы робот или по-другому бот, обладающий так же рядом других синонимов как краулер или паук, а саму работу системы поиска можно разделить на три этапа: К первому этапу работы поисковой системы можно отнести сканирование сайтов в глобальной сети и сбор на свои собственные серверы копий веб страниц. Это образует огромное количество пока ещё не обработанной и не пригодной информации для поисковой выдачи. Второй этап работы поисковика сводится к приведению в порядок полученной ранее, на первом этапе информации от сайтов. Производится такая сортировка, которая за наименьшее время будет благоприятствовать тому самому качественному поиску, которого собственно и ждут пользователи от поисковой системы. Этап называют индексацией, это значит, что страницы уже являются подготовленными к выдаче, а актуальная база будет считаться индексом. Как раз третий этап и обуславливает поисковую выдачу, после приёма запроса от своего клиента, опираясь на ключевые или около ключевые слова, указанные в запросе. Это способствует отбору наиболее соответствующей запросу информации, и последующей её выдачи. Так как информации, очень и очень много, поисковая система выполняет ранжирование в соответствие со своими алгоритмами. Лучшей поисковой системой считается та, которая сможет предоставить наиболее корректно отвечающий на запрос пользователя материал. Но и тут могут встречаться результаты, на которые повлияли люди, заинтересованные в продвижение своего сайта, такие сайты хоть и не всегда, но зачастую появляются в результатах поиска, но не на долго. Хоть мировые лидеры уже во многих регионах определены, поисковые системы продолжаются развивать свой качественный, поиск. Чем качественней поиск они смогут предоставить, тем больше людей будут им пользоваться. <h2>Как пользоваться поисковой системой?</h2> Что такое поисковая система и как она работает уже понятно, но как ей правильно пользоваться? На большинстве сайтов всегда присутствует строка поиска, а рядом с ней находится кнопка Найти или Поиск. В поисковую строку вводится запрос, после чего нужно нажать кнопку поиска или же как это чаще бывает, нажать клавишу Enter на клавиатуре и за считанные секунды вы получаете результат запроса в виде списка. А вот получить правильный ответ на запрос поиска, с первого раза удаётся не всегда. Для того, чтобы поиски желаемого не становились мучительными, необходимо правильно составлять поисковый запрос и следовать нижеописанным рекомендациям. <h3>Составляем поисковый запрос правильно</h3> Далее будут указаны советы по использованию поисковой системы. Следование некоторым хитростям и правилам при осуществлении поиска информации в поисковой системе даст возможность получить нужный результат гораздо быстрее. Следуйте данным рекомендациям: <ol><li>Грамотное написание слов обеспечивает максимальное количество совпадений с искомым информационным объектом (Хоть современный поисковые системы уже научились исправлять орфографические ошибки, но данным советом пренебрегать не стоит).</li> <li>Благодаря использованию синонимов в запросе, можно охватить более широкий поисковой диапазон.</li> <li>Иногда изменение слова в тексте запроса может принести больший результат осуществляйте переформирование запроса.</li> <li>Привносите в запрос конкретность, используйте точные вхождения фраз, которые должны определять главную суть поиска.</li> <li>Экспериментируйте с ключевыми словами. Использование ключевых слов и словосочетаний может помочь определить главную суть, и поисковая машина выдаст более релевантный результат.</li> </ol>Так что такое поисковая система - это ни что иное, как возможность найти интересующую информацию и обычно совершенно бесплатно ей воспользоваться, чему-то научиться, что-то понять или сделать правильный для себя вывод. Многие уже не представляют своей жизни без голосового поиска, при котором текст не приходится набирать, свой запрос нужно всего лишь произнести, а устройством ввода информации тут является микрофон. Всё это свидетельствует о постоянном развитие поисковых технологий в интернете и необходимости в них. Поисковая система - это программно-аппаратный комплекс, предназначенный для осуществления поиска в сети Интернет и реагирующий на запрос пользователя, задаваемый в виде текстовой фразы (поискового запроса), выдачей списка ссылок на источники информации, в порядке релевантности (в соответствии запросу). Наиболее крупные международные поисковые системы: «Google» , «Yahoo» , «MSN» . В русском Интернете это – «Яндекс» , «Рамблер» , «Апорт» .Опишем основные характеристики поисковых систем:<ul>Полнота </ul>Полнота - одна из основных характеристик поисковой системы, представляющая собой отношение количества найденных по запросу документов к общему числу документов в сети Интернет, удовлетворяющих данному запросу. К примеру, если в Интернете имеется 100 страниц, содержащих словосочетание «как выбрать автомобиль», а по соответствующему запросу было найдено всего 60 из них, то полнота поиска будет 0,6. Очевидно, что чем полнее поиск, тем меньше вероятность того, что пользователь не найдет нужный ему документ, при условии, что он вообще существует в Интернете.<ul>Точность </ul>Точность - еще одна основная характеристика поисковой машины, которая определяется степенью соответствия найденных документов запросу пользователя. Например, если по запросу «как выбрать автомобиль» находится 100 документов, в 50 из них содержится словосочетание «как выбрать автомобиль», а в остальных просто наличествуют эти слова («как правильно выбрать магнитолу и установить в автомобиль»), то точность поиска считается равной 50/100 (=0,5). Чем точнее поиск, тем быстрее пользователь найдет нужные ему документы, тем меньше различного рода «мусора» среди них будет встречаться, тем реже найденные документы не будут соответствовать запросу.<ul>Актуальность </ul>Актуальность - не менее важная составляющая поиска, которая характеризуется временем, проходящим с момента публикации документов в сети Интернет, до занесения их в индексную базу поисковой системы. Например, на следующий день после появления интересной новости, большое количество пользователей обратились к поисковым системам с соответствующими запросами. Объективно с момента публикации новостной информации на эту тему прошло меньше суток, однако основные документы уже были проиндексированы и доступны для поиска, благодаря существованию у крупных поисковых систем так называемой «быстрой базы», которая обновляется несколько раз в день.<ul>Скорость поиска </ul>Скорость поиска тесно связана с его устойчивостью к нагрузкам. Например, по данным ООО «Рамблер Интернет Холдинг», на сегодняшний день в рабочие часы к поисковой машине Рамблер приходит около 60 запросов в секунду. Такая загруженность требует сокращения времени обработки отдельного запроса. Здесь интересы пользователя и поисковой системы совпадают: посетитель желает получить результаты как можно быстрее, а поисковая машина должна отрабатывать запрос максимально оперативно, чтобы не тормозить вычисление следующих запросов.<ul>Наглядность </ul>Наглядность представления результатов является важным компонентом удобного поиска. По большинству запросов поисковая машина находит сотни, а то и тысячи документов. Вследствие нечеткости составления запросов или неточности поиска, даже первые страницы выдачи не всегда содержат только нужную информацию. Это означает, что пользователю зачастую приходится производить свой собственный поиск внутри найденного списка. Различные элементы страницы выдачи поисковой системы помогают ориентироваться в результатах поиска.одробные пояснения по странице результатов поиска, например у «Яндекса» можно посмотреть по ссылке http://help.yandex.ru/search/?id=481937 .4. Краткая история развития поисковых систем В начальный период развития Интернет, число его пользователей было невелико, а объем доступной информации сравнительно небольшим. В большинстве своем, доступ к сети Интернет имели лишь сотрудники научно-исследовательской сферы. В это время задача поиска информации в Интернете не была столь актуальной, как в настоящее время.Одним из первых способов организации доступа к информационным ресурсам сети стало создание открытых каталогов сайтов, ссылки на ресурсы в которых группировались согласно тематике. Первым таким проектом стал сайт Yahoo.com, открывшийся весной 1994 года. После того, как количество сайтов в каталоге Yahoo значительно увеличилось, была добавлена возможность поиска нужной информации по каталогу. В полном смысле это еще не было поисковой системой, так как поисковая область была ограничена только ресурсами, присутствующими в каталоге, а не всеми Интернет ресурсами.Каталоги ссылок широко использовались ранее, однако практически полностью утратили свою популярность в настоящее время. Так как даже современные, огромные по своему объему каталоги, содержат информацию лишь о ничтожно малой части сети Интернет. Самый большой каталог сети DMOZ (его еще называют Open Directory Project) содержит информацию о 5 миллионах ресурсов, тогда как база поисковой системы Google состоит из более чем 8 миллиардов документов.Первой полноценной поисковой системой стал проект WebCrawler, вышедший в свет в 1994 году.В 1995 году появились поисковые системы Lycos и AltaVista. Последняя долгие годы была лидером в области поиска информации в сети Интернет.В 1997 году Сергей Брин и Ларри Пейдж создали поисковую машину Google в рамках исследовательского проекта в Стэндфордском университете. В настоящий момент Google - самая популярная поисковая система в мире!В сентябре 1997 года была официально анонсирована поисковая система Yandex, являющаяся самой популярной в русскоязычном Интернете.В настоящее время существуют три основные международные поисковые системы – Google, Yahoo и MSN, имеющих собственные базы и алгоритмы поиска. Большинство остальных поисковых систем (коих насчитывается большое количество) использует в том или ином виде результаты трех перечисленных. Например, поиск AOL (search.aol.com) использует базу Google, а AltaVista, Lycos и AllTheWeb – базу Yahoo.5. Состав и принципы работы поисковой системы В России основной поисковой системой является «Яндекс», далее - Rambler.ru, Google.ru, Aport.ru, Mail.ru. Причем, на данный момент, Mail.ru использует механизм и базу поиска «Яндекса».Практически все крупные поисковые системы имеют свою собственную структуру, отличную от других. Однако можно выделить общие для всех поисковых машин основные компоненты. Различия в структуре могут быть лишь в виде реализации механизмов взаимодействия этих компонентов.Модуль индексирования Модуль индексирования состоит из трех вспомогательных программ (роботов):Spider (паук) – программа, предназначенная для скачивания веб-страниц. «Паук» обеспечивает скачивание страницы и извлекает все внутренние ссылки с этой страницы. Скачивается html-код каждой страницы. Для скачивания страниц роботы используют протоколы HTTP. Работает «паук» следующим образом. Робот на сервер передает запрос “get/path/document” и некоторые другие команды HTTP-запроса. В ответ робот получает текстовый поток, содержащий служебную информацию и непосредственно сам документ.<ul>URL страницыдата, когда страница была скачанаhttp-заголовок ответа сервератело страницы (html-код) </ul>Crawler («путешествующий» паук) – программа, которая автоматически проходит по всем ссылкам, найденным на странице. Выделяет все ссылки, присутствующие на странице. Его задача - определить, куда дальше должен идти паук, основываясь на ссылках или исходя из заранее заданного списка адресов. Crawler, следуя по найденным ссылкам, осуществляет поиск новых документов, еще неизвестных поисковой системе.Indexer (робот- индексатор) - программа, которая анализирует веб-страницы, скаченные пауками. Индексатор разбирает страницу на составные части и анализирует их, применяя собственные лексические и морфологические алгоритмы. Анализу подвергаются различные элементы страницы, такие как текст, заголовки, ссылки структурные и стилевые особенности, специальные служебные html-теги и т.д.Таким образом, модуль индексирования позволяет обходить по ссылкам заданное множество ресурсов, скачивать встречающиеся страницы, извлекать ссылки на новые страницы из получаемых документов и производить полный анализ этих документов.База данных База данных, или индекс поисковой системы - это система хранения данных, информационный массив, в котором хранятся специальным образом преобразованные параметры всех скачанных и обработанных модулем индексирования документов.Поисковый сервер Поисковый сервер является важнейшим элементом всей системы, так как от алгоритмов, которые лежат в основе ее функционирования, напрямую зависит качество и скорость поиска.Поисковый сервер работает следующим образом:<ul>Полученный от пользователя запрос подвергается морфологическому анализу. Генерируется информационное окружение каждого документа, содержащегося в базе (которое и будет впоследствии отображено в виде сниппета, то есть соответствующей запросу текстовой информации на странице выдачи результатов поиска).Полученные данные передаются в качестве входных параметров специальному модулю ранжирования. Происходит обработка данных по всем документам, в результате чего, для каждого документа рассчитывается собственный рейтинг, характеризующий релевантность запроса, введенного пользователем, и различных составляющих этого документа, хранящихся в индексе поисковой системы.В зависимости от выбора пользователя этот рейтинг может быть скорректирован дополнительными условиями (например, так называемый «расширенный поиск»).Далее генерируется сниппет, то есть, для каждого найденного документа из таблицы документов извлекаются заголовок, краткая аннотация, наиболее соответствующая запросу и ссылка на сам документ, причем найденные слова подсвечиваются.Полученные результаты поиска передаются пользователю в виде SERP (Search Engine Result Page) – страницы выдачи поисковых результатов. </ul>Как видно, все эти компоненты тесно связаны друг с другом и работают во взаимодействии, образовывая четкий, достаточно сложный механизм работы поисковой системы, требующий огромных затрат ресурсов.Ни одна поисковая система не охватывает все ресурсы Интернет. Каждая поисковая система собирает сведения о ресурсах Интернет, применяя свои уникальные методы, и формирует собственную периодически обновляемую базу данных. Доступ к этой базе предоставляется пользователю.Поисковые системы реализуют два способа поиска ресурса:<ul>Поиск по тематическим каталогам - информация представляется в виде иерархической структуры. На верхнем уровне - общие категории (“Интернет”, “Бизнес”, “Искусство”, “Образование” и т.д.), на следующем уровне категории делятся на разделы и т.д. Самый нижний уровень - ссылки на конкретные веб-страницы или другие информационные ресурсы.Поиск по ключевым словам (индексный поиск или детальный) - пользователь отправляет поисковой системе запрос , состоящий из ключевых слов. Система возвращает пользователю перечень найденных по запросу ресурсов. </ul>Большинство поисковых систем сочетают оба способа поиска.Поисковые системы могут быть локальными, глобальными, региональными и специализированными.В русской части Интернет (Рунет) наиболее популярны сейчас поисковые системы общего назначения Rambler (www.rambler.ru), Яндекс (www.yandex.ru), Апорт (www.aport.ru), Гугл (www.google.ru).Большинство поисковых систем реализовано в виде порталов. Портал (от англ. portal - главный вход, ворота) -это веб-сайт, который интегрирует различные сервисы Интернет: средства поиска, почту, новости, словари и т.д. Порталы могут быть специализированными (как, www . museum . ru ) и общими (например, www . km . ru ). Поиск по ключевым словам Набор ключевых слов, по которым ведется поиск, называют также критерием поиска или темой поиска.Запрос может состоять как из одного слова, так и из сочетания слов, объединенных операторами - символами, по которым система определяет, какое действие ей нужно произвести. Например: запрос “Москва Питер” содержит оператор И (так воспринимается пробел), который указывает, что надо искать документы, в которых есть оба слова - и Москва, и Питер.Для того, чтобы поиск был релевантным (от англ. relevant -уместный, относящийся к делу), следует учитывать несколько общих правил:<ul>Независимо от того, в какой форме употреблено слово в запросе, поиск учитывает все его словоформы по правилам русского языка. Например, по запросу “билет” будут найдены и слова “билетом”, “билету” и т.д.Заглавные буквы следует использовать только в именах собственных, чтобы не просматривать лишние ссылки. По запросу “кузнецов”, например, будут найдены документы, где говорится и о кузнецах, и о Кузнецовых.Желательно сужать круг поиска, используя несколько ключевых слов.Если нужного адреса нет среди первой двадцатки найденных адресов, следует изменить запрос. </ul>Каждая поисковая система использует свой язык запросов. Для знакомства с ним, пользуйтесь встроенной справкой поисковой системы Крупные сайты могут иметь встроенные системы поиска информации в пределах своих веб-страниц. Запросы в подобных системах поиска, как правило, строятся по тем же правилам, что и в глобальных поисковых системах, однако знакомство со справкой и здесь не будет лишним. Расширенный поиск Поисковые системы могут предоставлять в распоряжение пользователя механизм, позволяющий формировать сложный запрос. Переход по ссылке Расширенный поиск дает возможность редактировать параметры поиска, указывать дополнительные параметры и выбирать наиболее удобную форму показа результатов поиска. Ниже описаны параметры, которые могут быть заданы при расширенном поиске в системах Япс1ех и Rambler.<table width="625" cellpadding="3" cellspacing="0"><tr valign="top"><td width="286" height="15" bgcolor="#ffffff"> Описание параметра </td><td width="145" bgcolor="#ffffff"> Название в Яндекс </td><td width="174" bgcolor="#ffffff"> Название в Rambler </td> </tr><tr><td width="286" height="10" bgcolor="#ffffff"> Где искать ключевые слова (заголовок документа, основной текст и т.д.) </td><td width="145" bgcolor="#ffffff"> Словарный фильтр </td><td width="174" bgcolor="#ffffff"> Поиск по тексту... </td> </tr><tr><td width="286" height="10" bgcolor="#ffffff"> Какие слова должны или не должны присутствовать в документе и насколько точным должно быть совпадение </td><td width="145" bgcolor="#ffffff"> Словарный фильтр </td><td width="174" bgcolor="#ffffff"> Искать слова запроса... Исключить документы, содержащие следующие слова... </td> </tr><tr><td width="286" height="10" bgcolor="#ffffff"> На каком расстоянии друг от друга должны располагаться ключевые слова </td><td width="145" bgcolor="#ffffff"> Словарный фильтр </td><td width="174" bgcolor="#ffffff"> Расстояние между словами запроса... </td> </tr><tr><td width="286" height="10" bgcolor="#ffffff"> Ограничение на дату документа </td><td width="145" bgcolor="#ffffff"> </td><td width="174" bgcolor="#ffffff"> Дата документа... </td> </tr><tr><td width="286" height="10" bgcolor="#ffffff"> Ограничение поиска пределами одного или нескольких сайтов </td><td width="145" bgcolor="#ffffff"> Сайт/Вершина </td><td width="174" bgcolor="#ffffff"> Искать документы только на следующих сайтах... </td> </tr><tr><td width="286" height="10" bgcolor="#ffffff"> </td><td width="145" bgcolor="#ffffff"> </td><td width="174" bgcolor="#ffffff"> </td> </tr><tr><td width="286" height="10" bgcolor="#ffffff"> Ограничение поиска по языку документа </td><td width="145" bgcolor="#ffffff"> </td><td width="174" bgcolor="#ffffff"> Язык документа... </td> </tr><tr><td width="286" height="10" bgcolor="#ffffff"> Поиск документов, содержащих картинку с определенным именем или подписью </td><td width="145" bgcolor="#ffffff"> Изображение </td><td width="174" bgcolor="#ffffff"> </td> </tr><tr><td width="286" height="10" bgcolor="#ffffff"> Поиск страниц, содержащих объекты </td><td width="145" bgcolor="#ffffff"> Специальные объекты </td><td width="174" bgcolor="#ffffff"> </td> </tr><tr><td width="286" height="9" bgcolor="#ffffff"> Форма представления результатов поиска </td><td width="145" bgcolor="#ffffff"> Формат выдачи </td><td width="174" bgcolor="#ffffff"> Вывод результатов поиска </td> </tr></table>Некоторые поисковые системы (например, Яндекс) позволяют вводить запросы на естественном языке. Вы пишите, что нужно найти (например: заказ билетов на поезд из Москвы в Питер). Система анализирует запрос и выдает результат. Если он Вас не устраивает, переходите на язык запросов. <script>document.write("<img style='display:none;' src='//counter.yadro.ru/hit;artfast_after?t44.1;r"+ escape(document.referrer)+((typeof(screen)=="undefined")?"": ";s"+screen.width+"*"+screen.height+"*"+(screen.colorDepth? screen.colorDepth:screen.pixelDepth))+";u"+escape(document.URL)+";h"+escape(document.title.substring(0,150))+ ";"+Math.random()+ "border='0' width='1' height='1' loading=lazy>");</script> </article> </article> <aside id="sidebar" class="col-md-3 col-md-pull-9 column"> <div id="text-2" class="widget widget_text"> <center> </center> </div> </aside> </div> <hr class="footer"> <div class="hFooter"></div> </div> <footer class="container"> <div class="row clearfix hidden-xs"> <div class="col-md-12 column"> <nav class="navbar"> <ul id="menu-nizhnee-menyu" class="nav navbar-nav"> <li id="menu-item-" class="menu-item menu-item-type-custom menu-item-object-custom menu-item-"><a href="/category/archivers/">Архиваторы</a></li> <li id="menu-item-" class="menu-item menu-item-type-custom menu-item-object-custom menu-item-"><a href="/category/audio-editors/">Аудио редакторы</a></li> <li id="menu-item-" class="menu-item menu-item-type-custom menu-item-object-custom menu-item-"><a href="/category/browsers/">Браузеры</a></li> <li id="menu-item-" class="menu-item menu-item-type-custom menu-item-object-custom menu-item-"><a href="/category/hacking/">Взлом</a></li> <li id="menu-item-" class="menu-item menu-item-type-custom menu-item-object-custom menu-item-"><a href="/category/for-windows-7/">Для Windows 7</a></li> <li id="menu-item-" class="menu-item menu-item-type-custom menu-item-object-custom menu-item-"><a href="/category/for-teapots/">Для чайников</a></li> </ul> </nav> </div> </div> <div class="row clearfix"> <div id="copyright" class="col-lg-4 col-md-3 col-sm-3 column"> <div class="textwidget">© katalizatoroff-zavod.ru - Компьютерные уроки для начинающих <noindex><a href="/feedback/">Контакты</a></noindex> </div> </div> <div id="copyright" class="col-lg-3 col-md-3 col-sm-3 column"> <div class="textwidget"> </div> </div> </div> </footer> <link rel='stylesheet' id='font-awesome-css' href='/wp-content/plugins/js_composer/assets/lib/bower/font-awesome/css/font-awesome.min.css?ver=5.0.1' type='text/css' media='all' /> <script type='text/javascript' src='https://katalizatoroff-zavod.ru/wp-content/themes/start2study-air/js/plugins.min.js?ver=1'></script> <script type='text/javascript' src='https://katalizatoroff-zavod.ru/wp-content/themes/start2study-air/js/main.js?ver=1'></script> <script type='text/javascript' src='https://cdnjs.cloudflare.com/ajax/libs/jquery.mask/1.14.11/jquery.mask.min.js'></script> <script type='text/javascript' src='https://cdnjs.cloudflare.com/ajax/libs/noUiSlider/10.1.0/nouislider.min.js'></script> <script type='text/javascript' src='https://katalizatoroff-zavod.ru/wp-content/plugins/request-call-back/colorbox/jquery.colorbox-min.js?ver=1.4.1'></script> <script type='text/javascript' src='https://katalizatoroff-zavod.ru/wp-content/plugins/request-call-back/js/request-callback.js?ver=1.4.1'></script> <script type='text/javascript' src='/wp-includes/js/wp-embed.min.js?ver=4.8.6'></script> <script type='text/javascript' src='https://katalizatoroff-zavod.ru/wp-content/plugins/js_composer/assets/js/dist/js_composer_front.min.js?ver=5.0.1'></script> <script src="/js/jquery.mask.js"></script> <script src="https://katalizatoroff-zavod.ru/wp-content/themes/start2study-air/js/vendor/modernizr-2.6.2-respond-1.1.0.min.js"></script> <script src="https://katalizatoroff-zavod.ru/wp-content/themes/start2study-air/js/amo.js"></script> <script src="https://code.jquery.com/jquery-2.2.4.min.js"> </script> <script src="https://cdnjs.cloudflare.com/ajax/libs/jquery.mask/1.14.11/jquery.mask.min.js"></script> </body> </html>