Вы когда-нибудь задумывались о том, как устроена и работает поисковая система? Есть база данных, где хранится информация о сайтах. Поисковые боты заполняют его и работают с ним:
- Бот-паук сканирует все сайты и добавляет их в свою базу данных.
- Робот-индексатор работает с базой сайтов: анализирует каждый сайт, чистит код, сравнивает разные тексты между собой и определяет используемые ключевые слова. Затем определите важность каждой страницы.
У каждого робота свои цели и задачи. Первый — максимально обойти все сайты, собрать новую информацию и добавить ее в индекс. Второй — правильно распознать базу данных и организовать в ней документы так, чтобы пользователь получил релевантный ответ на странице результатов поиска.
Получается, что если вы сделаете грамматические ошибки, ваши слова могут быть проигнорированы, так как они будут неправильно распознаны. А если на сайте есть технические ошибки, то страницу можно просто убрать из индекса.
Алгоритмы ранжирования
Алгоритм классификации представляет собой конкретную формулу, учитывающую большое количество факторов. Задача алгоритма — определить, какой сайт и где разместить в результатах поиска. SEO-оптимизаторы стареют с алгоритмами, но они их не знают. Узнать о них можно только путем анализа. К сожалению для SEO-специалистов, алгоритмы постоянно развиваются, чтобы исключить появление различного спама в результатах поиска.
Позиция SEO-специалиста будет актуальна до тех пор, пока поисковая система генерирует поиск. Есть определенные параметры, на которые всегда можно повлиять. Развивается поиск, развиваются и методы продвижения.
Аффилиаты и чистая выдача
Что означает чистая продукция? В том, что пользователь, введя свой запрос, получит соответствующий ответ. Найдите именно ту информацию, которая вам нужна. И в то же время вы не будете пролистывать множество страниц с результатами поиска или искать в другой системе.
Результаты загрязняются аффилированными сайтами, то есть несколькими сайтами, принадлежащими одной и той же компании. Большинство из нас хотя бы раз задумываются о том, как охватить ТОП-10 своими сайтами. Создайте 10 сайтов и продвигайте их в топ. Тогда бы все клиенты приходили в нашу компанию и у пользователя не было бы много вариантов.
Но в поисковиках тоже работают люди, которые во всем этом прекрасно разбираются. Специально для таких «гениальных» предпринимателей существует партнерский фильтр, который объединяет несколько сайтов одной компании и показывает в результатах поиска только один. Вывести сайт из-под такого фильтра достаточно сложно, а иногда и невозможно. Вы можете заявить: я укажу разные контактные данные и все будет работать. Но поиск не такой уж и тупой – менять только эту информацию бесполезно.
Как понять, что сайт под фильтром аффилиата?
В редакции будет присутствовать только один сайт из нескольких по конкретному запросу. Ваши сайты не будут удалены или понижены. Даже если вы успешно продвигаете свои сайты в поиске, конкуренты могут сообщить о вас.
Какую информацию следует извлечь из данного поста?
- Сайт должен быть без технических ошибок. Исправьте их и уберите из поиска ненужные страницы. А еще лучше сделать полный технический аудит сайта.
- Избегайте дублирования страниц
- Закройте ненужные технические страницы от индексации — вам поможет файл robots.txt.
- Остерегайтесь cms, которые не создают пустых страниц
- Избегайте ошибок отображения контента
- Наберитесь терпения и подождите, пока поисковые системы увидят все ваши изменения. Это может занять больше месяца
Санкции поисковых систем
Если вы перестарались с сайтом или что-то не доделали, или сделали что-то не так, на страницах вашего сайта есть спам; ваш сайт может быть оштрафован поисковыми системами. Часто действия SEO-оптимизаторов приводят к штрафным санкциям. Дело не всегда в недобросовестной работе специалиста, а в алгоритмах поисковых систем. Если вчера какие-то методы продвижения сработали, сегодня из-за них могут быть наложены санкции. Никто не застрахован от такого риска.
Главное вчера:
- Было время, когда продвижение сайта было невозможно без большого количества текста на странице. Текст стал бесполезен для всех, кроме поисковых систем, и стал нечитаемым.
- Наличие ключевого слова в домене. Некоторые изменили доменное имя для этого. Но прошло немного времени и Google объявил это спам-сигналом.
- SEO-ссылки, в частности, сдаваемые в аренду. Они работали и давали результаты, но с каждым годом их влияние значительно уменьшалось.
Помимо этих проблем, новые алгоритмы могут работать некорректно. Им нужно время для тестирования и исправления ошибок. Например, отказы когда-то играли огромную роль в ранжировании сайта, но тематика ресурса не учитывалась. Забыли, что люди, например, которым нужно заказать такси, долго на сайте не задержатся. Они придут и возьмут номер, по которому они звонят. В лучшем случае заполните форму заявки на сайте. Из-за этого в результатах поиска появилось много информационных сайтов, не соответствующих запросам пользователей.
Как появились поисковые системы?
Интернет появился не сразу. А сайтов в начале было несколько десятков. Большинство сайтов были хорошо известны. А когда запомнить все сайты стало невозможно, появились каталоги сайтов. Так же как и Рамблер, которым пользуется много взрослых, хотя явка сейчас невелика.
Но сайтов было так много, что люди могли запутаться в каталогах. Мне нужен поиск по каталогу. А когда стало понятно, что все сайты добавить в каталог невозможно, да и не всем есть там место, поиск стал всплывать.
SEO родился с развитием поиска. Стало понятно, что поисковые системы изучают html-код страницы. В заголовках h1-h6 отмечены самые важные слова, а в теге — абзацы текста и т.д. Сейчас факторов уже много, о них пойдет речь в следующем посте.
Из чего состоит и как работает поисковая система Яндекс и Google?
В этой статье я опишу основные элементы поисковой системы, покажу, как они связаны между собой, и немного расскажу об истории поисковых систем. Но сначала давайте разберемся, что такое поисковая система и зачем она нужна?
Поисковик — это специальный сервис для быстрого поиска информации в Интернете. Пользователь устанавливает запрос в поисковой системе, в котором формулирует то, что хочет найти. В ответ поисковик выдает результаты поиска — ссылки на страницы сайтов, где можно найти интересующую пользователя информацию.
Давайте посмотрим, из чего состоит поисковая система и как она работает. Следует отметить, что принципы работы любой поисковой системы схожи: Яндекс, Google и другие поисковые системы работают по схожим алгоритмам, отличающимся нюансами.
История развития поисковиков: не путайте Wandex и Yandex!
Начнем с истории: первая в мире поисковая система появилась в 1993 году, и это была Wandex. Не путать с Яндекс. После него Aliweb, Webcrawler, Lycos, Altavista, Rambler, Google и только потом Яндекс.
Первой российской поисковой системой был Рамблер. Сейчас Рамблер все еще существует, но использует для поиска движок Яндекс. На его долю приходится около 1% всех поисковых запросов.
Самая популярная поисковая система в России на момент написания статьи — «Яндекс», которую используют для поиска информации около 61% россиян, по данным РБК. На втором месте по количеству пользователей в России Google — около 26%, но в последнее время процент пользователей Google растет. Обе поисковики были запущены в 1997 году, но Google пришел в Россию значительно позже (официально — в 2006 году).
Перейдем к вопросу, как устроена и как работает поисковая система
Поисковая система состоит из трех основных элементов:
1. Боты-пауки (агенты, боты, обходящие все интернет-пространство и сайты слежения)
В поисковой системе много роботов-агентов, каждый из них выполняет свою функцию:
- основные рабочие места сканирования сайтов;
- робот, сканирующий изображения;
- видеосканирующий робот;
- мобильный сервисный робот;
- быстрый робот выполняет функцию сбора свежей информации и новостей для индексации;
- другие роботы.
У каждого робота есть список адресов, которые он должен пропустить. Этот список автоматически увеличивается, если робот находит новую ссылку и адрес сайта. Робот проверяет найденный тип документа, кодировку и язык и отправляет эти данные для дальнейшей обработки.
2. Указатель (база документов и дополнительные параметры в обработанном виде)
Индекс — это хранилище поисковой системы, где вся информация находится в обработанном и упорядоченном виде. Например, документы хранятся в виде без html-разметки, индекс содержит данные о расположении тех или иных слов в документе и другую информацию. Индекс постоянно обновляется.
В различных поисковиках есть ярко выраженные обновления. При этом полное обновление поискового индекса, на основе которого формируются результаты поиска, происходит не постоянно, а через какое-то время. Обновление — это время обновления поисковой системы, при котором результаты поиска по многим запросам серьезно меняются.
3. Алгоритм поиска (механизм, позволяющий формировать результаты)
Когда поисковая система получает запрос, алгоритмы поисковой системы обрабатывают его. В обработанном виде вы больше вводите в систему.
Если запрос популярен, результаты поиска могут кэшироваться (сохраняться в поисковой системе), и в дальнейшем, при поступлении такого же запроса, результаты поиска будут удаляться из кеша. Если запрос уникален, то алгоритмы поиска на основе содержащихся в них формул формируют ответ на запрос из индекса поисковой системы.
Формула, по которой формируются результаты поиска, может различаться в зависимости от запроса, его типа (коммерческий, информационный, навигационный и т д.), географии (формула для региональных запросов может быть проще, чем для Московской области).
Мы рассмотрели упрощенную модель поисковой системы. Настоящие поисковые системы гораздо сложнее и включают в себя механизмы защиты от спама, заклинатели и многое другое.
Что такое машинное обучение?
Поисковик Яндекс создает формулы для ранжирования сайтов на основе машинного обучения.
Очень упрощенно эту систему можно представить следующим образом:
- Факторы, по которым ранжируются документы и результаты поиска для нескольких запросов, загружаются в программу машинного обучения. Программа ищет закономерности среди результатов поиска и факторы «хороших» и «плохих» страниц. Найденные закономерности включаются в формулу классификации. Например, если все "хорошие" сайты имели синий фон, а все "плохие" сайты – желтый фон, то программа может включить в формулу увеличение позиций страниц с синим фоном и занижение позиции страницы с желтым фоном.
- Полученные формулы тестируются и по определенным параметрам разработчики определяют, улучшилось ли качество поиска новых формул или нет.
- Если качество поиска улучшилось, формулы загружаются в основной поиск и начинают обрабатывать запросы пользователей.
Резюме: как работает поисковик?
Как видим, даже упрощенная модель поисковой системы достаточно сложна и состоит из множества систем. Реальные поисковые системы намного сложнее, поэтому процесс продвижения сайта не только сложен, но и крайне интересен.
На данный момент при ранжировании сайтов поисковая система Google учитывает более 200 факторов, а поисковая система Яндекс – более 800 факторов. Все они разделены на группы: технические, доменные, текстовые, ссылочные, региональные, поведенческие, коммерческие, юзабилити и многие другие.
