История всех алгоритмов поиска яндекс: путь от 10 мб до 3 687 000 000 документов в рунете

Яндекс Директ

Продолжается развитие контекстной рекламы в Яндексе. В 2001 году вводится в эксплуатацию Яндекс Директ, сервис, который позволил пользователям автоматически размещать свою контекстную рекламу.

И только за один год существования услуги Яндекс Директ около 2500 пользователей воспользовались этой услугой.

Каждый из нас, это касается, конечно, предпринимателей Рунета, продвигающих партнёрские программы, инфобизнесменов, продающих инфопродукты, реселлеров, могут для рекламы своего Интернет бизнеса воспользоваться контекстной рекламой.

Известны три прекрасных курса от разных авторов по контекстной рекламе, которые помогают настроить качественную и эффективную рекламу в системе Яндекс Директ.

Это курс инфобизнесмена Алексея Полевского «Мощный Директ» , бесплатный автовебинар по настройке кампании в Яндекс Директе Алексея Полевского  и  его бесплатные видеоуроки  по работе в системе Яндекс Директ .

Другой известный специалист по настройкам рекламных кампаний системы Яндекс Директ – это инфобизнесмен Илья Цымбалист.

У него есть автоматический вебинар по заработку в партнёрских программах, где он знакомит с азами Яндекс Директа  , бесплатный курс по инфобизнесу  и бесплатная PDF книга по Яндекс Директу.

Можете прочитать и начать настраивать свою рекламную кампанию в Яндекс Директе.

Также большую популярность приобрёла книга Константина Живенкова «Секреты эффективной рекламы в Яндекс Директ».

Конечно, кроме этого есть и другие авторы, инфобизнесмены, которые выдавали инфопродукты касаемые работы с Яндекс Директом — Василий Татаркин, Дмитрий Печёркин, но по Яндекс Директу они прошли касательно, так как являются специалистами по раскрутке Интернет проектов, партнёрским продажам инфопродуктов и реселлингу.

Есть ещё специалист в Рунете, который сконцентрирован обучению партнёрскому маркетингу через продажи посредством Яндекс.Директа. Это Александр Аристаров.

Можете скачать его бесплатный вебинар «Как заработать 224 000 рублей за месяц на партнерках» или пройти тренинг Аристарова  «Заработок на партнерках в Яндекс.Директ».

С 2002 года Яндекс начинает приносить прибыль своим акционерам. Следующим этапом в развитии Яндекса является выход его за пределы России.

Наравне с офисами в Санкт-Петербурге, Казани, открывается украинское представительство Яндекса, с офисами в Одессе, Симферополе (тогда ещё украинским), Киеве.

А затем ещё и в Белоруссии и Казахстане. В эти годы в режиме жесточайшей конкуренции с зарубежными конкурентами Яндексу удаётся не сдать свои позиции.

Во многом благодаря введению новых сервисов, таких как Яндекс Карты, Яндекс Афиша, ориентированных не только на российских пользователей в целом, но и конкретно под жителей определённого города.

Мне лично это очень нравилось. В 2008 году Яндекс выходит за границы ближайшего зарубежья и открывает своё представительство в Калифорнии.

Компания Яндекс поддерживает российскую науку, создавая почву для развития в нашей стране новых технологий. Устраивает олимпиады для студентов и школьников.

Организует бесплатные курсы, рассчитанные на два года, которые назвали школой анализа данных. Новые принципы поиска, Матрикснет и Спектр, введённые Яндексом, позволяют сделать поиск ещё более точным, даже при отсутствии чётко сформулированного запроса. С 2011 года акции компании Яндекс продаются на Нью-Йоркской бирже.

Яндекс в Турции

Интересной и очень важной ступенью в развитии компании Яндекс можно считать её турецкий проект. В 2011 году открыт портал yandex.com.tr

Турецкие пользователи смогли пользоваться сервисами Яндекса: Яндекс Почта, Яндекс Карты, Яндекс Поиск на турецком языке. Когда я занимаюсь парсером ключевым слов в Яндекс Вордстате с помощью программы Словоёб иногда встречаются турецкие слова.

Следующей вехой истории компании Яндекс является запуск Яндекс Браузера. Он используется в России, Украине и Турции. Ну что ж будем ждать от Яндекса ещё новостей!

Если статья была Вам полезна, жмите внизу на кнопки соцсетей. Чтобы быть в курсе самых важных новостей, подписывайтесь на обновление этого блога.

Что влияет на ранжирование в Яндексе

• Внутренняя/внешняя оптимизация

Сюда входит правильная настройка технической части ресурса, написание корректных метатегов, ускорение загрузки страниц, перелинковка.

• Уникальность и качество контента

Они дают существенный прирост в выдаче, ведь Яндекс отдает предпочтение сайтам, на которых размещены грамотно оптимизированные тексты: уникальные, без переспама, с четкой структурой и полезной информацией. У Яндекса есть фильтры, контролирующие качество контента, например «Баден-Баден».

• Ссылочная масса с релевантных веб-ресурсов

Постепенное и размеренное наращивание ссылочного профиля – залог успешного продвижения сайта. Делать это надо максимально аккуратно, ведь качество ссылочного профиля контролирует специальный алгоритм – «Минусинск».

• Адаптивность страниц

Мобильный трафик существенно превышает десктопный, поэтому адаптивные страницы помогут не только завоевать расположение Яндекса, но и дадут возможность пользователю комфортно изучать контент на планшете или телефоне. Сегодня адаптивность сайта является одним из ключевых критериев ранжирования.

• Поведенческие факторы

Это время, которое пользователь проводит за изучением контента, переходы внутри сайта, желание делиться информацией в соц. сетях или оставлять комментарии. Все это отражает отношение к ресурсу со стороны пользователей и учитывается поисковиком.

Принцип работы поисковой системы

За все время существования поисковика была внедрена масса фильтров и алгоритмов, способствующих более качественной выдаче. Система ранжирования включает несколько сотен факторов, позволяющих определить место конкретного сайта. По примерным подсчетам, имеется как минимум 800 критериев, влияющих на позиционирование веб-ресурсов. Сейчас разработчики создают новые алгоритмы, выводящие в топ наиболее полезные и релевантные поиску сайты.

Как же работает поисковая система? Робот находит и индексирует страницы веб-сайтов. Чтобы пользователь смог максимально быстро увидеть результаты поиска, вся информация подвергается кластерному анализу. Получив запрос на поиск какой-либо информации, система ищет ее в индексе и ранжирует в соответствии с определенными параметрами. Чтобы оценить качество ресурса, привлекаются ассесоры – люди, вручную контролирующие корректность позиций определенных страниц. Также могут использоваться программы, работающие на основе машинного обучения.

Сайты, наполненные некорректной информацией либо продвигаемые при помощи нелегальных методов, исключаются из поисковой выдачи. Если нарушение было некритичным, то позиции просто понижаются. Яндекс может не только вводить санкции, но и полностью блокировать отображение ресурса в выдаче. Второй вариант наиболее опасен, так как разблокировка/возврат сайта в поиск требуют больших усилий, чем снятие санкций.

Место в алгоритме ранжирования

Это важный момент. Нужно понимать, что нейронная сеть не пришла на замену всей формуле ранжирования. Она является по сути одним из факторов, которые вычисляются и используются для построения итоговой формулы релевантности (Cat Boost). 

Cat Boost пришел на замену MatrixNet – это алгоритм машинного обучения на решающих деревьях, который во многом нам близок. 

Тот фактор, который вычислен по алгоритму YATI, является одним из факторов, на котором строится итоговая формула ранжирования. 

Важный момент: итоговая формула ранжирования все равно строится алгоритмом Cat Boost, а не оперирует какими-то нейронными сетями – это не итоговый ответ релевантности. 

Пример «смешанной» выдачи 

В таких случаях один из факторов «тянет» в свою сторону. В каком-то смысле это можно воспринимать как борьбу между теми факторами, которые отвечают за смысл, и теми, которые отвечают за «обычные вхождения» в текст. При этом понятно, что в борьбе принимают участие все остальные группы факторов: 

• поведенческие; 
• хостовые (сайт); 
• ссылочные. 

В результате выдача носит смешанный характер, как на примере с фразой «картина, где небо закручивается»: 

По запросу находятся результаты, в которых нет точного вхождения слов, но есть фразы, похожие по смыслу – например, картина «Звездная ночь» Ван Гога. Также присутствуют документы, в которых есть точное вхождение запроса. Здесь максимально ярко проиллюстрирована борьба нейронной сети со смыслом, с классическими SEO-шными факторами. 

Достаточно хорошо видно, что Яндекс строит все не по принципу «мы придумали какой-то новый фактор, который теперь будет описывать смысл и смысловую близость запроса и документа», а по принципу «давайте добавим к текущим факторам набор дополнительных рычагов, которые будут улучшать выдачу». 

Посмотрим на еще один пример «доминирования смысла», когда есть большое количество документов (в данном случае 24) с точным вхождением длинной фразы «фильм про человека, который выращивал картошку на другой планете». Поисковая система понимает, что речь идет о фильме «Марсианин», находит документы без прямого вхождения, а иногда и вовсе без вхождения прямых слов. В этом случае смысл побеждает. 

 

Но когда добавляют хостовые факторы, как например у «Российской газеты», достаточно прокачанной с точки зрения хоста, в выдачу также попадает документ с точным вхождением, абсолютно не оптимизированный, не посвященный фильму! 

Отсюда исходит очень важный вывод, на который мы хотели бы обратить ваше внимание: 

Приведенные выше примеры – это примеры из анонсов алгоритмов Палеха и Королева, где Яндекс говорит примерно такие вещи: «Мы придумали поисковый запрос, видим, что по нему была нерелевантная выдача, а теперь она стала релевантной». То есть по запросу «фильм про человека, который выращивал картошку на другой планете» в выдаче есть фильм «Марсианин». Как только Яндекс это анонсировал, большое количество сайтов растиражировали новость. Алгоритм ломался, так как поисковая система продолжала отдавать предпочтение классическим вхождениям в текст. 

На наш взгляд, YATI – это тот самый момент, когда факторы смысла и смысловой близости запросов документа стали побеждать факторы вхождения, что очень хорошо видно на низкочастотных поисковых запросах. 

Основатель Яндекса. Аркадий Волож

Сегодня опишу историю успеха основателя Яндекса Аркадия Воложа.  И это сразу после статьи об основателе компании Google Сергее Брине.

А огромное количество сервисов, на данный момент их более 50, делают Яндекс почти не заменимым для Интернет пользователей.

Каждый из нас хоть раз пользовался Яндекс Маркет или Яндекс Пробки, Яндекс Поиск или Яндекс Карты. Сооснователя Яндекса Ильи Сегаловича уже нет с нами, он умер в 2013 году в 48 лет от рака.

Яндекс. Начало истории успеха

Итак, с чего же начинался Яндекс и, вообще, откуда такое название. Яндекс зарождался в конце 80-х, начале 90-х годов.

Это были времена перестройки, времена, когда мир стал для нас более открыт, и появилась возможность общаться со специалистами из других стран, а всё новое и прогрессивное легко развивалось и продвигалось.

В те времена Аркадий Волаж — программист и математик работающий в институте проблем управления, одновременно становится соучредителем кооператива, который занимается автоматизацией рабочих мест. С этого момента начинается история Аркадия Волажа как предпринимателя.

Основатель Яндекса. Аркадий Волож. Биография

Немного о биографии Аркадия Волажа. Аркадий родом из Казахстана, из небольшого городка Гурьев, сейчас он называется Атырау. Родился в 1964 году.

Отец его работал геологом, был доктором геолого-минерологических наук. Мама преподавала в музыкальном училище. Высшее образование Аркадий Волаж получил в Москве в Российском Государственном институте нефти и газа, закончил факультет прикладной математики.

После окончания института стал работать в государственном институте проблем управления. Здесь он впервые и стал заниматься проблемами электронной автоматизированной обработки больших объёмов информации.

Здесь же он знакомится с американцем Робертом Стабблбайном, у которого брал уроки английского языка. Им приходит идея создать фирму по продаже компьютеров.

 CompTec и Аркадия. Как зарождался Яндекс

Так появляется CompTec. Однако, занимаясь бизнесом, Волаж продолжает создавать программу по обработке больших объёмов информации.

Он приходит к выводу, что в программе надо учитывать особенности русского языка, связанное с тем, что слова могут иметь много форм.

В решении этой задачи ему помогает Аркадий Борковский, который в то время и занимается проблемами компьютерной лингвистики. Вместе они организуют фирму «Аркадия».

В свою новую фирму Волаж приглашает своего друга программиста Илью Сегаловича. Их первым проектом стал классификатор изобретений с расширенными возможностями внутреннего поиска.

Этой программой могли пользоваться учреждения, которым требуется работать с патентами. Но, к сожалению, больших заказов у «Аркадии» не было и встал вопрос о её закрытии.

Но, дальновидный Волаж, принимает решение присоединить «Аркадию» со всеми её разработками к успешно развивающейся тогда другой своей компании CompTec. И не прогадал!

Работа над поисковой системой Yandex

Илья Сегалович с другими программистами стали работать дальше над своей поисковой системой. Осталось придумать название.

Постепенно родился Yandex, что означает «yet another indexer» (ещё один индексатор). Затем, Волаж предложил сочетание букв Ya заменить на русскую букву Я, так родился Яндекс.

Название всех устраивало, тем более его можно было понять и как языковой индекс, что и подчёркивало особенности нового индексатора.

Однако, до привычного и любимого нами Яндекса было ещё далеко. Это всего лишь был умный поисковик, который привязывался к тому или иному продукту.

Но изюминкой его было то, что он учитывал морфологию русского языка, так если поисковик встречал слово, которого не было в его словаре, он мог предугадать, какие формы могут быть у данного слова, основываясь на изменениях слов в своём словаре.

Шёл 1996 год, Интернет в России активно развивался и сотрудники ComTec не могли этим не воспользоваться. В 1996 году на выставке Netcom компания ComTec представляет свой новый продукт для Интернет сайтов Яndex.site, который, превратился после в Яndex.

Сервер, используется и в настоящее время. Перед компанией встаёт вопрос о создании собственной поисковой системы. В то время в русскоязычном Интернете пользовались системой AltaVista.

Итак, в 1997 году 23 сентября на московской выставке, посвященной компьютерным технологиям Softtool, прошла презентация Яндекса уже как новой поисковой системы Yandex.ru.

С этого момента и начинается триумфальное шествие Яндекса по русскоязычному Интернету. Яндекс постоянно развивается, вводя всё новые и новые удобные функции.

Уже в 1998 году на Яндексе появляется контекстная реклама. И, наконец, в 2000 году создаётся компания Яндекс, генеральным директором которой становится Аркадий Волаж.

Зачем нужна поисковая система

Без поисковых систем обычный пользователь вряд ли найдет в интернете нужную информацию, так как без них не будет привычного нам списка сайтов. Придется вручную вбивать адрес каждого ресурса, чтобы проверить, есть ли там то, что вы ищите. К счастью, алгоритмы поисковиков уже знают, какая информация есть на большинстве сайтов, и в ответ на запрос выдают список страниц, которые больше всего соответствуют этому запросу.

Кроме того, современные поисковые системы давно вышли за границы обычных поисковиков и превратились в целые экосистемы, которые помогают пользователям решать множество бытовых и бизнес-задач. В том же «Яндексе» есть электронная почта, маркетплейс, онлайн-кинотеатр, такси, доставка еды, карты, различные сервисы для бизнеса, а еще собственная платежная система и знакомый многим голосовой помощник Алиса.

У Яндекса столько разных сервисов, что они не поместились на одном экране даже мелким шрифтом

Что дальше

Доля поискового бизнеса в выручке составляет по итогам 2020 года 54%. При этом он почти не растет (всего +2% по сравнению с 2019 годом). Потенциал рекламных технологий также ограничен. Несмотря на общий рост выручки +24% за 2020 год, инвесторы недовольны.
 
Поэтому Яндекс сейчас делает ставку на финтех & электронную коммерцию.
 
В феврале 2021 года компания запустила сервис Yandex Pay. Это сервис для быстрой оплаты онлайн-покупок банковской картой. С его помощью можно платить картой, не вводя её данные – они подтянутся из аккаунта на Яндексе. Подробности – здесь.
 
Также есть информация, что «Яндекс» собирается купить банк «Акрополь» владельцем которого является генеральный директор группы компаний «Связной» Евгений Давыдович. Вот зачем это нужно.
 
Начало 2021 года выдалось «пасмурным»: 20 российских онлайн-платформ подали против Яндекса заявление в ФАС (Федеральную антимонопольную службу) из-за доминирующего положения его сервисов в поисковой выдаче. ФАС в свою очередь вынесла предписание Яндексу что-то с этим сделать. Скоро узнаем, чем это закончится.
 

P.S. Если подвести итог истории компании от начала 90-х до сегодняшнего дня, можно выделить основные моменты, позволившие компании занять одну из лидирующих позиций в IT:
 
1) Яндекс предлагает и продолжает разрабатывать сервисы, которые нужны пользователям ежедневно и значительно упрощают им жизнь. Практически каждый продукт уникален.
 
2) Инвестиции в будущее – неотъемлемая часть успеха. Яндекс вкладывает много денег как в краткосрочные, так и долговременные проекты.
 
Развиваясь в различных IT-сферах и скупая стартапы, бренд создаёт для себя «подушку безопасности», благодаря которой даже при полном падении основного бизнеса, компания продолжит своё существование.
 
3) Локальность бренда – технологии поиска остаются заточенными под русскоязычных пользователей.
 
Несмотря на то, что Яндекс стремится занять топовые позиции в мировом поиске, ставка делаются на Россию, Белоруссию, Казахстан.
 
4) Масштабируемость – сегодня офисы Яндекса находятся не только в странах СНГ, но также в Турции, Германии, Швейцарии, Нидерландах, Китае, США и Израиле.
 
Во многом успех Яндекса в Рунете связывают с тем, что он стал пионером в разработке поисковой системы, способной эффективно справляться с трудностями русского языка. Именно это стало основным преимуществом, недоступным даже таким гигантам, как Google. 

Виды поисковиков

Поисковые системы делят на четыре вида: каталоги, метапоисковые, специализированные и индексные. Давайте разберёмся, в чём разница.

Поисковые каталоги. В них информация хранится в виде категорий и подкатегорий. Эти системы устроены так же, как и тематические каталоги библиотек.

Например, есть главная категория «Образование». Она состоит из подкатегорий «Химия», «Биология», «Математика». А подкатегории делятся дальше — на более мелкие. Например, «Химия» на «Общая химия», «Органическая химия», «Физическая химия» и т.д. В результате все категории заканчиваются конкретными страницами сайтов.

Особенность каталогов в том, что малопосещаемым ресурсам сложно попасть на первые страницы выдачи. Исключение — Wikipedia.

Метапоисковые системы. Используют для работы с другими системами. Когда пользователь вводит запрос, метапоисковая система автоматически посылает его в другие поисковики — и собирает оттуда информацию. Затем фильтрует полученные данные: удаляет дублированные ссылки и формирует поисковую выдачу. По такому принципу работают многие альтернативные поисковики.

Специализированные поисковые системы. Подходят для поиска конкретной информации: изображений, книг, фильмов, отчётов. Например, фотостоки ищут только фотографии по определённым запросам. Кинопоиск тоже считается специализированным поисковиком, так как выдаёт информацию по фильмам и сериалам.

Индексные поисковые системы. Самый популярный тип. Индексная поисковая система — большая база данных, в которой хранятся ссылки на другие сайты.

Специальный робот просматривает все страницы в интернете и записывает их в базу — этот процесс называется индексацией. Когда пользователь делает запрос, поисковик просматривает базу и ищет совпадения страниц по ключевым словам (или словам, похожим на ключевые). А потом формирует результаты с учётом многих других параметров.

Как использовать YATI для продвижения своего сайта

Ок, Яндекс придумал нейронную сеть с открытыми слоями, с поиском смысла. Что делать с этой информацией SEO-специалистам, маркетологам и владельцам бизнеса? Исходя из утверждения, что YATI обеспечивает более 50% вклада в ранжирование, мы ожидаем, что: 

• «Смысл» окончательно победил возможности SEO-специалистов в области оптимизации текстов, то есть больше не нужно оптимизировать. 
• Все факторы вида «точное вхождение», «Title» и «добавить ключей» остались в прошлом.
• Оценка этого вклада зависит от того, какие поисковые запросы берутся. 

Изначально поисковая система Яндекс обучалась для улучшения ранжирования выдачи по редким запросам, по которым и так документов недостаточно. Поэтому можно сказать, что вклад в ранжирование более 50% актуален для вот этих редких запросов. Мы видим, что борьба смысла с вхождениями на текущий момент еще актуальна в результатах выдачи, и «смысл» постепенно побеждает вхождения. 

На чем зарабатывает Яндекс? Наиболее популярные сервисы Яндекса

Разумеется, львиная доля прибыли Яндекса приходится на Яндекс.Директ. Это самый прибыльный рекламный сервис. Стоит отметить, что чистая прибыль поисковика во втором квартале 2014 года упала на 18 процентов по сравнению с аналогичным периодом 2014 года, до 2,4 млрд рублей. Конечно, проблема связана с курсом доллара и другими экономическими факторами. Кроме того, следует учитывать и другие услуги, а не только платежи, которых у Яндекса очень много. Рассмотрим самые популярные.

• «Яндекс почта». Самый популярный сервис, где можно создать учетную запись электронной почты. Сервис лидирует по приросту аудитории не только в России, но и в Европе. Еженедельная аудитория более 29 000 000 пользователей.
• Яндекс.Вебмастер. Полезный и функциональный сервис для веб-мастеров и оптимизаторов, значительно облегчающий работу по аудиту проектов.
• «Яндекс деньги». Электронная система оплаты услуг в интернете от Яндекс. Отличный и удобный интерфейс, дружественный функционал. Теперь принадлежит Сбербанку и переименован в Юмани
• Яндекс.директ. Платный сервис контекстной рекламы на Яндекс. Отличный инструмент для тех, кто хочет продвинуть свой бизнес, начать зарабатывать и получить первых целевых посетителей. Легко и просто настроить и запустить.
• «Яндекс карты». Популярный картографический информационный сервис Яндекс, с помощью которого можно найти и проложить маршрут к любому объекту на карте, будь то компания, ресторан, учебное заведение и т.д.
• «Яндекс.Метрика». В 2014 году сервис стал лидером среди ресурсов по сбору статистики сайта для веб-мастеров. На сегодняшний день это многофункциональный сервис, позволяющий проводить точный аудит веб-ресурсов, отслеживать посещаемость и поведение пользователей на сайте.
• «Яндекс.Диск». Облачный сервис, принадлежащий Яндексу, позволяющий хранить неограниченное количество данных в Интернете и передавать их другим пользователям в сети. Популярность этой услуги стремительно растет.

И многие другие, их вы сможете найти на этой странице

7 важных работ: тексты

Переходим к рекомендациям – семи важным работам, которые нужно делать SEO-специалисту для оптимизации под алгоритмы YATI, чтобы позиции росли. 

1. Оптимизируйте под YATI. 

• прямые синонимы, которые давно учитываются;
• слова из подсветки выдачи; 
• слова, задающие тематику – часто встречаются в документах, но не совпадают с поисковыми словами из запроса; 

2. Форматирование текста на фрагменты и акценты. 

Мы знаем, что алгоритм выделяет определенные важные зоны в тексте и подает их на вход нейронной сети, чтобы она оценила, близок этот фрагмент по смыслу к поисковому запросу или нет, помогает он пользователю или нет. Форматировать тексты нужно обязательно, а именно: 

• разбивать подзаголовками и заголовками, начиная примерно с 10–12 предложений; 
• выносить тематические и ключевые слова в заголовки и выделенные фрагменты. 

То есть слова, задающие тематику, должны быть в тех фрагментах, которые с большой долей вероятности подадутся на вход нейронной сети – это заголовки и небольшие выделенные фрагменты. 

3. Анализируйте и оптимизируйте запросный индекс для документов. 

Эта информация уже не раз озвучивалась в предыдущих рекомендациях, значимость этого фактора растет. Что нужно делать: 

• изучите поисковые запросы, по которым были зафиксированы переходы на URL, они должны быть релевантными. Если вы видите, что переход на URL-адрес осуществляется по нерелевантным поисковым запросам, нужно что-то с этим делать – деоптимизировать страницу, убрать какие-то слова с точки зрения контекста; 
• поднимите релевантность по тем запросам, по которым уже были переходы, чтобы повысить позицию исходного поискового запроса. Это стандартная схема от НЧ для документа к СЧ/ВЧ. 

4. Запросный индекс для хоста. 

Важные моменты здесь: 

• данные для хоста, как и прежде, сказываются на факторах для заданной страницы; 
• проверки из пункта №3 выше актуальны и в разрезе всего сайта, а не только заданного URL. 

5. Расширяйте семантическое ядро для продвижения в сторону низкочастотных запросов. 

Это обязательно должны быть вложенные и синонимичные запросы, они помогают в продвижении по более общим и близким по смыслу высокочастотным запросам. Пример: поможет и для и для . Слова «продвижение», «SMM», «SEO» с точки зрения Яндекса – это довольно близкие термины, которые часто сравниваются друг с другом. 

6. Проводите конкурентный анализ. 

Что вы можете посмотреть: 

• показы конкурентов по запросам; 
• акценты на текстах: тематические слова, фразы, структура;
• структура сайта и охват запросов из семантического ядра. 

Если у конкурента какой-то поисковый запрос охвачен всецело (под него есть целый раздел, развернутая структура по тегам), то вам нужно повторить эту развернутую структуру, чтобы полноценно ее охватить. Анализ конкурентов – сквозная тема в любом SEO. 

7. Не забывайте про классику поисковой оптимизации: текст, точные вхождения, все слова в Title.

• Как мы поняли из результатов исследования, она никуда не ушла. YATI хоть и является прорывной технологией, Яндекс все же строится по принципу «добавить что-то сверху», а не «написать все с нуля». То есть никто не отменял алгоритмы Яндекса и не говорил, что будет писать кардинально новый алгоритм, в котором не будет TF-IDF, BM25, просто новые добавляются к старым. 
• Роль смысловой близости текста и запроса растет, если у поисковой системы нет или мало данных о поведении по данному запросу и мало документов, которые «хороши» по классическим текстовым факторам.
• Максимальный прирост идет по неоднозначным редким поисковым запросам («длинным хвостам») – то, на что все алгоритмы и направлены. Здесь нет никаких революционных изменений с точки зрения поисковой оптимизации и на текущий момент не предвидится. Это исходит из того, что Яндекс плюс-минус доволен качеством выдачи, за исключением кейсов с накрутками.
• На вход YATI подаются различные стримы: анкор-лист документа и запросный индекс по кликам. 

Сможет ли YATI победить накрутку ПФ в Яндексе?

Ситуация с накруткой на конец 2020 года была проблемой. Волна санкций за накрутку поведенческих факторов замечена 1 сентября, эту ситуацию мы уже подробно разбирали в наших предыдущих статьях и вебинарах. 

В настоящий момент многие проекты продолжают терять видимость вплоть до нуля. Ниже проанализирована достаточно интересная тематика продвижения и создания сайтов. 

Мы видим, что большое количество сайтов ушло в небытие 1.09.2020. Но даже те, кто уходили до нуля в сентябре, иногда подрастают, но потом опять падают. Некоторые выжили, но алгоритмы догнали их уже в ноябре. Ситуация развивается достаточно активно: 

У нас есть вкладка «Конкуренты» в модуле проектов, которая позволяет смотреть, какие проекты имели хорошую видимость, а какие стремительно провалились. В выбранной тематике таких сайтов более десятка. Мы ни в коем случае не утверждаем, что все выбранные сайты накручивают ПФ, но так решил Яндекс. 

Все ли так радужно? 

Увы, ситуацию нельзя назвать равновесной, так как из одной отрубленной головы вырастает не три, к счастью, но от 1/4 до 1/2. 

Мы видим высокую активность на этих сайтах, но как понять, что они накручены? С большой долей вероятности это такие факторы: 

• резкий рост;
• асимметрия видимости в Яндексе и Google; 
• явный «фейк», на сайте представлены люди, которые не имеют никакого отношения к поисковой оптимизации. 

Эти новые сайты вырастают, но их стараются чистить, поэтому ситуация с накруткой все-таки улучшается. Конечно, хотелось бы получить от самого Яндекса ответ на вопрос, как бороться с накруткой куков и левыми переходами из социальных сетей. Но, на самом деле, мы бы советовали поставить фильтрацию по правилам и поведению в Яндекс.Метрике

Количество накрученных кликов сильно уменьшится, да и обращать на это пристальное внимание, не стоит. 

Отвечая на главный вопрос, сможет ли YATI победить накрутку, стоит прислушаться к словам разработчика нового алгоритма: 

То есть потенциально у Яндекса есть возможность отказаться от активного учета кликовых факторов. Но очень важный нюанс состоит в том, что сама модель предобучается на предсказание кликов. Все было бы круто, если бы мы были уверены, что эти клики и сигналы не накручены. 

Мы видим, что Яндекс не может на 100% фильтровать эти клики, не можем знать до конца, как фильтрует Яндекс эти клики для обучения моделей, насколько тщательно это происходит, но задел для меньшего учета кликовых ПФ и победой над накрутчиками есть. Мы искренне желаем разработчикам Яндекса двигаться в этом направлении. 

Самая большая ошибка «Рамблера»

В 1996 году руководство CompTek приняло знаменательное решение для будущего поисковика номер один в Рунете. Акцент в деятельности компании смещается с разработки сторонних прикладных продуктов на развитие собственного «ядра» — поискового механизма, который на тот момент уже обзавелся оригинальным названием и научился индексировать веб-сайты.

Компания прилагала огромные усилия для улучшения поисковой системы и ее продвижения. В частности, Аркадий Волож пытался наладить сотрудничество с «Рамблером», на тот момент лидером отечественной онлайн-индустрии. Последний, однако, посчитал морфологический поиск недостаточно актуальным.

История «Яндекса» началась с разработки поисковых технологий в фирме «Аркадия», которая затем вошла в состав CompTek

В итоге CompTek решила самостоятельно вывести продукт на рынок. 23 сентября 1997 года на выставке Softool компания представила общественности поисковую систему Yandex.ru. Новый сервис индексировал сайты в доменных зонах «.su» и «.ru» и понимал логические операторы И, ИЛИ, НЕ. Рунет тогда только развивался, и со своим объемом в 4 Гбайт на тот момент уместился бы на современной USB-флешке, а сам «Яндекс» располагался на трех компьютерах, работавших под управлением FreeBSD.

— Илья Сегалович, сооснователь поисковой системы «Яндекс»

Илья Сегалович

Весной 2000 года поисковая система «Яндекс» доросла до регистрации в виде отдельной компании. Инвестиционный фонд ru-Net Holdings Limited обязался обеспечить финансирование в размере $5,27 млн в обмен на 35% выпущенных акций новой компании. Фирма «Яндекс» стала правопреемником торговой марки «Яndex» и полноправным владельцем портала yandex.ru. Аркадий Волож занял должность генерального директора, а Илья Сегалович — технического директора.