Алгоритм подбора эффективного семантического ядра.

В данном руководстве мы пошагово опишем алгоритм подбора эффективного семантического ядра.

Несмотря на то, что в данном руководстве часто упоминается функционал Rush Analytics, по сути не важно, какими инструментами вы будете собирать данные.
Вы можете собирать данные даже вручную, копируя их из браузера, однако, на это уйдет в 100-300 раз больше вашего времени.

Данная методология подходит для коммерческих сайтов (сайтов услуг), для интернет-магазинов и для информационных порталов. Однако для каждого типа сайтов есть свои нюансы в поисковом спросе - вы легко их поймете в процессе составления семантического ядра онлайн.

Базовая парадигма сбора семантики

На схеме выше показана единственно верная логика сбора семантического ядра - сначала получить базовые запросы (маркерные), которые характеризуют вашу тематику, а потом расширить их дополнительными запросами и сформировать структуру сайта.

Почему именно такая методология? Все просто: при таком подходе к подбору семантического ядра вы
а) будете контролировать процесс сбора семантики и не "закопаетесь" в уйме ключевых слов
б) вам практически не придется чистить семантическое ядро вручную
в) Это быстрее, чем любая другая методология.

Давайте раз и навсегда разберемся в терминологии, которую наша команда использует при работе с семантикой

Фактически есть 2 типа запросов: маркерные запросы и запросы из облака ключевых слов

Маркерные запросы

Маркерные запросы - это запросы, которые четко отвечают продвигаемой странице. Такие запросы обычно имеют значимую частотность ключевых слов по Wordstat и являются средне-частотными (СЧ), или "жирными" низкочастотниками (НЧ), и могут породить "хвост" запросов, например при добавлении слов "купить", "цена", "отзывы".

Примеры:

Платья

Красные платья

Красные платья в пол

Телевизоры

Телевизоры Samsung

Телевизоры Самсунг

LED телевизоры Samsung

Стиральные машины

Стиральные машины для дачи

Стиральные машины шириной 40 см

Другими словами, эти ключевые слова часто являются названием страниц/категорий/статей/карточек товара и прочих типов страниц, которые вообще можно продвигать в поисковых системах.

Часто задаваемые вопросы про маркеры:

Q: Могут ли для страницы быть несколько маркеров?

A: Да - конечно - это довольно частый случай.

Например, на одну страницу могут идти такие маркеры как:

Телевизоры Samsung

Телевизоры Samsung купить

Телевизоры Самсунг

Телевизоры Самсунг купить

Телевизоры самсунг цена

Все эти запросы четко отвечают одной странице

Так же на одну страницу могут идти два маркера-синонима, не связанных лингвистически:

Спецоджеда

Рабочая одежда

или

электроплита бош

электрическая плита bosch

Это вполне нормально и логично.

НЕ маркеры - облако запросов. Это все второстепенные запросы, которые уточняют маркерные запросы - т.е. по факту это маркеры + 1/2/3 слова или синонимы маркеров. Как правило запросы из облака - менее частотные и поэтому мы будем привязывать их к маркерам

Как найти маркерные запросы?

Сразу скажем, что получить маркерные запросы для сайта любого объема ПОЛНОСТЬЮ автоматически не получится по ряду причин. Это на данный момент основной фронт ручной работы при подборе семантики. Мы работаем над автоматизированным алгоритмом и сообщим вам о его выходе.

Вариант №1: можно получить поисковые запросы из Яндекс Метрики. Плюсы такого метода - что вы сразу будете знать релевантные URL для этих запросов.

Вариант №2: Берем названия категорий/услуг своего сайта и расширяем их логическими гипотезами:
"Как, по каким запросам пользователи еще могут искать эту страницу моего сайта? Какие есть синонимы?"

NB!: Отличным подспорьем в определении маркеров является старый добрый Яндекс Wordstat, при всех его недостатках. Рекомендуем использовать браузерный плагин Yandex Wordstat Assistant от компании Semantica - очень удобный - выполняет роль своего рода "заметок на полях" - в него можно в один клик добавить интересующие слова.

Мы понимаем, что не у каждого оптимизатора/владельца бизнеса есть под рукой департамент разработки, который быстро сможет выгрузить для сайта связку URL - название категории/страницы.

Что такое связка URL-название категории/страницы?

Поэтому есть 3 варианта как получить связку URL - название категории/страницы:

Запросить у программистов - идеальный :)
Самому спарсить это с сайта. В этом поможет отличный и простой инструмент - Screaming Frog (официальный сайт Screaming Frog). Это парсер сайта, который в итоге отдаст вам в формате Excell таблицу вида URL - заголовок H1 (это и есть название категории/страницы).
Если структура сайта еще только проектируется - резонно вручную придумать связки URL-название категории.

Фактически маркеры для вашего сайта будут состоять из:

Запросов, выгруженных из Яндекс Метрики
Названий категорий/страниц, взятых с сайта
Расширений названий категорий/страниц т.е. логических гипотез

Важно выполнить эту часть работы по подбору семантического ядра максимально тщательно т.к. если вы потеряете большую часть маркеров - вы потеряете большую часть семантического ядра.

Часто задаваемые вопросы по подбору маркеров:

Q: У меня большой сайт и маркеров сотни или тысячи - как быть?!

A: В таком случае нужно работать итерациями, собирая семантику начиная с самых приоритетных категорий.
Реалии таковы, что собрать семантику для большого интернет-магазина или портала "за раз" невозможно - вы просто "закопаетесь".
Определите самые приоритетные категории по принципу самой высокой маржинальности и принципу сезонности - эффективнее всего начинать продвигать категории за 6 месяцев до их пикового сезонного спроса. Сезонность можно оценить в Яндекс Wordstat. Пример запроса:

Q: На сколько низкочастотное слово может быть маркером?

A: Здесь все зависит от тематики. В узких тематиках даже ключевые слова с частотностью 15 по кавычкам "" могут быть маркерными запросами. Главное правило - спросите себя - хотел бы мой пользователь видеть отдельную страницу под этот запрос (и связанные с ним?). Удобно ли ему будет пользоваться той структурой, что я создаю?

NB:! Для интернет магазинов нужно сразу же скрестить все маркеры со словами "купить" и "цена" - это тоже будут маркеры. Таким образом все запросы точно попадут на нужные страницы.

Q: Как мне держать маркеры в Excell, чтобы потом мне было удобно с ними работать?

A: Идеальный и единственно правильный вариант - всегда держать связку URL-маркер в Excel - так вы всегда сможете понимать какие маркеры идут на один URL, даже если ваш список перемешается.
В дальнейшем таким образом вы сможете фильтровать целые кластеры, которые идут на одну страницу - это может быть и 10 и 50 ключевых слов. Очень удобно.

Пример правильного оформления маркеров в Excel

Итак, после N времени работы мы собрали маркеры для всего сайта (или части сайта), что дальше?

Естественно, что маркеры, это далеко не полная семантика - теперь нам нужно собрать облако запросов - расширить наше семантическое ядро.

Облако запросов - расширение семантического ядра

Облако запросов - это все ключевые слова, полученные парсингом поисковых подсказок и Яндекс Wordstat по маркерным запросам.

По нашему опыту эффективнее всего получать расширения запросов из поисковых подсказок Яндекса + поисковые подсказки Google и левой колонки Яндекс Wordstat.

Почему?

Не потому, что в Rush Analytics есть парсинг только Яндекс Wordstat и поисковых подсказок :)
Потому, что эти источники семантики: а) Обладают максимальной полнотой б) Подсказки изначально трастовый источник семантики т.к. сам Яндекс исправляет орфографию и добавляет в подсказки ТОЛЬКО реальные запросы пользователей. Что нам и нужно.

Часто задаваемые вопросы по сбору облака запросов

Q: У меня есть база Пастухова, есть аккаунт в SeoPult и Sape - там тоже есть ключевые слова - чем они плохи?

A: Если говорить о готовых базах данных (например, База Пастухова), то плохи они вот чем а) непонятно откуда взяты эти запросы - реальные ли это запросы или же это "кривые" запросы горе-оптимизаторов б) Большинство запросов в готовых базах данных банального сгенерированы или уже потеряли актуальность.
SeoPult и Sape можно использовать, чтобы прикинуть свои маркеры - иногда там можно найти интересные ключевые слова

Таким образом, проще собрать свежие и актуальные ключевые слова для своей тематики, чем "копаться в мусоре".

Более подробно ознакомиться с обзором источников ключевых слов можно в этой статье из нашей базы знаний

Поверьте - все пригодные запросы этих баз данных есть в Яндекс Wordstat и поисковых подсказках. Мы проверяли.

Итак - у нас есть 2 потенциальных источника семантики - Яндекс Wordstat и поисковые подсказки.

Алгоритм сбора облака запросов

Берем маркерные запросы и собираем по ним левую колонку Яндекса Wordstat.
Подробное руководство по сбору ключевых слов из Wordstat.
После сбора ключевых слов - очищаем полученные данные от мусорных и нецелевых запросов.
В нашем сервисе мы реализовали алгоритм автоматической очистки стоп-слов в Яндекс Wordstat - воспользуйтесь готовыми списками стоп-слов по гео-запросам и списками популярных мусорных слов по различным тематикам. Вы так же можете добавить свой список стоп-слов "под себя".
По полученному списку ключевых слов собираем поисковые подсказки - ставим второй уровень перебора и перебор русского алфавиты.
Для интернет-магазинов/коммерческих сайтов, у которых в семантике есть иностранные бренды крайне рекомендуем поставить и перебор английского алфавита.
Для всех сайтов, у которых есть числовые артикулы - рекомендуем поставить перебор цифр.
После сбора поисковых подсказок вам будет доступен итоговый файл - это как раз то, что нам нужно.

Формируем финальное облако запросов:

Финальное облако запросов будет включать в себя:

а) Ключевые слова, собранные с левой колонки Wordstat

б) Ключевые слова, полученные из поисковых подсказок

Т.е. вам нужно объединить 2 массива данных (2 файла), которые мы получили из поисковых подсказок и из Яндекс Wordstat.
Не забудьте проверить частотность собранных подсказок по Wordstat - это пригодится вам в дальнейшей работе.

Здесь вы должны иметь от нескольких тысяч до нескольких сотен тысяч целевых ключевых слов + знать их частотность по Wordstat. Уже на данном этапе понятно, что собранная база ключевых слов в 10-50 раз превышает то, что имеют конкуренты :)

Построение финальной структуры сайта - кластеризация ключевых слов.

Понятно, что привязать полученное облако запросов к маркерам вручную очень трудоемкая задача, требующая нечеловеческой концентрации и уйму времени. Именно это явилось одной из причин, по которой мы реализовали в Rush Analytics функционал кластеризации запросов по методу подобия выдачи поисковых систем.

Как работает алгоритм кластеризации ключевых слов в Rush Analytics?
Мы собираем ТОП10 результатов поисковый выдачи (Яндекса или Google - на выбор), далее сравниваем - какие запросы имеют несколько (от 3 до 8ми) общих URLв ТОПе и исходя из этих данных автоматически группируем запросы в кластеры.

Часто задаваемые вопросы по кластеризации ключевых слов:

Q: Какая еще цель кластеризации, кроме облегчения рутинной работы по группировке ключевых слов?

A: Кластеризация запросов на основе данных из поисковой выдачи - гарантирует то, что запросы, которые попали в один кластер будут УСПЕШНО продвигаться на одну страницу. Кластеризация по методу подобия ТОПов исключает попадание коммерческих и информационных запросов в один кластер.
Коммерческие запросы никогда не продвинутся на одну страницу с информационными. Частая ошибка при продвижении интернет-магазинов, которая приводит к печальным последствиям - это продвижении коммерческих и информационных запросов на одну страницу.

Q: Почему часть ключевых слов в моей задаче некластеризована?

A: Изначально сервис Rush Analytics создавался для внутренних нужд агентства Rush Agency. Наш основной профиль - продвижение крупных Ecommerce проектов, где основная задача не сгруппировать запросы "абы как", а сгруппировать их так, чтобы они успешно попадали в ТОП поисковой выдачи уже в момент индексации страниц, сделанных под семантику. Таким образом - мы кластеризуем только те ключевые слова, для которых нашлась пара, и которые реально будут продвигаться на одну страницу. Остальные ключевые слова мы оставляем некластеризованными, чтобы не вводить в заблуждение специалистов, которые работают с семантикой.

Q: Почему в кластеризации есть настройки точности? Зачем они?

A: В каждой тематике есть свой, необходимый и достаточный порог схожести выдачи, чтобы получить качественное семантическое ядро. Например в кластеризации интернет-магазинов будет большой проблемой, если при кластеризации запросов ключевые слова "мультиварка Redmond RX500" и "Мультиварка Redmond RX500-1" будут попадать в один кластер - т.к. это разные товары и они должны продвигаться на разные карточки товара. Здесь мы рекомендуем использовать точность = 5
Для инфо-тематик, например, для сайтов скидок или рецептов, такая точность не нужна - здесь задача получить максимальное количество сгруппированных кластеров для написания статей. Для таких сайтов мы рекомендуем точность 3 или 4. А для сайтов в очень конкурентных тематиках, где борьба за ТОП идет в основном по конкурентным ВЧ запросам - мы рекомендуем использовать повышенную точность кластеризации - 6 или 7, а под некластеризованные запросы создавать отдельные страницы.

Q: В чем разница в ваших алгоритмах кластеризации? Какой для какого случая использовать?

A: У нас есть 3 алгоритма кластеризации:

Кластеризация с ручными маркерами
Кластеризация по Wordstat
Комбинированный алгоритм кластеризации (ручные маркеры + Wordstat)

Работают они по одному и тому же базовому принципу - сравнению подобия ТОПов поисковых систем, но предназначены для решения несколько различных задач.

Алгоритм с использование ручных маркеров:

Данный алгоритм эффективнее всего использовать когда у вас есть готовая и довольно разветвленная семантическая структура сайта (каталога), и вы наперед знаете все маркеры и вам нужно просто понять по каким запросам вы собираетесь продвигать существующие страницы, а задачи расширения структуры сайта не стоит. В таком случае вы берете свои маркеры (названия категорий/страниц), собираете по ним подсказки, размечаете маркеры как 1, собранное облако как 0 и отправляете на кластеризацию. На выходе вы получите готовую семантику для своих категорий, а слова, которые не привязались к вашей структуре останутся некластеризованными.

Алгоритм кластеризации по Wordstat

Этот алгоритм скорее решает обратную алгоритму ручных маркеров задачу: вы еще не знаете структуры своего сайта и не можете выделить маркеры - вы просто собрали Wordstat, подсказки и частотность по подсказкам. Теперь вам нужно структурировать эту семантику, чтобы получить группы запросов под страницы будущего сайта или будущих категорий существующего сайта. В таком случае алгоритм кластеризации по Wordstat подойдет как нельзя лучше, работает он следующим образом:
Весь список ключевых слов сортируется по убыванию частотности, алгоритм пытается привязать все возможные слова из списка к самому частотному слову и формирует кластер, далее все повторяется итерационно для следующих по частотности ключевых слов.
Не волнуйтесь за то, что ключевые слова могут при первом проходе алгоритма привязаться к неверному кластеру - мы используем алгоритмы машинного обучения, построенные на бинарных деревьях, чтобы предотвратить это :)

Комбинированный алгоритм (ручные маркеры + Wordstat) - сочетает подходы двух предыдущих методов.

Этот алгоритм подходит для задачи одновременного подбора ключевых слов для существующей структуры сайта и ее расширения. Работает он следующим образом: сначала мы пытаемся привязать все возможные запросы к вашим маркерным запросам и формируем готовую структуру, привязанную к вашим маркерам. Далее, все запросы, что не были привязаны к маркерам - сортируются по убыванию частотности и группируются между собой. В результате вы получаете:
а) Готовую семантику для существующих категорий сайта
б) Расширение семантики для вашего сайта.
Мы настоятельно рекомендуем использовать комбинированный алгоритм - он дает наилучший результат.

Финализируем структуру сайта - делаем комбинированную кластеризацию

Так как мы изначально собирали семантику правильно (формируя маркерные запросы для нашего сайта) - будем использовать комбинированный алгоритм кластеризации.

Для выполнения кластеризации ваш список запросов должен выглядеть так:

Где в первой колонке находятся ключевые слова, в второй разметка маркер/не маркер (1/0), а в третьей любая частотность Wordstat (та, которую вы обычно используете для продвижения). Скачать пример файла для загрузки в кластеризатор

Подробные рекомендации, по вопросу какую частотность использовать для продвижения, приведены в этой статье

Вы можете не фильтровать вручную ключевые слова с частотностью, ниже который вы не работаете с ключевыми словами - такой функционал предусмотрен прямо в задачах по кластеризации. Функционал особенно полезен при кластеризации по Wordstat.

Определение релевантных URL для кластеров.

В результате кластеризации вы получите готовый список кластеров, под которые нужно продвигать страницы вашего сайта. Теперь главный вопрос состоит в принятии решения - на какую страницу продвигать тот или иной кластер.

Мы в Rush Agency, предпочитаем сразу продумывать структуру сайта и URL страниц и сразу привязывать маркерные запросы (а соответственно и кластеры) к страницам. Но это требует большой подготовки и просчета на этапе создания семантики - не всегда на это есть время и ресурсы. Так же для информационных порталов и интернет-магазинов не всегда можно предугадать все поисковые желания пользователей используя логические гипотезы и приходится делать кластеризацию списка ключевых слов используя только частотность Wordstat.

Специально для этого случая - мы предусмотрели функционал автоматического определения релевантных URL для кластеров.

ВАЖНО!: для автоматического определения релевантных URL необходимо ввести адрес вашего сайта при создании задачи по кластеризации

Работает алгоритм следующим образом:

После кластеризации наши алгоритмы проверят, не находится ли ваш сайт уже ТОПе по маркерному запросу - если да, то мы присвоим кластеру и всем его запросам URL вашего сайта, который уже в ТОПе и подсветим его зеленым цветом в веб-интерфейсе и в XLSX выгрузке.

Если ваш сайт не в ТОПе по маркерному запросу - мы попытаемся определить релевантную страницу на вашем сайте используя поиск по вашему сайту с оператором "site:". Найденный URL с вашего сайта будет присвоен кластеру и всем входящим в него запросам. Такие URL имею обычный цвет - черный.

Не понятно на какой URL продвигать кластер и его ключевые слова? Не можете принять решение - продвигать старую страницу или делать новую?
Не беда - мы подробно рассмотрели этот злободневный вопрос в этой статье

Вместо заключения

В результате, при правильном подходе к созданию семантического ядра, описанном в данном руководстве, а также нашим советам по SEO - вы в кратчайшие сроки получите максимально полное семантическое ядро для вашего сайта. К тому же запросы, сгруппированные по методу подобия поисковой выдачи с большой вероятностью попадут в ТОП выдачи поисковых систем уже в момент индексации (или переиндексации) страниц, на которые они продвигаются.