1.                  Одна из таких метрик – метрики про спам. Яндекс изобрел метрику «Пифаунд» (PFound) – это вероятность пользователя найти ответ в n-первых результатах десятка, релевантно. Метрики по спамности рассчитываются так же - т.е. вероятность того, что пользователь увидит какой-то спамный результат выдачи. Есть много запросов, по каждому запросу много сайтов и если в топ-10 появляется сайт, который по какому-то алгоритму из Яндекса размещается как спам, то эта метрика сигнализирует и проксима тусует выдачу, чтобы найти более релевантный ответ, т.е. убрать этот спам из выдачи.

У Яндекса есть целый кластер разметок, который он чекает и который на выдаче по этим результатам. Идеальная выдача для пользователя, где и происходит оценка, все эти метрики оценивают нахождение спамных результатов в топ-10. То, как размещаются эти результаты, там все очень просто

Что касается факторов, когда очень много SEO-оптимизации (много ссылок покупается или ПФ накручивается или сделано много вхождений), все эти вещи онлайн-метрики по качеству поиска не отслеживают. Вся SEO-шная переоптимизация не учитывается онлайн-метриками, потому что если формально сайт попадает под «нормальный сайт» (есть регион, есть релевантные страницы, все хорошо с оптимизацией, сайт грузит ПФ), то такие метрики его не видят, то есть он для метрик «нормальный сайт».

Другое дело, если вступает антиспам, который определяет человек ли это или бот. Просто роботные запросы не учитываются в расчете поведенческих метрик на выдаче. Яндекс с этим борется, иногда успешно, иногда нет. Сейчас, когда год назад был подключен трансформер в определении последовательности кликов на выдаче, взаимодействие пользователя по запросу с документами стало лучше, но не до конца. Ссылочный спам был побежден, то история с ПФ достаточно длительная, но каждый год идет итерация, и накручивать становится все сложнее.

Аспекты выдачи, оцениваемые поисковиками, что Яндекс оценивает по своим файлам? Есть группа метрик, отвечающая за аспекты: релевантность (соответствие выдачи поисковому запросу), зарекламленность (наличие избыточного количества рекламы), порно (есть ли выдача), спам, свежие документы, дубликаты документов, для мобильного поиска какие-либо оценки, какие-то технические алерты, и оценочные, то что предназначенные талог и всеми ассесорами (там такие документы присутствуют), это все тоже оценивается. Документ оценивается ассесором, и оценки не уходят в трубу , они используются как для обучения, так и для построения невыдачи, т.е. в ряде метрик используется только топ-5 используемых ассесорами документов, туда просто так встать нельзя, если сайт ассесор не разметил.

Если посмотреть, что внутри спамных метрик? Есть зарекламленность – оценка рекламности выдачи, это один из факторов, определяющих качество поиска (проксима, которая смотрит на рекламу, в этой метрике это выражено. Реклама может быть разделена на 2 группы, это всплывающая реклама (Pop-up) и реклама, отражающаяся на страницах сайта. Pop-up-ы – это, по-мнению яндекса, распространенная форма рекламы, но она должна быть оформлена определенным образом , т.е. не должно быть так, что при входе на страницу и сразу много Pop-up-ов, пользователь ничего не понимает, закрывает и уходит.

У них(Pop-up-ов) есть градация:

1.                  Popunder (открывается новое окно при попытке закрыть рекламный слой)

2.                  Clickunder (открывается новое окно при нажатии любой области документа)

3.                  Присутствие обоих типов попандеров

4.                  Отсутствие всплывающей рекламы

Реклама является одной из основных статей дохода любого сайта, при этом качественный документ, ориентированный на пользователя, не должен содержать агрессивную рекламу, отвлекающую внимание от основного содержимого. Для такой оценки используется такая шкала, как зарекламленность.

Шкала оценки зарекламленности

1.                  Оценка «чисто», реклама аккуратно интегрирована в дизайн документа и соответствует ему, не мешает просмотру содержимого и не преобладает над контентом;

2.                  Оценка «годится», реклама выделяется над общим фоном содержимого документа, но не мешает доступу к основному содержимому документа

3.                  Оценка «мешает», реклама мешает навигации, и/или закрывает содержимое документа.

4.                  Оценка «невозможно», реклама сильно затрудняет доступ к содержимому документа, который возможно и создан для показа рекламы.

В целом, очень много сайтов используют рекламу для монетизации трафика и жизни/существования, потому что они сами используют рекламу. Она должна не мешать человеку.

Градация спама: все их знают, по факту уже часто не встречаются в выдаче.

На что нацелен поисковик?:

1.                  дорвей (doorway) – создан ля быстрого перехода, в том числе и автоматического перехода, на другой ресурс.

2.                  Домен на продажу – качество поиска лучше не станет, он содержит рекламу, и представляет услуги по продаже домена, по которому доступен.

3.                  QR-спам? При оценке зарубежными ассесорами (российскими ассесорами). Содержит в списке запросов нечитаемый текст. Создан для индексации и поискового продвижения. Полезная информация на ресурсах, отнесенных к данной категории спама, отсутствует. (В Яндексе подобное не встречалось, в Google встречается, где при входе вся страница практически – это списки ключевых слов, нет никакого контента, и они все равно каким-то образом ранжируются, с этим поисковики ведут борьбу)

4.                  Спам-форум (заспамленный форум) - страницы форумов, на которых содержится спам-контент, бессмысленный набор поисковых фраз.

5.                  Спам-реклама – состоит только из рекламных блоков, ведущих на другие ресурсы.

Оценка так же выставляется для следующих устаревшихся категорий спама:

1.      Спам каталок

2.      Спам треферов. Это виды страниц-спама, которые уже устарели

6.                  Псевдосайт – документ, выдаваемый за официальное представительство организации, города, клуба и т.п., но не являющийся таковым

Мимикрия – когда копируется логотип, все технические тексты, делается такой же домен, такой же цвет, такая же информация, только имитируется что это сайт, но таковым не является. С этим поисковики ведут борьбу.

7.                  Вторконтент – содержание документа является релевантным, однако существует достаточное количество документов, содержащихся данных материал. При этом прочие документы, имеющие данное содержание, сделаны более качественно и имеет меньшее количество рекламы. Вторконтент - это взяли статью с сайта, не приложено никаких усилий, чтобы там была еще какая-либо польза, и используют рекламу. Поэтому создаются закрытые SEO-клубы, SEO-сообщества, SEO-курсы, с целью избежать подобного.

8.                  Партнерка – это документ представляет содержание по партнерской программе. Т.е. это партнерские программы либо услуги, которые не несут никакой добавленной ценности, просто предлагается воспользоваться этой партнерской программой или услугой – «переходите по ссылке партнера и решайте свои вопросы». Это тоже расценивается как категория спама. Сейчас очень много сайтов по страхованию, НФО и прочее (особенно крупных сайтов), у которых есть своя аудитория, они не размечены как партнерский спам, потому что у них есть реальная ценность самого ресурса и проекта. Как правило, есть и свое мобильное приложение, целая группа редакторов пишет уникальный контент, проводится анализ. Это не «copy & paste», поэтому ранжируется

9.                  Satellite – документ расположен на сайте, являющийся частью группы сайтов, созданных одной организацией для продвижения в поисковых системах. Это так называемые PBN или satellite – это такой тип сайта, который не должен появляться в выдаче по нормальным запросам.

10.               Агрегатор контента – содержит материалы с других сайтов, никакой ценности нет, просто берется на себя и агрегирует.

11.               Переоптимизированные страницы – градация спама, которая содержит требуемую информацию, однако имеет текст, не относящийся на прямую к объекту запроса. В некоторых случаях текст является несогласованным для включения требуемых поисковых фраз. Т.е. оптимизаторы приказали «налить воды» в тексте и поставить туда какие-то ключи, которые, по их мнению, должны поднять сайт в топ. По итогу получается несогласованная «портянка».

12.               Технический спам – спам, который содержит информацию, непредназначенную для индексации. Открыли ботом индексацию того, чего не надо, для пользователя это не принесет ничего хорошего, поэтому все технические неполадки SEO-шники просят закрывать владельца сайта, когда делают технический аудит в 1-2-3 месяц анализа сайта. Все технические «портянки», которые делаются клиенту, не должны утечь в поиск как технический спам.

13.               search result – результаты поиска. Содержит результаты поиска по сайту или по поисковой системе. Если ozon.ru или 2gis.ru открыли результаты поиска, то скорее всего будет получено в 2 раза больше трафика, потому что очень много трафика на эти сами сайты. Можно сделать грамотную систему, которая будет отдавать релевантные URL-ы под все эти запросы, ничем не отличающиеся от витрин, созданных и оптимизированных веб-мастерами изначально. Поэтому, необходимо смотреть, что за сайт, как все сделано.

14.               Спам или спам-контент – малоинформативный документ, содержащий большое количество рекламы (здесь проходит градация между полезностью и рекламой, т.е. важно какая доля рекламы, какая доля полезной информации). Если есть спам-контент, все «завешано» рекламой, используется скопированный у кого-то текст, плюс текст без структуры (были даны одни ключи, много «воды») – ранжироваться не будет.

15.               link farm – ссылочная помойка – автоматически созданный каталог ссылок или часть группы документов, все ссылки которых являются замкнутыми, ссылаются только на прочие документы, входящие в группу. Идет из 00-х годов, когда можно было сделать такую ферму/ссылкопомойку, и это работало отлично. Такого рода страница в выдаче не должна быть.

16.               Обман пользователя – содержимое документа вводит пользователя в заблуждение, например, контент анонсируется как бесплатный, но при попытке доступа оказывается платным. Текст документа генерируется случайным образом и т.д.

Есть устаревшая градация спама: спам-каталог, спам-реферат, спам-доска объявлений, просто доска объявлений, просто каталог, просто реферат, платный контент. Эта градация сейчас не используется.

SEO-шники, которые продвигают коммерческие сайты, беспокоятся о следующем:

1. Что будет, если поставить много анкорных ссылок, не заспамится ли?

2. Что будет, если начать крутить на себя ПФ, не забанят ли сайт?

3. Что будет, если поставить по текстовому анализу не 20 вхождений в анкор-исходящих ссылок на листинге, например, название товара, а 150, заспамится ли?

Необходимо исходить из того, что: т.к. сайт уже может находится в выдаче и уже хорошо решать потребности и проблемы пользователей, даже если переспамить, это не критично.

В случае ПФ, накрученный ПФ не учитывается, сайт скатывает вниз (если некачественный контент, некачественная оптимизация, нет ядра реальной аудитории).

Что касается ссылок, давно не было, до этого пару лет публичная «порка» поисковой системы, отучала людей заходить в САПы и оставлять там месячные бюджеты на продвижение, а перенаправлять деньги в контекстную рекламу. С этой задачей Яндекс справился, люди перестали массово закупать ссылки, поэтому можно их вставить для Google на себя. По алгоритмам Яндекса, сложная система, которая оценивает у внешних ссылок доноров множество характеристик, и если страницы доноров не соответствует этим характеристикам, эти ссылки просто не учитываются. Какой-либо градации по «зашкаренным» донорам, которые ссылаются и получается «минусинск», сейчас нет. Скорее всего, этого фильтра сейчас нет, не существует как такового, потому что Яндекс просто не учитывает эти ссылки. Он реально понимает, что есть множество ссылочных бирж, но сейчас при нынешних алгоритмах эти ссылки вносят минимальный вклад в оценку качества поиска, и Яндекс просто «забил» на них. Поэтому ссылки надо покупать сейчас у Google.

Что касается всех текстовых фильтров? На сегодняшний день не существует никакого инструмента, который покажет , что у вас есть текстовый фильтр, что наспамили. Можно по-разному, хитро склонять выдачу, но с тех пор, как поиск переехал на нейросети, все поисковые операторы, которые в 2016 г. хоть как-то работали, сейчас не работают вообще. Все конструкции, которые можно построить при помощи них, ничего, по сути, не показывают.

Под каждый запрос строится своя уникальная формула ранжирования в Яндексе, при том есть простые фичи, которые еще из старого поиска остались, есть новые фичи (нейросетевые).

Существуют границы спама, это индивидуально под каждый запрос, тут надо делать операциями: поставили текст, оптимизацию «завезли», и дальше необходимо смотреть, что будет. Если никак не ранжируется вообще, либо страница поменяла релевантность (по всем запросам другая страница), то возможно есть какие-либо проблемы, и необходимо пересмотреть свою оптимизацию. Либо же можно создать абсолютно новую страницу, залить на нее весь текст, который уместен, и посмотреть, что будет. Если она сразу в первую неделю войдет в индекс, в ранж и будет ранжироваться, а потом через неделю-две результаты откатятся, это может говорить о том, что наложили на страницу какой-то пост-фильтр, и это все не так классно. Поэтому, можно работать операциями, оптимизировать страницу, смотреть как на это откликается поиск, если все хорошо, то можно довставить вхождений, дописать, что-то поменять местами. Если сменилась релевантность, либо вообще ничего не ранжируется, тогда необходимо пересматривать весь текст и все блоки. Первоначально оценивают по текстовому анализу для попадания в топ 10. Когда уже попали в топ-10, то в принципе, текстовый анализатор уже никак не поможет. Уже необходимо делать разрез либо по страницам, по каждому блоку на странице, какие там есть вхождения, сквозной блок/несквозной, какие блоки, элементы закрывают на странице (в сниппет уходят, для людей нужны), и исходя из этого делать оптимизацию.

С Google ситуация иная. Там работают ссылочные алгоритмы по PR, Google не может сразу в онлайне пересчитать всё, потому что это итерационные алгоритмы, там апдейты идут раз в несколько месяцев, в полгода, разные апдейты, в зависимости от того, что они выкатывают. Суть простая: берутся запросы, из этих запросов извлекаются какие-то аспекты, метрики, потом берутся сайты в интернете (страницы, где есть аспекты, эта информация), и строятся сверху алгоритмы, которые основаны на PR. Это достаточно долго все пересчитывается, в итоге имеется не такая волатильная выдача, как в Яндексе, которая подвержена влиянию ПФ сильно. Т.е. необходимо сделать качественные ссылки и делается много полезного тематического контента по теме.

Проводили исследование по GPT-2 и GPT-3 моделям (в сентябре), модели очень много генерировали неправдоподобных ответов на вопросы, т.е. сейчас качество текстов, которые пишут люди, очень высокое, не надо думать, что модели массово заменят сложные темы.

Google-у надо создать не одну страницу по теме, а хотя бы 10-20-30 страниц, смотря на сколько ниша позволит. Тогда Google поймет, что документ или сайт про это, и будет ранжировать домен.

Вопросы.

·                    Какой инструмент показывает наиболее достоверно спам-текст? По опыту, какие данные сейчас в топе? Через что самостоятельно проверяются текста? Все проверяется самостоятельно на глазок, или в сервис turgenev.ashmanov.com, он показывает как раз согласованность конструкции, деепричастные обороты в русском языке. Поменять неграмотного копирайтера, если он пишет не согласованно. SEO-шные метрики – это просто количество вхождений. Оценка может делаться по-разному:

1. анализ простых вхождений, которые есть,

2.можно брать всю семантику, которая должна идти на страницу (т.е. списки ключевых слов), разбивать на униграммы и смотреть покрытие этими униграммами текста, сколько уникальных униграмм в тексте встречается. Т.к. текстовый анализатор анализирует то, что стоит в топе, а не то, как надо делать. Поэтому подгонять под топ супер-значения не имеет смысла, надо просто покрывать всю семантику текста.

3. Оценивать спам косвенными вещами, например, в текстах по займам должны быть раскрыты такие-то подтемы, встречаться такие-то запросы, такие-то слова, такие-то слова из запросов. Необходимо смотреть, если это все покрывается, грамотно написано, то это идет на страницу.

Какой-либо универсальной чекалки нет.

·                    Мнение по поводу сервиса главред (glvrd.ru)?. Никакого отношения ни к чему не имеет. Не использовался. Рядовые SEO-шники за контент не отвечают, есть человек, который общается со всеми копирайтерами и он супер прокачен, знает все тематики, все вертикали, знает, как работать с копирайтерами, как оценивать. Если он ставит им задачу и не до конца понимает, что от него хотят, приходят некачественные тексты (недостаточное количество символов, не та структура, не раскрыта структура, не употреблены ключевые слова, то текст переделывается)

·                    В Яндексе есть способ определять спам-тексты: у быстрых ответов есть свой отдельный слой ранжирования, отдельные индекса, и соответственно, когда накладывают фильтр, то он накладывается только на основной документ. При этом быстро-ответный слой остается естественным, поэтому показывается, условно, от обычного url-а ноль, а от быстроответного url-а все остается на том же уровне, на котором есть. Сейчас все быстроответные выпаливаются в вебмастере, необходимо смотреть url, если там быстроответных 1000, а обычного 0, то значит это пост-фильтр. Но какой пост-фильтр – надо объяснять на конкретных примерах.

В вебмастере можно посмотреть infact-тип ответа. Действительно, в Яндексе немного по-разному работает алгоритм, который отправляет в нулевые сниппеты куски текста. Существуют генеративные нейронные сети y1 и y2 (аналог GPT-3 и GPT-4) в «яндексовском» развитии, и наблюдалось на многих сайтах, когда сносят текст со страницы, но текст остается в нулевом сниппете, он там может находится до полугода, т.е. это отдельный ранжировщик. Таковы особенности работы Яндекса. По многим коммерческим и товарным запросам подобного не будет, но по темам «страхование», «беттинг» и другие ВЧ темы может такое подойти.

·                    Метрики в выдаче. Все чекалки, что чекают позиции, не показывают объективной картины.

12 метрик, показывающих то, насколько сайты раздублированы, сколько находится url-ов одного домена, присутствуют ли они в нулевом сниппете одновременно и т.д., и т.п. Количество результатов выдачи больше одного url-а с домена, если топ-30, наличие нулевого сниппета, одновременное нахождение в нулевом сниппете, будучи в обычном url-е для конкретного домена и для всех доменов, наличие нулевого сниппета по ВЧ запросам и другие метрики. Т.е. к обычным SEO-позициям надо прикрутить такие метрики, чтобы видеть, насколько сильно меняется выдача, особенно в Google от up-date к up-date, чтобы понимать, что там забустилось, сильные агрегаторы или что-то в этом роде. Оценка продвижения будет как раз рост в этих метриках, когда у хоста будет появляться и больше нулевых сниппетов, и больше разгруппировки выдачи, будет ранжироваться в топ-3, потому что сейчас просто ранжироваться в топ-3 в Google недостаточно.

Коммерческие сайты плотно завязаны на трафике. К ним добавляются вещи, которые распознают запрос как коммерческий. Коммерция делится на два типа: та, которую можно купить онлайн (вся товарка и электронные услуги, просто делают каталог с возможностью купить на сайте через карту, и это будет ранжироваться), и та, которую покупают в офлайне. Первое, на что смотрит Яндекс – геопривязка, если разные регионы, например в Москве зарегистрирован, не будет ранжироваться коммерческое предложение из Санкт-Петербурга. Самый первый уровень ранжирования: когда из всего миллиона кандидатов Яндекс выбирает по 11 факторам гео-релевантности. Гео-фактор очень важен. Дальше пользователь должен сам решить, какой хост ему интересен. Если сделать удобную онлайн-витрину с возможностью купить онлайн, то люди начинают этим пользоваться, и выбирать эту выдачу. Т.е. это CTR и поведенческие настройки (длинные клики и количество возвратов) – если очень утрированно.

«Колдунщик» - возможность ранжироваться и конкурировать для всех маленьких магазинов не за счет того, что много людей приходит (что главное в алгоритме), а за счет других характеристик (например, за счет лучшей цены). Т.е. если сделать цену лучше всех и пройти проверку в Яндексе, можно получить бейджик и высветиться на первом месте, соответственно, люди будут покупать.

·         От поведенческих характеристик больше зависит по хостовому или по страничному? И есть ли смысл подкручивать с учетом этого сказанного? Если много тысяч товаров в магазине и запросов, если все накручивать, то можно разориться. Какой-либо один кластер можно покрутить.

Как поняли какой пользователю нужен выбор? Есть первичные вещи, которые были собраны с поведения на выдаче. Получилось, что по таким-то запросам такой-то тип страниц дает хороший поведенческий. Если представить, что по коммерческим запросам и агрегаторы интернет-магазинов изначально получили хорошие оценки, предварительно. Есть метрики качества, что они хотят. Эти метрики качества, офлайн метрики – от чувства прекрасного до самих Яндексоидов. Если по каким-то причинам, они решили, что по коммерческим запросам товарами должны быть выдачи агрегаторами, они могут провести тест, замерить ПФ на выдаче, когда у них показываются просто агрегаторы и интернет-магазины, и посмотреть, если там есть статистически значимое отклонение, и агрегаторы выигрывают. Вообще, в целом, верхний уровень метрики – «счастье пользователя», оно выражены еще в том, сколько человек после серфинга на Яндексе вернется опять в Яндекс и будет серфить. Т.к. надо продавать рекламу, держать большой пул людей, который им пользуется. Поэтому подсовывают в топ то, что либо монетизируется, либо от чего люди возвращаются потом на поиск и покупают. Вполне возможно, что был проведен тест, и выяснилось, что агрегаторы рвут. Интернет-магазины с маленькими возможностями по доставке и по сервису (нет примерочных, доставка дорогая, ассортиментная матрица маленькая, скидок нет) не выгодно показывать наверху. В Яндексе сейчас оценивается, будет ли конверсия, для этого берутся множество поведенческих метрик, метрик по запросу, коммерческих метрик, не важно какие будут магазины, если конверсия в топ-10 будет выше, то эти магазины будут там стоять.

Первично в Яндексе в выдаче важно качество хоста. Оптимизация, которая есть на странице – вторична.

Также мы выяснили, на основании каких данных сервисы могут определять коммерческость запроса.

Теперь давайте разберем пример, где все вышеописанные случаи не работают.

Для начала посмотрим вот на этот скрин из ниши микрозаймов

На скрине кластер запросов в разные периоды времени, кластер сделан по харду по 3-м урлам.

Во-первых, тут мы видим, что сервис определяет недостаточную коммерческость запросов. Практически за все периоды наблюдения это происходит, потому что заложенные в алгоритм сервиса механизмы не распознают сайты в топе, как коммерческие (у них мало встроенных коммерческих признаков), хотя в данной тематике это маловероятно.

Во-вторых, с 2020 года мы видим, что 80% запросов определены, как геонезависимые. Мы знаем, что если запрос геозависимый, то скорее всего он коммерческий. Здесь получается, что запросы всё-таки коммерческие, но геонезависимые. Стоит также обратить внимание на то, что все запросы за весь период наблюдения находятся в одном кластере по харду. Почему же так происходит?

Все сайты в топе агрегаторы, которые предоставляют услугу онлайн. Пользователю не важно из какого региона заказывать эту услугу. 

Тут нужно немного вспомнить про подсветку. Зачем Яндекс ее вводил?

“С сегодняшнего дня Яндекс в результатах поиска указывает город, к которому относится сайт, и пользователь может с первого взгляда определить, к какому региону относится найденный ресурс. Это происходит по геозависимым запросам и запросам с явным указанием региона. ”Блог Вебмастер.Яндекс“ и

Очевидно, что не для каждого запроса важно учитывать регион пользователя и сайта, во многих случаях более значимы другие признаки: авторитетность, качество контента и т.п” Блог Вебмастер.Яндекс

Т.е. это сделано для пользователя, чтобы он смог сразу определить региональную привязку сайта. Но, как мы видим, сейчас для ряда запросов это не актуально, и в результате, мы видим смешанную выдачу из локальных и “просто” коммерческих документов, хотя обычно вы видим смешанную выдачу по коммерческим и инфо документам.

Давайте подумаем, какие такие другие признаки нужны, чтобы можно было не учитывать регион сайта?  

Это только ПФ. Т.е. учитываются клики по документу и домену из разных регионов, и если пользователь удовлетворен, то запросы начинают менять “окраску”, и в выдаче по многим регионам начинает вылезать данный сайт.

Все дело в том, что если у нас один домен, то все региональное поведенческие работают на сайт в целом, а не на поддомены.

Тут логика простая, документы показываются по группе запросов во всех регионах РФ, получают много кликов и бустят связки запрос+хост, документ+любой запрос и связки этих связок с разными регионами.

В результате документ, на который кликают, начинает ранжироваться по всё большему количеству запросов, и сам хост в целом неплохо себя чувствует по многим запросам.

Такую же тему по влиянию ПФ на ранжирование можно заметить у больших федеральных сайтов на поддоменах. Например, у сайта много региональных поддоменов. Для сайта делается ТВ реклама в Москве для домена domen.ru. После этого в других регионах, например, Самаре, по коммерческим запросам начинает всплывать домен domen.ru, вытесняя samara.domen.ru. Я видел такое, когда мы делали рекламу на тв для сайта pomogatel.ru в Москве. Московский сайт начал ранжироваться в  других регионах, хотя у нас были и региональные поддомены, до этого только они получали клики из регионов. 

Я решил проверить какие URL находятся в выдаче по Москве на выборке из 1695 запросов без топонимов.

Для начала я спарсил топы и выбрал самые часто встречаемые URL из всех результатов выдачи, получил топ URL, которые собирают больше всего запросов в топ 10. Потом разметил в топе по каждому запросу URL, где была подсветка топонима. (слайд 1 https://bit.ly/38VZGvs)

Далее посчитал количество запросов, которое идет на каждый конкретный URL с подсветкой и без подсветки топонима, и пробил привязку домена в Справочнике и Вебмастере по Москве и России. 

Получились уже интересные данные, но мне хотелось посмотреть, какой расклад по этим запросам и этим URL будет в регионе. Я добавил в единую таблицу данные по Екатеринбургу. (слайд 2 https://bit.ly/2C7WGzR)

Все столбцы по порядку:

1. URL
2. URL который показывается в топ 10 только по запросам без подсветки топонима.
3. Домен
4. Количество запросов на URL по Москве
5. Количество запросов на тех же самых URL по Екатеринбургу
6. Сколько запросов по URL с подвеской топонима
7. Количество запросов без подсветки на URL
8. Всего результатов выдачи (нам это не нужно)
9. Привязка региона РФ в вебмастере
10. Привязка региона РФ в справочнике
11. Привязка региона Москва в вебмастере
12. Привязка региона Москва в справочнике

Из таблицы мы видим, что есть такие страницы, которые одновременно ранжируются и по запросам с подсветкой топонима и без. Как правило это страницы гигантов Banki.ru, Sravni.ru, но есть и страницы которые ранжируются только по запросам без подсветки топонимов - это топовые страницы VseZaimyOnline.ru и более мелкие сайты.

Также видно что страницы, которые ранжируются по запросам без подсветки топонимов, собирают хорошую видимость и в регионе Екатеринбург, а страницы которые собирают запросы и с подсветками и без в Екатеринбурге теряют значительную видимость, так как у этих сайтов есть региональные оптимизированные страницы и только они занимают топы.

Отдельно стоит обратить внимание на привязку к регионам, в основном все топовые сайты привязаны к Москве через справочник и к региону Россия в вебмастере, но есть и сайты вообще без привязки, как правило, это сайты одностраничники с вхождением домена под конкретный запрос.

Ну и последнее, куда нужно смотреть - это оптимизация топовых страниц. У сайта VseZaimyOnline.ru очень много страниц без вхождений топонимов и они прекрасно ранжируются во многих регионах и собирают кучу запросов. (слайд 3 https://bit.ly/2AT9Hg7)

Посмотрите, как меняются топы по нашим запросам. Московский поддомен moskva.bankiros.ru начал терять свои позиции и начал уступать своему основному домену bankiros.ru, где все страницы сайта не содержат топонимов вообще.

Также в лидеры выходит VseZaimyOnline.ru, zajmy-on-line.ru и другие. Первый сайт привязан в вебмастере к России и в справочнике в Москве, а второй сайт просто привязан к России в справочнике. (слайд 4 https://bit.ly/38Wnkrt)

Если мы построим срез по %WS в топ 10, то домены будут плюс минус такие же, с одним исключением, мы сразу же увидим накрутчиков :), так как они накручивают ВЧ запросы. Но их сейчас осталось парочку на всю выдачу (это очень круто), пол года назад 7 из 10 сайтов в топе были накрутчики. Кто знает, может быть такая ситуация сложилась за счет накрутчиков или люди просто перестали брать займ и хотят только посмотреть.

В общем, что могу порекомендовать всем, кто будет продвигаться в этой тематике:

1. Лучше сделать структуру изначально на одном домене. Все старые сайты, сделанные на поддоменах постепенно будут падать из выдачи.
2. Не доверяйте сервисам с первого взгляда, нужно проводить более детальную проверку ниши. Не нужно делать кластеризацию запросов тупо по топам. Сейчас во всех публичных кластеризаторах на рынке работают простые алгоритмы, которые не берут во внимание ни один параметр, кроме как совпадение по топам. Вам нужно будет самим парсить выдачу по нужным запросам и смотреть распределение по топовым хостам и документам, далее смотреть их оптимизацию, региональную привязку и делать выводы о том, какие запросы вы возьмете в продвижение, а какие нет.
3. Для начала можно сделать структуру без региональных страниц и посмотреть, какой % запросов войдет в топ. Региональные страницы можно сделать если часть запросов не лезет в топ.
4. Важно понимать, что в этой тематике почти 60% запросов это накрутка. Важно следить за всеми новыми накрученными запросами и быстро делать под них оптимизацию. Сейчас самый топовый запрос - “быстрые займы на карту онлайн без отказа и без процентов срочно” ;)
5. Не стоит обращать внимание на сайт Банки.ру, он стоит в топе по любым видам запросов просто за счет своего type-in трафика на домен и в целом, большого CTR хоста по конкретным документам (прямо, как в рекламе “Будешь в топе, несмотря на смену алгоритмов!”)
6. Скажу, что сейчас нормальным накрутчикам стало легче жить. Важно отслеживать их сайты и не брать их во внимание при анализе сайтов в топе.
7. Старые сайты, которые заточены на гео зависимую выдачу (через поддомены), по прежнему могут находится в топе по геонезависимым запросам за счет текстовых факторов, а не за счёт привязки к региону.

И отдельные выводы по теме:

1. Если вы планируете делать федеральный сайт и рекламу проекта не только в интернете, но и на радио или ТВ, лучше сделать изначально всю оптимизацию на одном домене. Это сразу даст сильный буст в будущем и для Яндекса, и для Google. 
2. Все сайты агрегаторы, которые предоставляют коммерческие услуги онлайн (мфо, осаго, и т.д.), по сути продвигаются по гео-независимым коммерческим запросам. Поэтому тут обязательно нужна привязка к региону Россия и соответствующая оптимизация на страницах.
3. Сейчас много тематик, где накручивают ПФ. Перед продвижением нужно предварительно посмотреть выдачу в нише и подумать, по какой причине в топе стоят те или иные документы. 
4. Для сайтов, у которых под каждый регион есть свои точки выдачи или адрес, можно не делать поддомены. Все страницы сайта будут нормально ранжироваться во всех регионах. Главное сделать привязку домена в справочнике под все регионы и страницы контактов/пунктов выдачи на сайте под каждый регион.
5. В тематиках, где есть геонезависимые коммерческие запросы не работает стандартная логика по объединению кластеров. Нужно дополнительно разделить топы по типам страниц с разной региональной привязкой документов в выдаче и брать для анализа только определенные страницы.