Рейтинг GEO видимости в нейросетях

В августе мы в FastUp замерили, каких строительных компаний Беларуси называют нейросети. В октябре повторили. Результаты первого и второго замера нельзя просто вычесть друг из друга: часть цифр в таблице окажется шумом, а часть вообще не про компании. Ниже разбираем, на чём мы споткнулись и как это исправили.

Как устроен замер, который мы сравниваем?

Всего в замере 156 ответов нейросетей на одну дату. Мы берём 13 запросов вроде «Кто в Беларуси строит каркасные дома под ключ?» и задаём их Google AI Overview, «Обзору от Алисы» и ChatGPT с веб-поиском. На каждый запрос Google и Алиса отвечают по пять раз, ChatGPT по два. Выборка компаний — все 328 записей категории загородного строительства в Яндекс.Картах по Беларуси.

Показатель один: доля ответов, где нейросеть назвала компанию. Если компанию назвали в 24 ответах из 156, её доля 15,4%. Формулы описаны на странице как мы считаем видимость.

Почему мы считаем долю ответов по всем прогонам?

Одинаковый список брендов нейросеть выдаёт меньше чем в одном случае из ста, а в том же порядке меньше чем в одном из тысячи. Это данные SparkToro и Gumshoe.ai: 600 участников, 12 запросов, 2 961 прогон. Партнёр исследования продаёт трекинг ИИ-видимости, работа не рецензирована.

Для нас вывод простой. Первое или пятое место в одном ответе ничего не говорит о компании: в следующем прогоне порядок поменяется. Зато если компанию называют в 15 ответах из 100, это уже можно сравнивать с другой датой. Поэтому место в списке мы не считаем вообще.

Что делать, если сервис в одном из замеров дал сбои?

В августе из 156 ответов 33 оказались сбоями сервисов, а в октябре сбоев не осталось совсем. Мы не переснимали августовские ответы, так что для сравнения у нас были 123 рабочих: Google 39, Алиса 58, ChatGPT 26. Перед октябрьским замером мы повторяли неудачные запросы, пока не получили полные 156.

Выходит, что в октябре ответов на четверть больше, и этот перекос портит сравнение. Больше ответов даёт больше шансов, что в них попадёт какая-нибудь новая компания.

Чтобы не гадать, мы пересчитали обе даты на одинаковой базе: те же системы, те же запросы, по 123 ответа в каждую. Картинка получилась такая:

• в августе названо 51 компания, в октябре 49;
• впервые появились 14 компаний, пропали 16;
• «Лидер Строй» набрал 22 упоминания в августе и 17 в октябре.

На полной базе у него было иначе: 22 и 24 упоминания. Доля при этом упала с 17,9% до 15,4%, потому что знаменатель вырос с 123 до 156. Один и тот же лидер в одном срезе растёт, в другом падает. Рост HiDom с 0,8% до 13,5% и провал «Рувитстроя» с 11,4% до 0,6% остались на обеих базах. Полная таблица и разбор причин — в исследовании.

Сколько процентных пунктов считать шумом?

Один ответ в октябрьском замере весит 0,64 процентного пункта: это 1 делить на 156. Значит, изменение в 1–3 п.п. — это от одного до пяти ответов, и по нему нельзя сказать ничего. Мы такие сдвиги в выводы не берём.

Если вам показывают рейтинг, где «доля выросла на два пункта», спросите, на скольких ответах он построен.

Как засчитать упоминание: по названию или по сайту?

Мы засчитываем упоминание, если в ответе есть название компании или домен её сайта. У такого подхода есть три ловушки, и мы попались во все.

Первая: слишком общие названия. «Деревянные дома» совпадут с обычной фразой «деревянные дома из бруса» в любом ответе про стройку. Такие названия мы засчитываем только по домену.

Вторая: границы слова. «Барнхаус» находился внутри чужого названия «БарнХаусБел». Теперь границы проверяются с обеих сторон.

Третья: разные формы одного названия. «Зодчий» и «Зодчие» без склейки считались двумя компаниями.

После каждого прогона мы читаем глазами несколько сырых ответов и сверяем с найденным. Однажды автоматика насчитала «бренды» в фразе Яндекса про способы поиска жилья, где были «Рекомендации знакомых» и «Строительные выставки». К компаниям это отношения не имело.

Что делать с дублями в Яндекс.Картах и компаниями без сайта?

В нашей выборке есть Вирабуд и Woods.by: две записи в Яндекс.Картах, которые ведут на один сайт woods.by. В рейтинге они стоят отдельными строками, поэтому упоминание домена засчитывается обеим.

Обратный случай — Rkts-stroy. В записи Яндекс.Карт у компании нет сайта, поэтому мы считаем её только по названию. При этом сайт rkts-stroy.by нейросети цитируют чаще любого другого: 73 раза в октябре. То есть реальная видимость компании, скорее всего, выше, чем показывает таблица. К третьему замеру мы допишем сайт в выборку.

После первого прогона отрасли стоит проверить, кого нейросети называют, но кого нет в исходной выборке. У нас так всплыл конкурент, которого в экспорте из Карт не было вообще.

Почему блок Алисы нельзя считать обязательным?

Алиса показывает блок с ответом не на каждый запрос. В августе он был в 22 ответах из 58, в октябре в 16 из 65. Google AI Overview в обоих замерах показывался 39 из 39 и 65 из 65.

Это нормальный результат замера, мы его не правим. У компаний, которые держались на Алисе, падение может объясняться тем, что блок стал появляться реже. Например, у Woods.by 7 из 8 августовских упоминаний пришли именно оттуда, и в октябре их осталось 2. Число названных компаний в Алисе упало с 28 до 13, в Google выросло с 31 до 40.

Свой сайт или чужие страницы: на что смотреть в источниках?

Рядом с долей ответов мы смотрим, с какой страницы нейросеть взяла информацию о компании. У «Лидер Строя» 22 из 24 октябрьских упоминаний опираются на его собственные страницы. У «Эсбруса» 21 из 21.

У «Спектра» картина другая. Его сайт spect.by не был источником ни разу ни в одном замере. В августе 10 из 21 упоминаний стояли в ответах, которые опирались в том числе на сайт ruvitstroy.by, а в октябре этот сайт из источников пропал. Упоминаний стало 11. Причинность мы не доказывали, но если компанию называют с чужих страниц, она зависит от того, что с этими страницами произойдёт.

Поэтому две даты сравниваем и по числу упоминаний, и по тому, откуда они взялись.

Что в итоге брать из сравнения двух замеров?

Мы выносим для себя четыре правила:

1. Сравнивать только ответы без сбоев и, если базы разные, пересчитывать на одинаковую.
2. Считать долю ответов по многим прогонам, место в одном ответе не считать.
3. Изменения в 1–3 п.п. считать шумом.
4. Смотреть на источники и на то, как часто система вообще показывала ответ.

Если вам нужен такой замер для своей компании или разбор того, почему нейросети не называют вас, мы делаем это в рамках GEO-продвижения.