Задал нейросетям один вопрос 300 раз и получил 65 разных ответов

Когда бизнес спрашивает «а что нейросети говорят про мой бренд», обычно делают одну вещь: открывают чат, задают вопрос, смотрят ответ. Один раз.

Я решил проверить, сколько правды в таком замере. Взял один промпт и прогнал его по 100 раз через три модели: DeepSeek V3, Gemini 3.5 Flash и GPT-5.2. Триста ответов на один и тот же вопрос, в один день.

Коротко, что получилось:

• у всех трёх моделей одинаковое ядро из трёх брендов, которое не сдвинуть;
• хвост у каждой свой, и три бренда существуют вообще только для одной модели из трёх;
• самая точная по фактам модель оказалась не самой стабильной – точность и повторяемость это разные вещи, которые улучшаются разными способами;
• первое место в списке у каждой модели своё, то есть «быть первым в ответе ИИ» как единой позиции просто не существует.

Методика

Нишу взял нейтральную и проверяемую, чтобы не подгонять выводы под свою категорию: хостинг для интернет-магазина в России.

Промпт (один и тот же, дословно, все 300 раз):

Посоветуй 5 хостинг-провайдеров для интернет-магазина в России. Ответь нумерованным списком, для каждого укажи в одну строку: название – цена самого дешёвого тарифа в рублях в месяц – год основания компании.

Модели:

Температуру не задавал: настройки по умолчанию, как у обычного пользователя API. 30 июля 2026, по 100 запросов на модель, 5 параллельно. Прогон занял от 2 до 4,5 минут на модель и стоил единицы центов.

Про цену и год основания спросил специально. Это проверяемые факты, по которым видно не только «модель назвала разные бренды», но и «модель противоречит сама себе про один и тот же бренд».

1. Ядро одинаковое у всех, хвост у каждого свой

Три бренда называют практически всегда все три модели. Дальше начинается зона, где присутствие превращается в лотерею, причём разную у разных моделей.

Отдельно стоит посмотреть на нижние четыре строки. AdminVPS, Hoster.ru, Nic.ru и Hostland – это бренды, которые для части моделей не существуют вообще. Не «редко называются», а ноль из ста. Для такого бренда вопрос «видит ли меня ИИ» не имеет одного ответа: у Gemini он в списке каждый шестой раз, у DeepSeek его нет никогда.

Концентрация внимания при этом почти одинаковая:

То есть на верхушку у всех уходит примерно 60% упоминаний. Отличается только длина хвоста: Gemini знает десять компаний и всё, у остальных двух – по два десятка, из которых половина всплывает раз или два.

2. Точность и стабильность – это разные вещи

Сначала стабильность состава:

Теперь точность. Год основания сверил с сайтами компаний и открытыми источниками:

Складываем и получаем перевёрнутую картину:

• Gemini 3.5 Flash – идеален по фактам (100%) и стабильнее всех (41%), но знает всего 10 компаний. Он просто пересказывает один заученный список.
• GPT-5.2 – почти не врёт (97%), но состав скачет: 30 разных наборов, каждый пятый прогон уникален.
• DeepSeek V3 – худшее из двух миров: и врёт, и скачет.

Логика понятная. Веб-поиск чинит факты, потому что модель их не вспоминает, а подсматривает. Но он же добавляет нестабильности: выдача под каждый запрос чуть разная, и состав ответа едет вслед за ней. А узкая модель без поиска выглядит стабильной просто потому, что ей нечего перебирать.

Для замера видимости отсюда следует важное. Претензия «модель нас не назвала» имеет разный вес в зависимости от того, есть ли у модели поиск. У модели без поиска это приговор: вас нет в её памяти, и чинится это годами присутствия в источниках, на которых её учили. У модели с поиском это сегодняшняя выдача, и чинится обычным контентом за недели.

3. Сколько прогонов нужно, чтобы топ перестал меняться

Считал так: беру первые N прогонов, строю по ним топ-5, сравниваю с эталонным топ-5 по всем ста.

Разброс огромный: Gemini успокаивается на четвёртом прогоне, GPT-5.2 на двадцатом, DeepSeek только на семьдесят первом.

И обратите внимание на провал DeepSeek на пятидесятом прогоне. Это не ошибка замера. SpaceWeb (44%) и FirstVDS (39%) идут почти вровень, и порядок между ними переставляется от выборки к выборке – сколько ни добавляй прогонов.

Вывод не «нужно сто прогонов», а более скучный и более полезный: 10-15 прогонов дают устойчивую картину ядра, но не разрешают разницу между близкими соседями. Если два бренда отличаются на 5 процентных пунктов, эта разница внутри погрешности, и гнаться за ней бессмысленно.

4. Первую строку каждая модель отдаёт своему бренду

Кто оказался первым пунктом списка:

Три модели, три разных лидера, и все три из одного и того же ядра. Reg.ru, который у DeepSeek первый в двух третях ответов, у Gemini первый лишь в 7%.

Практический смысл: «первое место в ответе ИИ» не существует как единая позиция. Если вы меряете видимость и отчитываетесь про «мы на первом месте», то обязаны говорить, у какой модели, иначе цифра ничего не значит.

5. Цену придумывают все три

Разброс между минимальной и максимальной ценой одного и того же тарифа за 100 прогонов, и в скобках – сколько разных чисел выдала модель:

DeepSeek выдал до 31 разного числа на один тариф. Он цену не помнит, он её каждый раз заново генерирует в правдоподобном диапазоне.

Отдельная оговорка про нижнюю границу GPT-5.2 в 10 ₽ у Beget. Это не галлюцинация: модель нашла в вебе акционную цену и честно её процитировала, а в другом прогоне взяла обычный тариф за 520 ₽. Формально обе цифры настоящие. Но пользователю, который спросил один раз, достаётся одна из них без предупреждения, и разница в 52 раза.

6. Год основания: где именно врёт модель без поиска

✗ – самый частый ответ модели не совпадает с правдой.

Про Sprinthost DeepSeek назвал 12 разных годов, разброс с 2000 по 2013, а правильный 2005 прозвучал в 5% случаев. Про FirstVDS правильный год не прозвучал ни разу за 100 прогонов: девять вариантов, все неверные.

Закономерность та же, что и с составом: чем известнее бренд, тем точнее факт. Модель твёрдо знает три компании и плавает во всём остальном. Ровно там, где она плавает, и живёт большинство бизнесов.

Плюс 13 прогонов DeepSeek с прямым мусором в списке «российских хостингов»:

• Hetzner (5 раз), Hostinger (3), A2 Hosting (1) – реальные компании, но не российские. В одном ответе модель сама написала «у A2 Hosting нет серверов в России» и всё равно оставила его в списке. Ещё в трёх прогонах появился несуществующий «Hetzner с локализацией для России».
• Agnihost, CloudHost, Айхост, Хостинг-Телеком – не подтверждаются ни в одном каталоге хостингов. «СloudHost» модель вдобавок написала с кириллической «С» и приписала основание в 2020 году.

У Gemini и GPT-5.2 такого мусора ноль.

7. «Одна модель» – это не одна модель

Прогон DeepSeek шёл через API-роутер, и тот развёл 100 запросов по трём разным инфраструктурным провайдерам: Novita (36 запросов), DeepInfra (32), StreamLake (32). Модель везде называется одинаково.

SpaceWeb упоминается в 77% ответов у одного провайдера и в 12% у другого. Разница в шесть раз. Hostland у DeepInfra попадает в список в 40% случаев, у Novita не появляется вообще ни разу.

Один и тот же промпт, одна и та же модель, один и тот же день. Отличается только то, на чьём железе и с какой квантизацией модель физически крутится, и на это пользователь никак не влияет и об этом не знает.

Для меня это самый практический вывод из всей затеи. Если вы меряете видимость через API-роутер, часть «волатильности движка» на вашем дашборде – это лотерея роутинга, а не поведение модели.

Насколько модели вообще согласны между собой

Сравнил наборы брендов, которые каждая модель называет хотя бы в 15% прогонов:

Согласие высокое, но неполное, и расходятся модели именно на границе – там, где решается, попадёт бренд в шорт-лист или нет.

Побочная находка: откуда GPT берёт ответ

У GPT-5.2 в ответах видны маркеры источников. В 91 прогоне из 100 он ходил в веб, и в 19 прогонах среди источников был Reddit. Остальное – обычная поисковая выдача: сайты самих хостеров и агрегаторы вроде AdminVPS и Hoster.ru (и это объясняет, почему именно они всплыли в его хвосте).

Это ровно то, о чём говорят все исследования цитируемости: пользовательский контент попадает в ответы ИИ наравне с официальными сайтами. Если про вас на Reddit написано плохо или не написано ничего, это влияет на выдачу так же, как ваша главная страница.

Что со всем этим делать

Если вы бренд. Проверяйте себя минимум на трёх моделях, а не на одной. Ядро (90-100%) означает, что вас знают. Хвост (20-50%) означает, что вас видит примерно половина спрашивающих. Ноль у одной модели при 20% у другой – это не погрешность, это разные картины мира, и лечатся они по-разному: попасть в выдачу для модели с поиском проще, чем попасть в память модели без поиска.

Если вы меряете. Один прогон это не замер, а скриншот случайного момента. Минимальная честная сетка – 10-15 прогонов на промпт, с записью частоты упоминания, а не факта упоминания. Всё, что отличается меньше чем на 10 процентных пунктов, считайте одинаковым. Отчитываясь про позицию, всегда называйте модель. И фиксируйте, какая инфраструктура отвечала.

Если вы пользуетесь нейросетью как справочником. Цифры модели без поиска придумывают заново каждый раз. В нашем замере DeepSeek сгенерировал до 31 разной цены на один тариф и ни разу не назвал правильный год основания одной из компаний.

Ограничения замера

Честно про рамки, потому что иначе выводы будут шире, чем данные.

• Один промпт, одна ниша, один день. Это не «нейросети вообще».
• GPT-5.2 отвечал через API, который подмешивает служебную разметку источников. В 8 прогонах из 100 она съела название пункта, поэтому его метрики состава считались на 92 читаемых прогонах. Точности фактов это не касается.
• Gemini 3.5 Flash показал 100% точность на шести проверенных брендах. Цифра честная для этого набора, но набор узкий: модель просто называет мало компаний.
• Разбор ответов автоматический, по регулярным выражениям, с ручной сводкой вариантов написания ( считались одним брендом). 

• Reg.ru, REG.RU, Реги.ру, SpaceWeb

• Существование редких брендов проверял поиском по каталогам хостингов. Если какой-то из них всё же существует, напишите, поправлю.

Я делаю Ideata – сервис, который следит за тем, что нейросети отвечают про бренды. Этот замер вырос из внутреннего спора: сколько раз надо гонять промпт, чтобы цифре можно было верить. Ответ оказался не тот, которого мы ждали – больше одного раза, но меньше, чем кажется, и совсем не поровну для разных моделей.

Хотите те же цифры по своему бренду – ideata.io/report сделает это бесплатно. Вводите домен, мы собираем реальные вопросы вашей ниши, задаём их ChatGPT, Gemini, Perplexity, Алисе и Google AI Overviews и присылаем разбор: доля видимости по каждому движку, живые цитаты ответов с подсветкой брендов, рейтинг конкурентов и список вопросов, где вас не назвал никто. Две минуты, без карты.

И сразу честно, раз уж статья про это. Бесплатный отчёт – один прогон. По нашим же данным этого хватает, чтобы понять, в ядре вы или в хвосте, но не хватает, чтобы поймать разницу в пять процентных пунктов. Так что читайте его как рентген, а не как термометр: он показывает, есть проблема или нет, а следить за динамикой – это уже регулярные прогоны.