Спасти рядового GPT. Сезон второй

- Швейк, вы идиот! - Так точно, я идиот. У меня даже справка есть. Я официальный идиот.

Примерно так я себя чувствовал, когда в очередной по счету раз решил докопаться до великого и могучего Горыныча, которого превозносят как убийцу нейрослопа. Если честно, то скриншотов с разоблачениями нейрокниг уже больше чем самих нейрокниг, мне кажется, раз в двадцать, а то и тридцать.

И тем не менее, мы продолжаем гонять Горыныча. Список подопытных сегодня следующий: пародийный СЛР, пост с возмущениями от анонима, рассказ про шахматиста и автосалон, и сами знаете какая шахматная партия (если вы понимаете о чем я).

Все началось с того, что в некой группе в некой соцсети ВКонтакте был опубликован butthurt некоего анонимного человека, человека X, где он бомбил с того, что якобы три каких-то автора с АТ пишут нейронкой. ОК. И знаете что? Его текст с вероятностью примерно 99,9% был написан нейросетью, с характерными оборотами, дроблением предложений, а также конструкцией "это не то, а это", на которую у меня уже выработался условный рефлекс.

Уверяю вас, этим цифрам можно доверять

И тут случился fail. Детектор опознал данный текст как всего лишь 30% нейронный. Почему? Ну, тут у меня есть теория. Во-первых, в нем был один человеческий абзац, который на таких маленьких объемах резко обнулил данную вероятность. Во-вторых, в тексте было большое количество эмодзи. Как мне кажется, эмодзи, подобно шахматным ходам (см прошлую статью), перегружают Горыныча, и он начинает путаться.

Но вернемся к нашим баранам. Недавно мне пришла в голову мысль — а что, если закинуть в DeepSeek промпт с указанием чтобы он избегал своих типичных ошибок. Сам промпт скидывать не буду по той причине, что его могут использовать в, скажем так, недобросовестных целях. Для полноты картины также попросим написать данный текст в стиле Чехова.

На удивление, Горыныч оказался тертым воробьем и стреляным калачом, и на такую простую уловку не повелся.

Меня не проведешь!

Но, как и везде, взлеты чередуются с падениями. Я решил проверить мою теорию с эмодзи, и, как и ожидалось, за одно их использование, Горыныч скрутил аж 16% от изначальной вероятности. Да, 78% — большой показатель, но и его легко сбить человеческим абзацем и парой-тройкой своих фраз, что мы видели на примере поста анонима в ВК.

Доля сегментов, при этом всём, остаётся неизменной.

Ну и, раз уж речь пошла про шахматистов, никто не отменял партию Таль vs Ботвинник, которую я уже скоро выучу наизусть. Тут все было странно: так, на этот раз, проценты данный набор ходов сбивал уже когда стоял в конце текста, а не в начале, как в случае без эмодзи.

Мне кажется, нейросеть в душе заядлый шахматист.

Если честно, то я так и не понял, какая закономерность просматривается в данной ситуации. В прошлой статье я думал, что положение условно человеческого отрывка или белиберды типа списка ходов играет важную роль. Здесь результаты подтвердили мои мысли, но действия, им предшествующие, были совершенно противоположными. В итоге, я пришел к выводу, что все зависит от конкретного текста.

Изучая данный вопрос, я наткнулся на, к сожалению, потерянный коммент с АТ. Там утверждается, что Горыныч анализирует около 1000 символов, т.е отрывок из текста примерно по 80-100 слов, находит среди него ИИ-сегменты, и на основе этого и пишет свою вероятность. Как итог — смешанные ИИ и человеческие предложения в одном абзаце (продолжаем мучить все тот же пародийный СЛР), также ломают его рейтинг.

Кстати говоря, здесь, вероятно, из-за цитаты Канта в конце, мне удалось обмануть и второй пункт, с "долей сегментов", который все это время был довольно точным.

Более того, даже "продолжи текст в том же стиле" по классике, не дал повышения процентов.

Да, я точно уверен в том, что это писал человек.

Вот такие вот итоги. Что можно в итоге сказать? Своего мнения я не поменял Данный детектор хорошо подходит для определения 100% нейрослопа и 100% человека (хотя, как показывает история с постом в ВК, и тут не факт). Будет даже жаль, если в бетке исправят его типичные косяки.