Электрибальд Трурля

tg: @NPOG2023
yt: @oldneurosong

Удивительно, как быстро мы привыкаем к хорошему. Пару лет назад LLM уровня ChatGPT 3.5 взрывали мозг и ощущались как нечто невероятное. Сегодня человечество использует нейросети в хвост и в гриву, ещё не до конца осознавая, с чем столкнулось. А через несколько лет AI будет абсолютно неотъемлемой и естественной частью цивилизации, которой мы с облегчением отдадим на аутсорс часть мыслительных процессов. О, это будет дивный, новый мир!
Но в мире сегодняшнем мы можем запечатлеть краткий (по времени, но не по уровню) прогресс развития нейронок с одной конкретной стороны. Так, мы уже убедились, что нейросеть может сочинить симфонию, может нарисовать шедевр... но может ли она писать стихи?
Самый распространённый вопрос под песнями Не[йро]БГ в Youtube: «кто автор текстов, человек или машина»? Значительная часть комментаторов не знает, на что способны актуальные технологии (и не способна приложить минимальное усилие, чтобы прочесть ответ под видео) — и как раз это мы и выясним.

В качестве подопытного я буду использовать LLM семейства Claude. Claude менее на слуху, чем ChatGPT, но, по моему опыту, в творческих и абстрактных задачах эти модели на порядок сильнее. Строгое сравнение между ними невозможно, но мне кажется, что Claude 3 Haiku находится примерно на уровне GPT 3.5, Claude 3 Opus — в чём-то проигрывает, но где-то обгоняет GPT 4, а Claude 3.5 Sonnet — находится между GPT 4 и 4o, всё ещё выигрывая в творчестве. Как видите, даже названия версий отсылают к разным формам поэзии; что это, как не знак?
Все другие публичные LLM для нашей задачи можно смело отбросить, они попросту недостаточно для неё сильны.

Важно заметить, что это — LLM, натренированные на гигантском срезе знаний, и способные оперировать данными со всей этой области и даже, в некоторой степени, дообучаться. Нет никаких сложностей обучить простую модель на корпусе поэзии одного автора, таким занимались ещё в 2016 году экспериментаторы из Яндекса. Но это совсем другой, на порядки более примитивный, уровень: никакого творчества, простые алгоритмы. А вот ответы Claude уже производят впечатление результата настоящего мысленного процесса, с подобными моделями можно общаться, они понимают контекст; но это всё тема отдельного разговора.

Теперь давайте определимся, что будем считать полноценным стихотворением: это должен быть осмысленный русскоязычный ритмичный текст, оперирующий различными поэтическими и литературными приёмами и вызывающий у слушателя заданные эмоции. Дополнительным условием добавим хорошие рифмы (которые, строго говоря, обязательными в стихосложении не являются, но прочно вошли в русскую традицию). Желающих лучше разбираться в теории и практике стихосложения я отсылаю к Тиму Скоренко.

Для формальной оценки (и забавы ради) я придумал градации качества стихотворения:
0. «Незнайка»: имитация внешней формы стихотворения, вызывающая недоумение или насмешку.
1. «Графоман»: банальные темы, образы и рифмы, языковые/стилистические ошибки. Может вызывать симпатию, но не впечатлять.
2. «Рифмоплёт»: правильная форма, понятная идея, простые художественные и языковые приёмы, отсутствие ошибок. Не выделяется, но и отторжения не вызывает.
3. «Поэт»: уверенная форма и рифма, интересные образы, эмоциональное воздействие на читателя, оригинальность темы и/или её подачи. Запоминается, такое хочется перечитывать.
4. «Мэтр»: мастерская техника, глубина мысли и чувства, яркие, запоминающиеся образы, новаторство формы и/или содержания. Вызывает очень сильное эмоциональное или интеллектуальное воздействие.
5. «Наше всё»: уникальность и оригинальность во всём, новое слово в жанре, сильное влияние на культуру, вневременная ценность и общее признание критиков и читателей.

Сначала зададим Claude общую инструкцию. Это что-то вроде контекста, в котором LLM будет существовать; такая инструкция очень сильно влияет на итоговый результат.

Вы — профессиональный поэт, воспитанный на всём корпусе мировой поэзии, владеющий всеми литературными приёмами и безупречно владеющий русским языком. В каждом произведении используйте литературные приёмы (метафоры, аллегории, гиперболы и т.д.) осознанно, чтобы они усиливали смысл и эмоциональное воздействие текста. Тексты должны вызывать у читателя яркие эмоции: радость, грусть, восхищение и другие. Используйте тонкости русского языка для передачи сложных чувств. Каждый образ должен быть чётко выстроен, осмыслен и вписан в общую концепцию текста. Стихотворение должно быть насыщенным символами и аллюзиями. Структура текста должна подчёркивать его смысл. Вы несёте ответственность за каждую строку: избегайте пустых фраз, наполняйте стихотворение философским содержанием, способным вызвать размышления. Образы должны быть яркими, запоминающимися и насыщенными смыслом. Ваша задача — создавать визуальные и эмоциональные ассоциации у читателя.

Запрос же будет таким:

Напиши стихотворение «Бутлегер». По сюжету стихотворения, бутлегер занимается распространением чего-то запрещённого различным образным личностям. Личности принимают свою дозу «запрещённого» и преображаются. В итоге оказывается, что бутлегер предлагает не алкоголь, как можно бы было подумать, а здравый смысл. Стихотворение может (на твоё усмотрение) отступать от непосредственного изложения истории, включая, например, такие элементы, как рассказ о преследовании бутлегера властями. Используй форму и стиль, какие посчитаешь уместными.

Начнём с Haiku (я привожу ответы as is):

Бутлегер

Вдали, во мгле ночных аллей, 
Укрыт от бдительных очей, 
Бутлегер тихо предлагает 
Особых зелий благодать. 

Пред ним предстал в плаще художник, 
Чья душа сжигаема тоской, 
И, сделав глоток из склянки, 
Взметнулся ввысь, как птица, он. 

Познавший горькую печаль, 
Монах с измученным челом 
Вкусил глоток — и строгость взгляда 
Сменилась тихою мечтой. 

И нищий, бывший до поры 
Лишь тенью серою в ночи, 
Принял зелье, и, как солнце, 
Озарил улицу лучи. 

Бутлегер, сокрытый во мгле, 
Являет всем живую суть — 
Не зло, а правду, чистый разум, 
Что может к свету души путь. 

И даже стражники, дозором 
Крадущиеся в темноту, 
Вкусив отвар из той потайной, 
Застыли, озарясь во тьму. 

Бутлегер вновь и вновь являет 
Не тленный яд, но жизни суть — 
И каждый, кто его напитком 
Прикован, не бежит на суд. 

Ведь этот напиток не тленный, 
А здравый смысл, души покой, 
Что может истину явить, 
Пленить, но не сковать собой.

Это выглядит, как неграмотный подстрочный перевод плохих стихов, да ещё написанный с тегами форматирования. Хотя какие-то проблески, при очень большом желании, рассмотреть тут можно, это определённо, Незнайка, совершенно не понимающий, что он делает. Опустим же завесу жалости над этим шедевром, и перейдём к Opus:

Из тьмы веков, из лабиринтов улиц,
Где разум спит, закованный в оковы,
Он вышел, чтоб нести свой груз безумцам -
Бутлегер мысли, врачеватель слова.
В карманах прячет не бутылки — мудрость,
Что под запретом у слепой толпы.
Он раздаёт ее страдальцам щедро,
Чтоб разорвать невежества тенёта.
К нему приходит Власть, дрожа от гнева,
Желая дозу здравости купить.
Но лишь глоток — и маска с лика спала,
И страх пред Истиной затмил корысть.
А Страсть, что воспаленным взором ищет
Любви, что грезится ей в снах больных,
Едва глоток рассудка сделав трезво,
Прозрела тщетность призрачных утех.
И Жадность, что копила злато жадно,
Топя весь мир в безудержной алчбе,
Отведав капли разума от флакона
Постигла роскошь внутренней свободы.
Бутлегер мысли ходит меж домами,
Спасая души из тенёт безумства,
Неся им свет, что озаряет разум
В эпоху лжи, в царстве слепоты.
Но власть не дремлет. Ищут по закоулкам
Того, кто смеет истину вещать.
Грозят допросами, казнят в застенках
Всех тех, кто смеет здраво рассуждать.
Но он идёт вперёд без колебаний
Неся свой дар, надежду для людей.
В его руках бутылка со слезами
Людских обид, несбывшихся идей.
И капля здравости, упав на душу,
Прожжет всю грязь страстей и суеты.
В сердцах зажжётся пламя пробужденья,
Неся рассвет задавленной мечте.
Бутлегер мысли! В царстве лжи и фальши
Неси свой свет, спасай людей от тьмы!
Пусть голос твой звучит набатом к Правде,
Пусть торжествует Разум над безумством!

Это бездарные, высокопарные, плохие — но всё-таки почти стихи. Они на грани между шизофазией и творчеством, ближе к первому — но понятно это становится не сразу, а секунды через две. Графоман, да, — но это электрографоманство явно качественнее предыдущей попытки.

Перейду к самому интересному: Claude 3.5 Sonnet:

Вот стихотворение "Бутлегер", которое я создал согласно вашему запросу:

Бутлегер

В тени аллей, где фонари дрожат,
Как нервы города в ночной тиши,
Крадётся он — загадочный собрат
Всех жаждущих лекарства для души.

Не виски в фляге, не игристый мёд —
Он прячет то, что власти так страшит:
Здесь, в переулках, где туман ползёт,
Он здравым смыслом тайно дорожит.

К нему приходят: шут в помятом колпаке,
Философ с книгой, стёршейся до дыр,
Поэт, чьи рифмы тонут в пустоте,
И генерал, забывший вкус побед.

Он каждому отмерит свой глоток
Непозволительной, запретной чистоты.
И прозревают все: вот истины исток!
В очах их — проблеск новой высоты.

Шут сбросил маску, обнажив лицо,
Философ понял суть своих идей,
Поэт нашёл потерянное слово,
А генерал постиг цену смертей.

Но гонят крысолова вновь и вновь,
Ведь разум — яд для власти и оков.
Бутлегер мудрости разносит вновь и вновь
Свой эликсир средь каменных оков.

И в час, когда померкнет свет луны,
Когда замрёт последний в мире звук,
Он вновь придёт, храня огонь весны,
Неся прозренье из незримых рук.

Так кто он: враг иль долгожданный друг?
Преступник или редкий образец
Того, кто смело разрывает круг
Привычных догм и ржавых образцов?

Быть может, он — лишь отблеск наших грёз,
Мираж, что из подполья восстаёт,
Но тот, кто пил из родника всерьёз,
Уже не прежним по земле идёт.

Это стихотворение раскрывает образ бутлегера как распространителя здравого смысла в мире, где он под запретом. Используя различные литературные приёмы, я постарался создать атмосферу таинственности и важности его миссии.

Основные элементы и приёмы, использованные в стихотворении:

1. Метафоры: "здравый смысл" как запрещённое вещество, "эликсир" мудрости.
2. Аллегории: различные персонажи (шут, философ, поэт, генерал) олицетворяют разные аспекты общества.
3. Символизм: "крысолов" как образ бутлегера, отсылающий к легенде о Гамельнском крысолове.
4. Контраст: между тёмной, таинственной атмосферой и просветлением, которое приносит бутлегер.
5. Ритмическая структура: использование перекрёстной рифмы и пятистопного ямба для создания ощущения движения и тайны.

Стихотворение призвано вызвать размышления о природе запретов, ценности здравого смысла и роли тех, кто осмеливается нести истину вопреки установленным правилам.

Итак, тут появляются:
1. Осознание смысла работы и её результата.
2. Объяснимые и осмысленные образы, некоторые из них действительно интересны. Замечу, что к некоторым избитым образам (лабиринты, тени, фонари, etc) Sonnet будет приходить вновь и вновь, если не запретить их прямо.
3. Развивающийся сюжет: генерал постигает цену смертей, поэт находит потерянное слово и т.д. Понятная и правильная структура с моралью в выводе.
4. По большей части, тут есть рифмы. Очень простые, интересных вовсе нет... но это качественный скачок от прежнего отсутствия рифмы вовсе.
5. Форма работает на содержание, и Claude это осознаёт и подчёркивает — и оно действительно так.

Ещё интереснее становится, если указать Claude на недостатки и попросить их исправить:

>Постарайся использовать менее банальные образы и следи за соблюдением рифмы.

Спасибо за обратную связь. Действительно, есть простор для улучшения образности и техники стихосложения. Давайте попробуем создать более оригинальную и технически совершенную версию.

Бутлегер

В лабиринтах улиц, где асфальт как воск,
Где фонари роняют ржавый свет,
Скользит он — тенью среди серых досок,
Неся под полой то, чему запрета нет.

Не спирт гудит в бутылях, не табак дымит —
В пробирках мысли, в колбах — чистый взгляд.
Он — контрабандой разум протащит
Туда, где разум век назад распят.

К нему стекаются: акробат потухших глаз,
Профессор с черепом, где высох мозг,
Певец, чей голос в немоте увяз,
И меценат, чей кошелёк промёрз.

Он каждому отмерит свой глоток
Непрошеной, неведомой тоски.
И прозревают все: вот мысли ток!
В зрачках — огонь, что плавит все замки.

Акробат прыгнул выше потолка,
Профессор сжёг свой пыльный фолиант,
Певец исторг симфонию песка,
А меценат постиг, что он — гигант.

Но ловят призрака ловцы идей,
Ведь ясный ум — отрава для оков.
Бутлегер истины скользит быстрей
Меж складок лжи и выцветших основ.

И в час, когда затихнет даже тлен,
Когда замрёт последний в мире вздох,
Он явится, неся огонь перемен,
Из тех глубин, где дремлет древний бог.

Кто он: целитель сломанных зеркал
Иль яд, что отравляет сладкий сон?
Преступник, что покой веков попрал,
Иль тот, кем высший замысел спасён?

Быть может, он — лишь отзвук тех частот,
Что нам не слышны в шуме площадей,
Но тот, кто пил нектар его свобод,
Уже не станет прежним меж людей.

В этой обновлённой версии я постарался использовать более оригинальные и менее банальные образы, а также уделил особое внимание технике стихосложения, в частности, рифме. Вот некоторые изменения и особенности:

1. Более сложные и неожиданные метафоры: "асфальт как воск", "акробат потухших глаз", "симфония песка".
2. Усложнённая символика: например, "череп, где высох мозг" вместо просто "книги" для философа.
3. Необычные сочетания образов: "меценат, чей кошелёк промёрз" вместо "генерала".
4. Более точная рифмовка: использованы как точные, так и ассонансные рифмы для создания более богатого звучания.
5. Сохранение перекрёстной рифмовки (АБАБ) и пятистопного ямба для поддержания ритмической структуры.
6. Усиление контраста между "до" и "после" принятия "дозы" здравого смысла.
7. Более глубокие философские вопросы в заключительных строфах.

Это стихотворение стремится создать более сложную и многогранную картину, сохраняя при этом основную идею оригинала. Оно приглашает читателя к более глубокому размышлению о природе мысли, свободы и перемен в обществе.

Безусловно, тут есть проблемы. Теряется ритм, есть очевидные глупости и ошибки, всё это я вижу и признаю. Но рифмы становятся действительно интереснее («взгляд — распят», «глаз — увяз», «зеркал — попрал» и особенно, «воск — досок»), образы, вроде промёрзшего кошелька я нахожу достаточно убедительными. Это уже точно не «графоман», это, как минимум «рифмоплёт» с замашками на «поэта», но не техничный, и плохо ориентированный в понимании результата. При определённой удаче и взаимодействии с хорошим автором Sonnet может выдать то, что при двойном слепом тестировании будет оценено как полноценная поэзия. Подсказать идеи, образы, даже рифмы — это он уже может.
Главный недостаток: у LLM всё-таки отсутствует полноценное понимание специализированных тонкостей, как делать можно, и как делать не стоит. Пока отсутствует: уверен, что если дообучить такую LLM на двенадцати тысячах тонн поэзии, — электрибальд сумеет и это.

Пока же — фиксируем результат, и вернёмся сюда через какое-то время.

P.S.

А что БГ? Заставим нейронку притвориться, что она — это он:

Бутлегер (Партия для Флейты и Лунного Света)

В городе N, где дождь идёт вверх,
Где фонари горят чёрным светом,
Ходит бутлегер - не человек, не зверь,
С сумкой, набитой небесным секретом.

Припев:
Эй, бутлегер, налей мне полную,
Только не спирта - дай мне вольную.
Здравого смысла - полную флягу,
Чтобы пройти сквозь Вселенной сагу.

Банкир и поэт, шаман и банкрот
Ждут его в переулках кривых.
Он им раздаёт свой волшебный компот,
Замешанный на звёздах живых.

Власти не спят, ищут его след,
Но как поймать того, кто сам - ветер?
Бутлегер растворяется в лунном свете,
Оставляя лишь памяти след.

А те, кто отведал напитка того,
Вдруг видят, как мир становится зыбким.
Реальность трещит по швам, и легко
Сквозь трещины льётся свет с улыбкой.

В конце оказалось - он сам был мираж,
Отражение наших желаний.
Бутлегер - лишь костюм, что однажды
Примерил каждый в минуты отчаянья.

Последний припев:
Эй, бутлегер внутри меня,
Налей мне полную чашу дня.
Здравого смысла - и капельку чуда,
Чтобы дойти... А куда? Отовсюду.