GPTрюкачество, или Козни нейро-мантов

Я уже далеко не первый раз пишу в Каргач, для Каргача и на Каргаче свои заметки в рамках рубрики #антифутуризм. В них я стараюсь последовательно разоблачать технические псиопы, которыми выносят наши кукухи гигантские богомерзкие IT-корпорации. Сейчас наиболее популярным псиопом является так называемый искусственный интеллект – особенно активно им пичкают всех кого не лень на протяжении более чем двух лет. Каждый день они клянутся своими пейсами, что мы на грани прорыва и сильный искусственный интеллект вот-вот появится! Каждый день они показывают впечатляющие презентации инвесторам, чтобы слутать с них побольше шекелей, и каждый день корпорации безуспешно пытаются найти нейросетям хоть какое-то адекватное применение, окромя бэкенда для ботов нашей АПшки, да генерации нейрохрюканины для твиттерного филиала телемарафона.

Несмотря на вроде бы очевидные разочаровывающие промежуточные итоги развития этой отрасли, до сих пор есть люди (и их много!), которые убеждены в том, что большие языковые модели aka генераторы 3,14здежа – это путь если не к достижению желанного AGI, то, как минимум, к тому, чтобы лишить миллионы людей рабочих мест: «А то чо они там разлеглись, да работу работают? Пущай с машинами в конкуренцию вступают!». И нельзя сказать, что среди этих людей много несведущих или несвязанных с отраслью. Наоборот, огромное количество скептиков как раз среди тех, кто с нейросетями напрямую не связан, а вот среди моих коллег-айтишников много тех, кто ожидает пришествие AGI, будто иудеи своего Машиаха.

Я долгое время пытался рационализировать это странное явление. Выдвигал множество версий, но в итоге не мог остановиться ни на одной. Так было до недавнего времени, пока я не встретил в англоязычном интернете статью, где были грамотно собраны и скомпилированы все основные принципы, по которым нейросети успешно водят всех за нос. Поначалу я хотел сделать перевод, но в итоге решил вольно изложить основные идеи и дополнить их своими мыслями. Итак, поехали!

«Иной разум уже здесь, но вполне земного происхождения»

Подобные заголовку высказывания можно частенько услышать от господ технооптимистов и прогрессистов, предающихся восторженным мечтаниям о скорой технологической сингулярности. На чем же они основаны? На глубоком понимании работы и устройства больших языковых моделей? На основе кучи прочитанных научных статей? Отнюдь. Но об этом чуть позже. Пора провести краткий экскурс по работе больших языковых моделей, чтобы ни у кого не было ложного представления о разумности таких моделей и неверного понимания их функционирования.

В начале был Марков, и была у него цепь, и созданы были этой цепью самые первые бредогенераторы... Собственно, предтеча современных языковых моделей. Прошу любить и жаловать – цепь Маркова! Вот более подробная статья про неё, а здесь я расскажу попроще. Возьмём текст поэмы Эдгара Алана По «Ворон» в переводе М. Зенкевича. Текст – это последовательность слов. Каждое слово встречается после другого слова в тексте с какой-то вероятностью. В нашем примере после слова «ворон» ни разу не встречаются слова «плачет» или «сморкается», зато обильно встречаются такие слова, как «вещий», «стародавний» и моё любимое «Nevermore!». «Стародавний» встречается после слова «ворон» лишь один раз, «вещий» – три раза, а «nevermore» – целых семь раз! Значит, «nevermore» может встретиться после «ворон» с наибольшей вероятностью, а «стародавний» – с наименьшей. И что нам это даёт?

По этому принципу мы можем построить цепочку слов, из которых состоит текст поэмы. Слова в этой цепочке будут соединены по принципу вероятности встретить одно слово после другого. Если вероятность равна нулю, слова соединены не будут. Таким образом, мы получаем схему, подобную той, что на картинке ниже:

Перед нами частный случай цепи Маркова. Частный потому, что такие цепи можно составлять для любой случайной последовательности событий (не только для текста), в которых следующее событие зависит от текущего. Однако нам интересен в рамках данной статьи сугубо текст. Цепи Маркова легко представимы в компьютере и применяются для генерации текстов достаточно давно. Чтобы тексты были похожи на настоящие, т.е. написанные человеком, достаточно заставить алгоритм выбирать слова и их последовательность согласно предварительно составленной на основе того или иного текста схеме. Цепи Маркова, как и нейросети, можно обучать. Для этого достаточно прогонять большие тексты, чтобы пополнялась база слов в цепи и настраивались вероятностные связи между словами. За примером далеко ходить не надо: паблик в ВК «Бугурт-треды» в своё время запускал рубрику, в которой цепь Маркова генерировала отборные бугурты с шизовым содержанием.

Фактически я рассказал основной алгоритм, на основе которого работает тот же Т9. Он подсказывает слова как раз на основе вероятностей их встречи в предложении, что вы печатаете. Сейчас, конечно, в смартфонах vivo используется не Т9, а более сложная штука, но принцип сохранился. Можно с полной уверенностью сказать, что наука с темой генерации текста с помощью алгоритмов работает давно, а цепи Маркова известны ещё с прошлого века, как и первые математические описания нейросетей.

Отмечу, что в чистом виде тексты у алгоритмов на основе цепей Маркова получаются не особо осмысленными, поскольку генерируют текст на основе последнего слова. Повышать осмысленность в этом случае можно путем усложнения, а именно заставить алгоритм учитывать не одно предыдущее слово, а словосочетания. Тогда будет получаться выдавать тексты куда лучше. Однако желание сделать так, чтобы цепь выдавала слово на основе десяти или даже ста предыдущих слов для улучшения качества текстов, тут же наткнётся на непреодолимое ограничение в виде объёма оперативной памяти компьютера и ограничений скорости вычислений.

Вернее сказать, натыкалось до поры до времени...

И вот на сцену выходят нейросети! Ряд прорывов в виде появления удобных программных инструментов для работы с ними сделали этот вид искусственного интеллекта очень и очень популярным: tensorflow, pytorch, karras, а затем – архитектура transformers и прочая, и прочая. Собственно, по итогу оказалось, что при помощи нейросетей наконец-то можно научить компьютер предсказывать следующее слово на основе и десяти, и ста, и тысячи, и даже более слов перед этим! Сначала появился GPT, потом GPT-2, следом вышел ChatGPT на основе третьей версии и произвёл настоящий фурор, вызвав бум интереса к технологиям искусственного интеллекта.

Недавно появилась новая версия GPT-4 Omni. О ней можно сказать, что базовый принцип не поменялся. Есть куча слов до и надо выдать слово после. С этой задачей большие языковые модели справляются на ура. На текущий момент их обучают буквально на всём объёме интернета, с контекстным окном, доходящим до двух миллионов токенов (так мы в дальнейшем будем называть слова). С такими входными данными на выходе просто не могут не получиться весьма правдоподобные тексты.

Тем не менее насколько корректно называть это интеллектом? Как мы увидели, базовый принцип генерации текстов не поменялся со времён цепей Маркова. Идёт последовательная генерация текста токен за токеном. Даже когда вы «общаетесь» с ChatGPT, в это самое время вся ваша переписка предстаёт в виде одной огромной стенограммы, что постоянно дополняется и скармливается нейросети, чтобы та сгенерировала осмысленный ответ.

Для того чтобы в таком режиме языковая модель могла генерировать текст, её предварительно специально обучали. OpenAI буквально нанимала негров из Кении, чтобы они размечали огромное количество диалоговых данных по типу «вопрос – ответ». У нас, к слову, точно таким же промышляют наши IT-компании. Yandex Толока, думаю, известна многим.

А ТЕПЕРЬ МОМЕНТ ИСТИНЫ!

Принимая во внимание сказанное о принципе работы больших языковых моделей, можно ли считать их разумными или приближающимися к определённой форме разумности, пускай хоть моделирующими какой-то аспект интеллекта, неважно человеческого или животного?

Есть два варианта ответа на этот вопрос:

1. Да. Большие языковые модели разумны. Колдуны учёные и программисты совершенно случайно открыли иную форму разума, работающую по абсолютно непонятным принципам, не встречающимся ни у человека, ни у животного. В этих моделях протекают процессы, которые никто не может объяснить. Они просто взяли и случайно создали предтечу сильного искусственного интеллекта без полного понимания работы человеческого сознания. Поздравляю! Вы умничка-прогрессист, можете похлопать себя по плечу и проверить свой социальный рейтинг.
2. Н... Красота в глазах смотрящего. Иллюзия интеллекта возникает в голове пользователя, а в самой языковой модели и зачатками его не пахнет.

Я, как несложно догадаться, склонен считать, что верен последний вариант. На мой кожано-мешковой взгляд, допустить вероятность первого варианта – означало бы слишком много взять на себя, а именно переоценить текущий уровень научно-технического прогресса и проигнорировать то, каким образом происходят настоящие научные прорывы. Не буду скрывать, есть и религиозные причины отметать первый вариант. В нём я вижу гордыню.

Но что же тогда такое большие языковые модели? Как им удаётся заставить нас поверить в иллюзию их разумности? Всё гениальное просто! Каргозавры, и ChatGPT, и ClaudeAI, и Gemini, и Grok, и Llama, и YandexGPT, и даже наш родимый GigaChat – всё это просто-напросто...

ГАДАЛКИ!

Ну или экстрасенсы, или телепаты (загуглите, кстати, анек про телепата, к делу не относится, но смешной очень). Я хочу этим сказать, что те приёмы, которые используют нейросети, очень похожи на методы работы различных шарлатанов. Техника холодного чтения и эффект Барнума знакомы языковым моделям далеко не понаслышке. Они активно их применяют при общении с вами, хоть вы этого можете и не замечать. Что же это такое?

Практикующие холодное чтение обычно используют догадки, которые имеют статистически высокую вероятность оказаться верными, быстро корректируя свои предположения в зависимости от реакции субъекта, на котором используется эта техника. Если догадка оказалась неудачной, то внимание переносится на другую тему, тогда как на верной догадке внимание заостряется.

Эффект Барнума – общее наблюдение, согласно которому люди крайне высоко оценивают точность таких описаний их личности, которые, как они предполагают, созданы индивидуально для них, но которые на самом деле неопределённы и достаточно обобщены, чтобы их можно было с таким же успехом применить и ко многим другим людям.

Информация с рувики.ру

Теперь, держа это в уме, давайте вспомним, как обычно проходит сеанс экстрасенса на публике. Это нам будет полезно в дальнейшем.

1 - Публика просеивается ещё до самого сеанса

Это самый простой и понятный пункт этого действа. Те, кто не верит в магию, телепатию и прочую шизотерику, скорее всего, не придут на представления экстрасенса, мага, колдуна, чародея, волхва, ведьмака и мольфара. Скептически настроенные люди, очевидно, проигнорируют такое мероприятие. Те же, кто хоть немного верит в эту ересь, напротив, пойдут туда с большей охотой и будут преобладать среди зрителей.

Конечно, среди публики будут и заядлые скептики, но человек существо социальное, а посему, оказавшись в меньшинстве, наивнята предпочтут промолчать и не мешать получать впечатления остальным.

Те же, кто изначально верили в экстрасенсов, обладают определенным набором ожиданий того, что они хотят увидеть. Они знают всю мифологию этого представления, они готовы увидеть загадочные пассы руками, нахмуренное лицо телепата, странные обряды и т.д. В общем, эти люди сами себя заранее хорошо «прогрели», а шарлатану будет легко работать с лояльной аудиторией.

2 - Подготовка сцены

Благодаря телешоу вроде «Битвы эктрасенсов», тиражируемых СМИ историй про Вольфа Мессинга, Вангу и пр., многие люди знакомы с тем, как подобные магические сеансы проходят:

• Информация, которую получает экстрасенс из мира духов/ноосферы/параллельного измерения будет туманной и расплывчатой;
• Она впоследствии станет точнее и яснее по мере того, как экстрасенс усиливает свою связь с потусторонним;
• Ошибки допускаются, т.к. информацию с другой изнанки реальности очень сложно читать и воспринимать. Требуется недюжая концентрация и опыт. Но даже с ними возможны недоразумения и непонятки от мира духов;
• Скептики могут ослабить или вообще разрушить эту связь.

Помимо этого экстрасенсы занимаются тем, что заранее изучают свою публику. Анализируют их профили в соцсетях, подсылают своих помощников, чтобы они невзначай поговорили с будущими жертвами обмана.

Когда шоу начинается, шарлатан прекрасно знает, с кем из его аудитории нужно работать.

3 - Поиск жертвы

Экстрасенс начинает шоу, водит руками вдоль аудитории, хмурит лоб, бормочет абракадабру про энергетику и ауру, ходит из стороны в сторону, а затем делает своё первое заявление. Оно размытое, без конкретики, но тут – оп-па! – в дело вступает эффект Барнума!

Шарлатан говорит: «Я чувствую, у кого-то из присутствующих недавно была тяжёлая утрата. Энергетика могильная, кладбищенская!».

Большинство не реагирует, но человек, недавно похоронивший кого-то из родных, внезапно, впечатлившись, ахает от неожиданного совпадения и выдаёт себя экстрасенсу с потрохами. Несчастному невдомёк: при такой толпе народа чисто по теории вероятности кто-то да будет подпадать под это описание.

Шарлатан замечает реакцию и начинает работать по человеку.

4 - Проверка жертвы

В дело вступает холодное чтение. Эта методика цепляется за небольшой баг в нашем мышлении, заключающийся в том, что мы склонны считать информацию более верной, если она имеет для нас персональное значение и важность.

Баг заставляет нас верить в справедливость весьма и весьма общего утверждения о нас, даже если оно совсем лишено конкретики. И чем больше мы жаждем найти в оном какую-то полезную информацию о нас, тем сильнее будет проявляться этот эффект.

Фокус холодного чтения состоит в том, что жертва явно реагирует на утверждения экстрасенса, подтверждая ту или иную их часть и позволяя шарлатану задавать всё более точные наводящие вопросы.

Э (экстрасенс): Добрый день, дорогие зрители! Я чувствую здесь присутствие удивительной энергетики. Кто-то из вас испытывает сильные эмоции?

Ж (жертва): (поднимает руку) Да, это я. У меня действительно сложный период в жизни.

Э: Я ощущаю это. Вы переживаете из-за какой-то потери, не так ли? Возможно, кто-то близкий недавно ушел из вашей жизни?

Ж: (удивлённо) Да, моя бабушка умерла пару месяцев назад.

Э: Я чувствую эту грусть. Но ваша бабушка здесь, рядом с нами. Она хочет, чтобы вы знали – она любит вас и гордится вами. (Делает вид, что слушает что-то) Она говорит, что у вас обязательно всё наладится, нужно только запастись терпением.

Ж: (со слезами на глазах) Спасибо, это так похоже на неё, она всегда меня подбадривала.

Э: Вижу ещё, что у вас какие-то проблемы на работе? Вы беспокоитесь о своей карьере в последнее время?

Ж: Откуда вы знаете? Я действительно подумываю о смене работы...

Пример был сгенерирован нейросетью Claude 3 Sonnet. Тем не менее диалог наглядно демонстрирует, как работает техника холодного чтения.

5 - Работа с жертвой

На этом этапе экстрасенс начинает работать с отобранной жертвой и засыпает её шквалом вопросов, от которых та даже не успевает одуматься. Все они так или иначе эксплуатируют описанный ранее баг. Вот несколько методов, которыми это достигается:

• Эффект Барнума. Как уже было сказано выше, делается расплывчатое заявление, которое может подойти много кому: «Вы чувствуете, что не можете собраться перед напором жизненных трудностей, однако, в вас огромный нераскрытый потенциал! Вам не стоит быть слишком строгими к себе. Верьте в свои силы, и у вас всё получится!». Наивный человек воспринимает эти слова, как будто ему только что сказали некое откровение, хотя эти общие слова применимы практически к ЛЮБОМУ.
• Отбраковка неверных вариантов. Это способ задать вопрос, чтобы любой ответ подтверждал вашу догадку. «Вы не работаете программистом?», – спрашивает шарлатан. Если ответ отрицательный, он скажет: «Это я понял по вашей ауре. Слишком много жизненной энергии, чтобы сидеть на одном месте». Если же положительный: «Ваша сахасрара неимоверно большая. Такие бывают только у программистов». Как видите, обманщик всегда в плюсе!
• Охват всей шкалы. «Вы достаточно спокойный и уравновешенный человек, но если вас вывести из себя, то вы способны на импульсивные поступки». Подобное высказывание подойдет и спокойным, и раздражительным людям.
• Статистические догадки. «У вас есть шрам на левой ноге!». Зная статистику самых распространенных травм, экстрасенс может делать удачные догадки, удивляя публику.
• Демографические догадки. То же самое, что предыдущий пункт, но экстрасенс изучает статистику по различным демографическим стратам.
• Непроверяемые предсказания. «Скоро планируются серьезные перестановки в правительстве, но есть шанс, что в последнюю минуту всё отменят». Ой. Не из того анализа пример ;)
• Стрельба очередями. Экстрасенс задаёт кучу разных вопросов, быстро отметая неверные догадки и цепляясь за те, на которые жертва отреагировала. Человек склонен запоминать успешные попытки, а те, что не прошли проверку – игнорировать. Таким нехитрым брутфорсом можно очень легко «взламывать» людей.

Естественно, простого знания приёмов недостаточно. Нужно уметь их применять, обладать харизмой и способностью держать хорошую мину при плохой игре. Тогда вы будете успешным экстрасенсом!

6 - Итоги

После магического сеанса жертва уходит с него с полной уверенностью, что ответы экстрасенса были поразительно верными, и она готова посетить очередное мероприятие. В следующий раз взаимодействие жертвы с шарлатаном будет ещё продуктивнее для последнего, и этот тренд будет только усиливаться.

Проблема в том, что далеко не все жертвы манипуляций отличаются низким уровнем интеллекта. Попасться может каждый, но, как ни парадоксально, в группе риска и высоколобики. Дело в том самом фундаментальном баге человеческого разума. Если вы обладаете высоким уровнем интеллекта, то вам доступны всё более творческие и изощрённые способы оправдать и доказать самому себе верность и точность высказываний, обрабатывающего вас шарлатана. Естественно при условии, что вы изначально были заинтересованы в тематике экстрасенсорики и парапсихических способностей. Умные люди способны стать самыми яростными апологетами шизотерики. Скептик же скажет, что это хороший трюк, хоть он и не понимает, как парапсих его провернул.

Стоит также отметить, что не все экстрасенсы являются шарлатанами. Я не считаю, что есть настоящие чтецы мыслей, ясновидящие и т.д. Просто встречаются случаи, когда человек неосознанно выработал способность к холодному чтению и сам твёрдо уверовал в то, что является экстрасенсом. Никто не застрахован от самообмана.

Нейросетевое шарлатанство

Мы разобрали, как работаю экстрасенсы-шарлатаны и приравненные к ним лица. Но каким боком тут большие языковые модели? Ответ прост: тот проворачиваемый ими впечатляющий трюк, который убеждает людей, что нейросети разумны, в своих фундаментальных принципах абсолютно неотличим от вышеприведённых методов. Как это происходит? Давайте разберём по пунктам.

1 - Самоотсев пользователей

Если человек изначально скептически настроен к нейросетям, то, вероятно, он ими пользоваться не будет, а если и попробует, то в силу своего скептицизма не захочет продолжать пользоваться, поскольку не увидит в них ничего впечатляющего (и будет в этом прав). Верно и обратное: люди, открытые к такой категории технологий и жаждущие увидеть настоящее чудо кибернетики, будут активно обращаться к нейросетям. Они мечтают стать свидетелями рождения настоящего искусственного интеллекта, который в их мировоззренческой парадигме однажды непременно возникнет.

Как видите, описание этого пункта полностью совпадает с тем, каким образом отбирается публика на сеансы экстрасенсов.

2 - Создание обстановки

Вся медийная шумиха вокруг больших языковых моделей создаёт определённые ожидания у пользователей, которые с радостью поддерживаются нейросетевыми корпорациями. Многие из них обещают, что конечный пользователь станет свидетелем как минимум зачатков интеллекта у их продукта. Отсюда и идут все эти заявления об «искрах разума», «первых шагах» и «ранних этапах». Корпорации, конечно, делают оговорку о том, что это не ещё не полноценный интеллект, но кого это волнует, если хайп уже раздут дальше некуда?

Правильная обстановка создаётся предупреждениями, что модель может ошибаться и «галлюцинировать». Какое очеловечивающее слово! Будто модель и впрямь испытывает галлюцинации и ошибается, а не потому что это стохастическая модель языка. Этот нехитрый фокус сильно помогает, когда нейронка начинает выдавать дистиллированный бред. Люди тогда выказывают своё снисходительное отношение и делают бредовые заявления в духе «а человек тоже ошибается», «ну это всё равно что ребенка спросить».

Специальная Антропоморфизирующая Операция полностью удалась!

Соломка под справлялово ошибок нейросетей успешно подстелена, как и у экстрасенсов. Помните про слабую связь с миром духов?

3 - Промпт задаёт контекст

Как только пользователь вводит свой запрос к нейросети, начинается отбор «жертвы». Большинство просто получит ответ и отвалит, ну или попробуют другие варианты запроса, чтобы получить нужный им результат. Такие пользователи воспринимают языковые модели на том же уровне, что и фотошоп, ворд и т.д. Для них это сугубо инструмент.

Однако есть и всерьёз залипающие в разговоре с нейросетью, изначально более оптимистично настроенные в отношении её способностей возможностей. Их быстро затягивает.

Сравните с тем, как экстрасенс выбирает себе жертву среди публики. Одни положительной ответной реакции не проявляют, тогда как другие излишне впечатляются ответом и начинают общаться с биоцепью Маркова.

4 - Жертва нейросетей тестирует сама себя

Отличие от аналогичного пункта у живых шарлатанов в том, что нейросети не обладают интенциональностью и субъектностью, т.е. всю работу по тестированию жертвы, которую делает экстрасенс, здесь будет делать сам пользователь и при этом совершенно ничего не подозревать.

Если человек технооптимист, он будет предрасположен видеть в ответах условного ChatGPT конкретику и точность в отношении заданного им ранее вопроса, и даже воспринимать нейросеть как будто она читает его вопросы, мыслит, а затем отвечает. Хотя, как мы знаем благодаря моему краткому экскурсу в устройство больших языковых моделей в начале статьи, это совершенно не так. ChatGPT и ему подобные только и делают, что продолжают переданный им текст.

Их ответы ввиду самой природы этих моделей являются всего лишь наиболее статистически вероятными. Заметьте, как это совпадает с техникой холодного чтения у экстрасенса? Он тоже делает наиболее вероятные утверждения, а затем продолжает уточнять их. Нейросеть «читает текст» не более, чем шарлатан читает вашу судьбу / мысли или разговаривает с мертвыми.

Большинство не может осознать в полной мере тот факт, что если вы умудрились обучить нейросеть на огромном массиве данных размером с двадцать лет истории интернета, книгах, журналах и газетах, то такая нейросеть сможет находить статистически правдоподобные ответы практически на любые вопросы. Однако это не гарантирует, что ответы будут верными.

Большие языковые модели можно считать в некотором роде методом архивации текстовых данных с потерями. Доподлинно известны инциденты, когда нейросети на запрос выдают текст 1 в 1, как в обучающих данных. По сути, обращаясь к нейросети, вы делаете гугл-запрос и получаете ответ, т.е. вы обращаетесь не к разуму, а к гигантской, хоть и пережатой, библиотеке.

Первые нейросетевые ответы могут вызвать неописуемый восторг у наивного технооптимиста, но, как и в случае с шарлатаном-экстрасенсом, важны последующие взаимодействия.

5 - Обучение с подкреплением

Пора поговорить о том, как обучаются нейросети. Почему у них встречаются ответы столь удачные ответы? Дело в том, что ответы любой нейросети при обучении надо как-то оценивать. Допустим, нейросеть предсказывает температуру на завтра по четырём предыдущим дням. Начинаем обучение, поначалу она выдает совершенно неправильные ответы. Мы замеряем особым образом ошибку, пусть это будет квадрат разницы между действительной температурой и той, которую предсказала нейросеть. Алгоритм обучения будет стремиться уменьшить эту ошибку.

То же самое с нейросетями, которые распознают изображение. Мы смотрим, с какой вероятностью нейросеть при анализе картинки указала на кота, а с какой – на собаку, и сравниваем с тем, что должно было получиться в обучающих данных. По итогу алгоритм обучения опять же стремится снизить разницу между выходными данными нейросети и выходными данными у обучающего датасета.

Но как замеряют ошибку в ответах текста? Это вообще возможно? Да. Для этого обучают отдельную модель, которая выдает оценку текста ответа. Всё что она делает, это принимает на вход вопрос пользователя, ответ нейросети и выдаёт оценку, допустим, по шкале от одного до десяти. При обучении просто стараются, чтобы ответы набирали максимальный бал.

А как обучают эту оценивающую нейросеть? Если кратко – неграми. А если подробнее, то огромным количеством низкооплачиваемых сотрудников, которые часами сидят перед компьютером и вручную оценивают ответы по шкале от одного до десяти. Вы наверняка видели просьбы оценить ответ нейросети, когда с ними работали, – ваши ответы тоже используются при обучении оценивающей нейросети.

Что это означает по итогу? Низкооплачиваемые сотрудники не обладают достаточной квалификацией, чтобы оценивать ответы по их содержанию, чтобы оценивать их с точки зрения фактологической верности и корректности внутренней логики. Что же они тогда делают? Они оценивают ответы по тому, насколько правдоподобными они... ВЫГЛЯДЯТ. Не являются, а именно выглядят. Такой способ отбора ответов приводит к тому, что большие языковые модели начинают отдавать предпочтения ответам, которые используют методы с эффектом Барнума, холодным чтением, догадкам по всей шкале и другими трюками шарлатанов из соответствующего пункта.

Ученые и программисты, сами того не осознавая, создали механического экстрасенса, который, подобно тому как телепат делает вид, что читает ваши мысли, создаёт видимость того, что читает ваши вопросы и осмысленно на них отвечает. Тем временем жертва выкидыша скайнета продолжает с ним общаться и всё больше себя убеждает, что перед ней разумное создание. Затем она заводит телеграм-канал, начинает бесконечно срать прогрессистской жижей и рассказывать, как нейросети самостоятельно меняют политику и обустраивают мир под себя (но при этом совершенно не умеют считать).

6 - Рождение нейросетевого евангелиста

И вот процесс окукливания завершён! Наивнёнок преисполнился видом кибернетических чудес. Ему было явлено откровение: «Покайтесь во нейрогрехе, ибо приблизился разум искусственный!». Подпоясав одежду коаксиальными кабелями, питаясь исключительно дикорастущими соевыми бобами, он уходит в пустынь и продолжает:

Предполагаем, что именно в наступившем 2024 году большинство интеллектуалов признает, что мы, наконец, встретили иной разум.

Только вопреки нашим ожиданиям он будет иметь вполне себе земное происхождение.

Ну, за сильный искусственный интеллект, который неизбежен ! 🥂

Движущей силой прогресса начала 20 века был пролетариат — и прогрессисты были на стороне пролетариата.

Движущей силой прогресса первой половины 21 века станет искусственный интеллект – и прогрессисты будут на стороне искусственного интеллекта.

Это главное. Все остальное – суета сует 😊

Мнение очень серьезных ребят – сильный искусственный интеллект (на порядок «умнее» самых умных людей человечества) появится через 2-3 года.

Взяты цитаты из одного тг-канала прогрессистов – это их самоопределние, и там такой жижи хоть пруд пруди. Скажите, разве вам это не напоминает то, как говорят обманутые люди после посещения экстрасенса (или мага, медиума, гадалки и т.п.)? По итогу после такой нейросетевой самообработки человек начинает звучать, как служитель церкви василиска Роко. Важно помнить, что при сочетании недюжинного ума и желания верить, мы получим страшного по своей силе нейроапологета. Если вы будете собирать отзывы от постоянных клиентов экстрасенсов, там будут сплошь положительные отзывы, а любая критика – отметаться как нерелевантная: «Ты просто не п(р)очувствовал!». Поэтому не стоит полагаться на отзывы фанатов языковых моделей. Люди, что хотят верить в скорое пришествие Искусственного Разума, будут говорить о моделях только то, что подкрепляет их веру.

Самопсиопы как основа главного технопсиопа

Неужели введение миллионов людей в заблуждение было запланировано ещё на этапе разработки больших языковых моделей? Вряд ли. Думаю, здесь опять-таки классический случай самообмана. Выше я упоминал, что экстрасенсы способны сами поверить в свои «способности». Разработчикам кажется, что они пришли к какому-то прорыву, потому что новая технология умеет говорить подобно человеку. Если почитать многочисленные научные статьи на тему языковых моделей, вы увидите громкие заявления: «ChatGPT способен различать!», «ChatGPT умеет исправлять свои ошибки», «ChatGPT даёт ответы лучше, если его вежливо попросить» и т.д. Таким образом, сами исследователи наделяют кашу из токенов субъектностью и антропоморфными чертами, и никто их не одёргивает! Если древний человек обожествлял явления природы, современный обожествляет плоды технического прогресса.

Ранее я приводил в пример поэму «Ворон». В ней лирический герой горько переживает утрату погибшей возлюбленной и мрачно сидит в своём доме, пока к нему не влетает ворон, который умеет говорить одно слово: «Nevermore». Многие пытаются по-разному толковать смысл этой поэмы, но я считаю, она идеально иллюстрирует нашу склонность интерпретировать что угодно так, как мы этого хотим (ожидаем, предвосхищаем и пр.). Всю поэму несчастная птица лишь говорит «nevermore», в то время как у героя отлетает кукуха. Каждый выкрик птицы он воспринимает как ответ на свои мысли: «При ответе столь удачном, вздрогнул я в затишье мрачном!», а птица себе знай каркает своё «Nevermore!» и чихать хотела на душевные страдания человека.

«Ворон» – это нейросеть. Он ни о чём ни думает, ему ничего не надо, он сидит и каркает, пока технооптимисты сходят с ума, находя каждому его вску... карканью объяснение.

Поклонение Нейромолоху

Однако разве могут все эти доводы остановить человека уверовавшего? Разве способны они сломить мифологическое мышление, коль оно было затронуто щупальцами нейропсиопа? То ли ещё будет! В настоящее время область исследования искусственного интеллекта скорее напоминает эпоху алхимических изысканий.

Звучат громкие заявления:

• Мы запихнули языковую модель в железного робота! Он проявляет человеческое поведение!
• Мы прикрутили ИИ к вашей форме сбора резюме для отдела кадров. Теперь вы можете сократить штат кадровиков. ИИ сам прочитает всё и вынесет решение!
• Мы можем показать ИИ графики акций, и он сделает точное предсказание!
• ИИ может помочь полиции в работе.
• ИИ может проверять сочинения школьников.
• ИИ придумает для вас креативы.
• ИИ то...
• ИИ сё...
• ИИ...
• Иииииииииииииииииииииииииииииииииииииииииииииииииииии...

Заявления, прямо скажеи, бредовые с точки зрения обычного рационального мышления, но с точки зрения мифологического – всё предельно ясно. Искусственный интеллект является частью новой мессианской пострелигии (или квазирелигии). Достаточно взглянуть, что пишет верховный жрец Церкви ИИ Сэм Альтман:

Нам жизненно необходим сильный искусственный интеллект, чтобы решить проблему старения и отыскать способ продлить наше существование, поэтому, если вы нас не поддерживаете, то вы умрёте!

Чем не эсхатологическое обещание золотого века, где не надо будет умирать? Занесло, однако, хлопца. Чуть ли не буквально цитирует:

Кто хочет душу свою сберечь, тот потеряет ее, а кто потеряет душу свою ради Меня, тот обретет ее; Истинно говорю вам: есть некоторые из стоящих здесь, которые не вкусят смерти, как уже увидят Сына Человеческого, грядущего в Царствии Своем.

По сути это уже полноценная проклюнувшаяся квазирелигия. Сэм Альтман говорит «эмерджентность», и все повторяют за ним, ибо этот человек причастен к скорому появлению искусственного разума, что непременно создаст рай на Земле. Его слова – заклинания, с помощью которых он приближает воплощение техномечты. Таких заклинаний много: «искры сильного ИИ», «масштаб – это всё, что нужно», «агентный подход» и т.д. В рациональном поле каждое из них никакого глубинного смысла не несёт. Это буквально пустое означающее, но в новой мифологической системе они обладают мощью и весом. Прогрессисты и технооптимисты повторяют слова силы, как некоторые племена повторяют слова, с которыми, согласно преданию, их бог сотворил мир, надеясь исцелить больного или призвать дождь.

Люди ждут знамений! По различным обрывкам интервью, по небрежно брошенным словам Альтмана, они пытаются понять, как скоро миру явится Антихрист сильный ИИ. Они придумывают легенды. Например, много тех, кто верит, что в большом синем рюкзаке Сэма есть кнопка экстренного отключения серверов, чтобы остановить ИИ, если он выйдет из-под контроля.

Главу OpenAI отождествляют с Робертом Оппенгеймером, да и сам он не против такого сравнения. Люди вместо молитв вбивают промпты, и впадают в религиозный экстаз, когда получают нормальный ответ, с которым тут же бегут в Х (в смысле в твиттер) или телеграм сообщить о свежепойманной искорке грядущего разума.

Есть следующий философский эксперимент. Допустим, в будущем появится злобный и всемогущий искусственный интеллект, именуемый василиском Роко. Он сможет вас воскресить и покарать вечными муками, если вы ничего не делали для его создания. Вопрос: будете ли вы участвовать в его создании или нет, будете ли вы приближать момент его появления, чтобы избежать кары от него? Мысленный эксперимент этот – чушь по целому ряду причин, но, порой, мне кажется, что в неё уверовали многие технонаивнята, поклоняющиеся будущему Нейромолоху и славящие его скорый (?) приход.

Что можно противопоставить этой квазирелигии? Во-первых, если вы христианин, можно вспомнить слова Спасителя, что не стоит верить всяким лжепророкам, демонстрирующим чудеса (тем более обещающим бессмертие), во-вторых, не забывать про вышеописанный фундаментальный баг человеческого мышления, в-третьих, нужно стараться беречь кукуху от прогревов, дума и псиопов.

Кто с нейропрогревом к нам придёт, от нейропрогрева и погибнет! На том стоит и стоять будет каргачёвская земля!

Каргач существует исключительно благодаря вашей поддержке! Подписывайтесь на наш Бусти или присылайте ваши донаты.