Дивный новый мир, который построит для нас ИИ

На протяжении всей истории человечества торговля и война — как самые распространенные и понятные способы строить отношения — базировались на одной важной предпосылке: существовании некоторого гарантированного способа отличать правду от лжи. Этот способ мог быть недоступен какой-то из сторон отношений (разведка и контрразведка в войне, сертификация и брендинг в торговле), мог отдаваться на аутсорсинг третьей стороне, но он должен был существовать.

Сегодня, когда мы воочию увидели на что способны нейросети, генерирующие контент, стоит задуматься о важном и до этого нигде не учитываемом глобальном риске — невозможности отличить реальность от вымысла. Я говорю не о сложности, а именно о принципиальной невозможности сделать такое суждение, потому как механизмы критического мышления, которые отвечают за принятие таких решений, имеют свой предел чувствительности. У одних этот предел низкий, и они считают правдой то, что говорят в их окружении; у других он повыше, им требуется уже увидеть событие своими глазами, чтобы в него поверить; у третьих он еще выше, им нужны несколько разных фактов, статистика и проверочные следствия.

Однако принципиальная фальсифицируемость всегда была возможна, она упиралась лишь только в трудозатраты на эту фальсификацию. Но какие могут быть трудозатраты у нейросетей?

Я предполагаю, что если не сейчас, то через пару лет (!) человечеству уже вполне будет по силам создать такую виртуальную песочницу, в которой можно будет смоделировать все предпосылки, все проверочные следствия и всю статистику, для того чтобы обойти фильтры критического восприятия и создать в голове потребителя контента ту правду, которая выгодна владельцу песочницы в данный момент времени.

В том, что такие интересанты возникнут, сомневаться не приходится. И что среди них будут люди с поехавшим моральным компасом — тоже. Они, собственно, уже есть. Комментировать политику не берусь, не считаю себя специалистом, а вот в торговле каждый из нас может их наблюдать. Маркетплейсы и торговые площадки тому пример.

Занимая в отношениях покупатель-продавец посредническую роль, они забирают на себя контроль за процессами клиентского выбора. И уже сейчас потребители ощущают, что из чисто информирующей роли они переходят на роль управляющую, если не сказать манипулирующую.

В какой-то момент (верю, что он еще не настал повсеместно и для всех) мы обнаружим, что уже не можем точно сказать сами мы сделали выбор в пользу этого товара, или стали жертвой тончайшей манипуляции со стороны нейросети площадки, которая создала нам искусственную среду, в которой наш выбор оказался единственно возможным.

Мы относительно привыкли к тому, что продавцы нас обманывают, приукрашивая характеристики товаров, которые они продают, делая их более привлекательными. Мы умеем с этим справляться, мысленно или тестово помещая продукт в обстоятельства его потребления, считая их неизменным эталоном, и оценивая продукт в них (например так мы убеждаемся что красивая рубашка неудобная, модные ботинки жмут, а распиаренная на конференции CRM не повышает продажи).

Но настоящая манипуляция, к которой мы не готовы — это изменение не продукта, а контекста, в котором этот продукт преподносится и потребляется. Что если наши суждения о том, что удобно, а что нет — ненастоящие? Что если на конференции про CRM-систему нам будут показываться совершенно правдоподобные бизнесы, с реально существующими цифровыми продуктами, которые выросли в 100 раз только благодаря CRM-системе, и всё это, от личности фаундера до потребителей, на которых выросли эти компании, будет полностью сгенерированно нейросетями?

Чем больше вокруг нас элементов контекста, которые поддаются генерации со стороны ИИ (читай: виртуального контекста), тем больше вероятность, что этот контекст больше нельзя считать эталоном, в котором проявляется истинная ценность продукта.

К чему это в конечном итоге приведет, мне даже страшно себе представить. И решений этому я пока что не вижу никаких.