Одна жизнь против пяти. Как мир пытается решить проблему вагонетки

Что, если беспилотные машины будут действовать исходя из мнения большинства? Похоже, это сомнительная идея

Беспилотный автомобиль Google. Фото: Elijah Nouvelage / Reuters

Проблема вагонетки – один из самых известных мысленных экспериментов в этике. Классический вариант выглядит так. По рельсам несется тяжелая неуправляемая вагонетка, на ее пути лежат пятеро связанных людей. Их можно спасти, если направить вагонетку по другой ветке. Но там лежит еще один человек – и он тоже связан. Допустим, участник эксперимента оказался возле стрелки и ему предлагают две возможности – ничего не делать (тогда погибнут пятеро) или сдвинуть рычаг (тогда погибнет один). Как поступить? Какое решение может быть морально оправданным? Есть ли такое решение вообще?

Дилемму сформулировала еще в 1960-е годы Филиппа Фут, британская исследовательница философии и этики. И с тех пор об этом ведутся ожесточенные споры. Появилось множество вариантов (один из них предлагает столкнуть на рельсы случайного прохожего, чтобы остановить вагонетку) и дополнительных условий. Что, если связанный человек на запасном пути – ваш знакомый? Что, если это преступник? Имеет ли значение его возраст?

Теме посвятили десятки, если не сотни исследований. Выбор пытались связать с демографическими характеристиками (в некоторых экспериментах мужчины чаще выбирали вариант с переводом стрелки, чем женщины). Его пытались оправдать разными этическими теориями. Некоторые заявили, что моральная головоломка вообще не имеет смысла – что сценарий оторван от реальности и только отвлекает от реальных проблем.

Дилемма сложна, потому что оперирует человеческими жизнями. Можно ли сравнивать их ценность? Можно ли оправдать убийство невиновного? Кто может принять такое решение?

Почему это ⁠актуально?

Однозначного ⁠ответа, что лучше делать стрелочнику, нет. Но споры не ⁠прекращаются – в том числе на ⁠фоне разработки беспилотных машин. Если в будущем они станут основным ⁠видом транспорта, вероятны ситуации, когда им придется выбирать – например, между ущербом пассажиру и другому участнику движения (как вариант – сопоставлять риски). Что, если машина, движущаяся на большой скорости, оказалась перед выбором – столкнуться с пешеходом или врезаться в дерево (с большим риском для своего владельца)? Что, если это не один пешеход, а группа людей? Что, если в машине ребенок?

Некоторые ⁠считают, что для беспилотных машин проблема не актуальна. Что это практические вопросы, которые решаются в зависимости от технических ограничений, законов и предпочтений потребителей. Что их должны решать скорее к��рпоративные юристы, а не философы. Как заявил бывший руководитель проекта Google по ⁠беспилотным машинам Себастьян Трун, вероятность таких дилемм слишком мала, чтобы ломать над ними голову. Однако, по мнению доцента философии Массачусетского университета Николаса Эванса, который разрабатывает алгоритмы для подобных ситуаций, этические проблемы неизбежны. «Можно запрограммировать машину на то, чтобы при авариях она старалась минимизировать число жертв, – рассуждает он. – Но если ей придется выбирать между безопасностью владельца и нескольких пассажиров другой машины, выбор может оказаться не в пользу хозяина. Станут ли люди покупать такие автомобили?»

Дело не только в этом. Беспилотные автомобили – еще один шаг на пути к миру, где машины могут принимать решения, касающиеся человеческой жизни. Их алгоритмы можно согласовать с моральными нормами. Но можно ли объяснить машине то, в чем сами люди не уверены?

Что говорят люди?

Если философы никак не договорятся, почему бы не узнать мнение большинства? Тем более, что речь идет о товарах и потребители имеют право высказаться. «Создателями нравственных принципов у машин будут не инженеры из крупных технологических компаний, а обычные граждане», – заявляет исследователь права из Стэнфордского университета Брайан Кейси.

Несколько лет назад с такой целью запустили проект «Нравственная машина». Его создатели, исследователи Массачусетского технологического института, создали платформу, которая предлагает серию тестов – вариантов проблемы вагонетки для беспилотных машин. В каждом случае участникам предлагают выбрать – ехать ли прямо или свернуть (один из вариантов может привести к аварии). На дороге, как и в машине, могут быть дети, люди старшего возраста, мужчины или женщины, люди с разным социальным статусом, животные, преступники и так далее. Тесты прошли миллионы людей со всего мира, результаты были недавно опубликованы в журнале Nature.

Что они показали? Результаты по странам и регионам расходятся (в условном «западном блоке», к которому относят и Россию, участники, например, отдавали приоритет детям). Но есть и общие тенденции. В целом участники готовы были жертвовать животными ради людей. Отдавали предпочтение детям перед взрослыми. И были склонны выбрать вариант со спасением более многочисленной группы ценой менее многочисленной.

Что это значит?

Создатели этических алгоритмов для машин получили представление о том, что думает общество (сами авторы, признавая методологические ограничения, отмечают, что это лишь начало широкой дискуссии на эту тему). Но решена ли этическая проблема? Есть ли теперь руководство для машин? Едва ли.

Сама идея с подсчетом ценности жизней спорна. Она легко доходит до абсурда (на сайте «Нравственной машины» можно найти такие примеры – смешанные группы из детей, грабителей банков, спортсменов, кошек и так далее). И мнение большинства не обязательно нравственно. Сами авторы, например, с беспокойством отметили, что участники нередко предлагали жертвовать людьми с низким социальным статусом (условными бездомными) ради тех, чей статус выше. Если это распространенное мнение, значит ли, что надо предложить его машине? Авторы признают, что нет.

Хелен Фрау, профессор философии Стокгольмского университета, читавшая лекции о проблеме вагонетки, предложила, чтобы беспилотные машины в аварийной ситуации отдавали приоритет пешеходу. По ее логике, справедливо, чтобы владелец машины (пассажир) нес дополнительные риски. Но она признала, что при наличии, например, детей в машине решение менее очевидно.

При этом участники тестов не объяснили своих мотивов. В классическом сценарии, где предлагается столкнуть воображаемого прохожего с моста (чтобы остановить вагонетку и спасти пятерых), такой выбор принято связывать с утилитаризмом (этической теорией, которая оценивает полезность поступков и может допустить спасение нескольких жизней за счет одной). Но американские психологи, проведя опрос в начале 2010-х годов, обнаружили среди участников, согласных на подобную жертву, людей с признаками психопатии. Иначе говоря, столкнуть прохожего с моста может утилитарист. Или психопат. Считать ли обоих примерами для машин?

И, наконец, поведение многих может отличаться от того, что показали тесты. В эксперименте, который провел социолог из Гентского университета Дрис Бостин, людям сначала предложили гипотетическую дилемму с лабораторными мышами (клетке с пятью мышами угрожает болезненный электрический разряд, который можно перенаправить на другую клетку, с одной мышью). Две трети участников заявили, что готовы «перевести стрелку». Но когда ситуацию смоделировали в лаборатории (мышей не ударяло током, но участники об этом не знали), такой вариант выбрало гораздо больше. Напротив, когда участники другого экспериме��тастолкнулись с реальной ситуацией (речь шла о том, чтобы отменить пожертвования для воспитанников детского дома – пятерых или одного), они реже, чем в абстрактном сценарии, обрекали одного на то, чтобы он пострадал за других.

Что они упустили?

Почему в реальности люди могут поступать иначе? Среди возможных причин – то, что абстрактную дилемму далеко не все воспринимают всерьез. Для участника его выбор, по крайней мере в оригинальной версии, не подразумевает последствий. Он не несет ответственности, в том числе формальной (хотя в реальности если бы перевел стрелку, то, вероятно, был бы арестован за убийство).

Есть сценарии, которые стимулируют более серьезное отношение – например, вариант дилеммы с «большим человеком» (грузным человеком на мосту, которого предлагается столкнуть на рельсы, чтобы остановить вагонетку). Он выглядит примерно так. «Представьте, что большой человек – это вы. Вы стоите на мосту, кроме вас там никого нет. Вы смотрите вниз и видите вагонетку, которая приближается, угрожая группе из пяти человек. Вы можете их спасти, если пожертвуете собой». Условия не изменились – одна жизнь за пять. Но для участника все уже выглядит иначе. В тестах многие склонны жертвовать одной жизнью ради нескольких. А что, если это их собственная жизнь?

Год назад свод этических правил для беспилотных машин был разработан в Германии. Его составила комиссия, назначенная федеральным правительством. Она признала, что дилеммы, в которых может возникать выбор между несколькими жизнями, слишком сложны для того, чтобы разрешить их в рамках компьютерных алгоритмов. При этом комиссия подчеркнула, что сравнение ценности потенциальных жертв недопустимо, хотя алгоритмы, направленные на снижение вреда, можно оправдать.

Последствиям выбора в подобных дилеммах нередко уделяется мало внимания. Но как считает британский философ Джулиан Баггини, они затрагивают суть моральных проблем – речь идет не только о том, можно ли отдать одну жизнь ради другой (или других), но и о том, что будет при этом принесено в жертву. «Такие дилеммы по сути – это выбор между тем, чтобы сохранить больше жизней, но в ущерб тому, что придает жизни ценность, – полагает он. – Если мы соглашаемся на гибель невиновного, то жертвуем частью своего достоинства и уважения к человеческой жизни».

Сам он относится к числу тех, кто считает, что в таких дилеммах нет «правильного ответа». Вполне вероятно, их значение в другом – возможно, они призваны показать условность расчетов, касающихся ценности жизней, и напомнить о последствиях выбора. Сложно сказать, можно ли все это объяснить машинам.

Михаил Тищенко Редактор Republic