Оружие математического поражения: как технология Big Data усугубляет неравенство и угрожает демократии

Автор: Кэти О’Нил

Введение

Начало активного развития экономики Big Data пришлось на 2008—2010 гг., когда математики и специалисты в области статистики погрузились в изучение жизни человека: его желаний, интересов, физических возможностей и психологических особенностей. Их главной целью стало научиться оценивать, предугадывать и влиять на действия homo sapiens в работе, обучении, сексе, контролировать лояльность людей к идеям.

Но «что-то пошло не так», и Big Data стали превращаться в оружие математического поражения. Один из главных просчетов специалистов в том, считает автор, что созданные математическим путем приложения слишком часто базируются на ошибочных алгоритмах поведения человека. Вынесенные самообучающейся программой вердикты не анализируются и не обсуждаются в обществе. Кроме того, сегодня очевидно, что ущемляются права обычных людей. Если несправедливость выводов алгоритма по отношению к себе заметит обеспеченный человек, то он сможет добраться до причин и восстановить справедливость. Кто небогат, либо не заметит ошибку машины, либо не будет располагать ресурсами для ее исправления.

Так, соискателю могут отказать в работе из-за выводов Big Data о его слишком низком кредитном рейтинге или криминальном прошлом. Иногда это происходит из-за сбоя программы, по ошибке. Но жертва почти гарантированно не узнает, что в действительности послужило причиной неудачи. Несправедливость проявляется в разных сферах жизни: алгоритм склоняет людей к получению необоснованно дорогого образования, переплате за страховки, дорогим кредитам и т. д. В итоге бедные становятся еще беднее.

Богатым же алгоритм помогает ставиться еще богаче и влиятельнее. Они имеют доступ к данным исследований поисковых систем и социальных сетей, могут пользоваться их инструментами влияния на пользователей. Недавние скандалы, связанные с участием Facebook в сборе и незаконном распространении персональных данных, — только вершина айсберга. Есть все основания полагать, что Google и Facebook заходят намного дальше, лоббируя интересы партий и конкретных кандидатов.

Сложившуюся ситуацию необходимо менять. И не только из-за растущей несправедливости и разрыва между бедными и богатыми. Просчеты в алгоритмах Big Data могут превратиться в настоящую катастрофу в обозримом будущем, когда вся информация из интернета будет стекаться в недра AI — искусственного интеллекта. Невозможно спрогнозировать, что мы получим на выходе.

Поэтому всем, кто имеет отношение к Big Data, необходимо ответственнее подходить к разработке новых алгоритмов. Уже работающие модели должны быть проанализированы и исправлены совместными усилиями ученых и общественности. Но самое главное — человечество должно изменить само определение успешности возможностей Big Data. Вместо служения прибыли они должны научиться служить людям.

Ознакомившись с саммари, вы поймете опасность текущих трендов в развитии Big Data. Научитесь избегать ошибок в процессе трудоустройства и отличать социальную рекламу в соцсети от проводимых над вами опытов. Узнаете, кто и как вас склоняет к голосованию за того или иного кандидата. Разберетесь в том, какие шаги необходимы для исправления ситуации.

1. Оружие матпоражения номер 1: бесконтрольное влияние

1.1. Алгоритмы Big Data используются сегодня во множестве сфер, оказывая самое непосредственное воздействие на жизнь человека. Наименее успешны матмодели в тех областях, которые связаны с моделированием поведения человека в глобальных масштабах. Не располагая необходимым объемом достоверных данных, специалисты заполняют пробелы другой, близкой и не очень, информацией на собственное усмотрение.

Это приводит к искажению конечного результата, и в итоге негативно сказывается на судьбах людей. Если раньше человеку с плохим кредитным рейтингом просто отказали бы в очередном кредите, то сегодня это показатель его общего грехопадения: Big Data используют данные о финсостоянии как промежуточные для применения в сфере трудоустройства и даже при поиске партнера для жизни. То же касается людей, однажды совершивших правонарушение. Таким образом Big Data превращаются в оружие математического поражения.

Поведение человека в той или иной ситуации зависит от очень большого количества факторов и обстоятельств. Никакой маталгоритм на сегодняшний день не способен их полноценно охватить, и маловероятно, что сможет в будущем. Ему бы пришлось справляться с часто меняющимися у людей вкусами и пристрастиями, с которыми порой неспособен справиться сам человек. Можно запрограммировать постоянные величины, но нельзя учесть постоянные изменения, утверждает автор.

Любые просчеты на начальном этапе создания алгоритма ведут к более глобальным с каждым новым витком участия Big Data в жизни людей. Этому способствует закрытость системы. Без дополнительных усилий она не раскроет причин, почему человеку отказали в работе или подняли стоимость страховки. На выяснение сути и восстановление справедливости необходимо тратить время, силы и средства, которые в нужной мере есть не у всех.

В 2015 г. Google распознал на фото группу молодых афроамериканцев как стадо горил. Случай получил широкую огласку, что вынудило компанию извиниться и исправить ошибку. Возникшая ситуация стала наглядной демонстрацией несовершенства Big Data. Если в одном городе в один день родилось несколько человек, которых назвали одним и тем же именем, то однажды система вполне может приписать одному просчеты другого со всеми вытекающими последствиями.

Человек должен иметь достаточный уровень образования и информированности, чтобы предположить, что вероятная причина его неудач лежит в плоскости Big Data — оружия матпоражения. Таким образом, система в ее нынешнем виде на стороне образованных и финансово обеспеченных граждан.

1.2. Открытость процесса сбора информации является ключом к созданию качественного алгоритма Big Data, считает автор. Чем четче и понятнее смысл исследования, тем лучше конечный результат. Утаивание истинных целей ведет к искажению реальной картины. Чтобы этого не происходило, процесс на каждом из этапов должен контролироваться внешними профильными экспертами.

Например, специалистами в области статистики и психологии при составлении характеристик группы. Они подскажут, почему нельзя брать за основу результаты опроса самих участников объединения. В этом случае группе, скорее всего, будут приписаны неверные общие поведенческие особенности, на основании которых общество будет строить свое отношение к ним. Кроме того, привлечение внешних экспертов сделает возможной независимую проверку эффективности используемых методов и инструментов и позволит убедиться в их безопасности и справедливости по отношению к людям.

Недавно Facebook запатентовал собственную систему определения кредитного рейтинга человека. Базироваться она будет на данных профиля. Если предположить, что исследуемый живет в неблагополучном районе и у него в друзьях есть небогатые знакомые с криминальным прошлым, то это наверняка скажется на его фейсбук-кредитном рейтинге. Но ведь лично он не совершил ничего противоправного. Автор задается вопросом — насколько качественными и справедливыми будут выводы соцсети?

1.3. Другое дело, когда Big Data применяются для прогнозирования и улучшения понятных, поддающихся качественному исследованию локальных процессов. Они часто успешны — при условии, что не связаны с ментальными, эмоциональными и социальными особенностями человека.

Свою практическую эффективность матмоделирование доказало, в частности, в спорте. Годами специалисты-статистики скрупулезно собирали (и продолжают собирать) любые данные, влияющие на исход соревнований. Спортсмены, принимающие участие в процессе сбора данных, хорошо понимают суть вопросов и их конечную цель, а вся статистика открыта. В сумме это ведет к правильным результатам. Тренерский состав обладает достаточно точными математическими данными о сильных и слабых сторонах спортсменов и команды. Добавленная в алгоритмы, эта информация позволяет точечно и эффективно подходить к устранению «брешей» и успешно прогнозировать результаты состязаний.

2. Оружие матпоражения номер 2: мифы и реальность

2.1. Big Data окутаны мифами. Один из них про якобы «плюсы» от исключения человеческого фактора при использовании алгоритмов в бизнес-процессах. Такие утверждения не соответствуют действительности. На практике человеческий фактор не исключается, поскольку готовые модели напрямую зависят от идеологической составляющей и задач, которые разрабатывали и ставили отдельно взятые люди. Сложные модели не могут быть свободны от предрассудков, особенностей, интересов и систем ценностей своих создателей. Существуют государства, где обман считается нормой, и за лишение «права» на манипуляции граждане выйдут на баррикады. В финансово благополучных государствах обман приобретает «продвинутые» формы. Отыскать чей-то скрытый замысел в математическом алгоритме автор считает задачей не из простых.

Важно учитывать, что за специалисты занимаются составлением алгоритма. Какова их шкала ценностей, насколько она отличатся от ценностей целевой группы, чье поведение разработчик пытается прогнозировать. Если специалист не понимает среду, в которой развивался и живет предмет его исследований, результат не отразит реальности. Но даже если и понимает, он все равно обладает собственным, уникальным видением ситуации и ее возможного развития.

Big Data активно развиваются в HR-сфере, превращаясь в оружие матпоражения по отношению к людям. Задача алгоритма состоит в сборе максимума информации о соискателе и выдаче рекомендации — соответствует или нет должности и насколько процентов. Для этого проводятся опросы и даже экзамены, часто не имеющие никакого отношения к будущей работе. В конечном счете алгоритм блокирует людей по косвенным признакам, нарушая их права.

Потенциального не слишком ценного работника система может вычеркнуть из претендентов, базируясь всего на одном «тревожном», по ее мнению, показателе. Но то же самое никогда не произойдет, например, в профессиональном спорте. Если в ходе исследований возникнет вопрос к перспективному спортсмену, то предмет беспокойства всесторонне изучат и только потом примут решение. Так происходит потому, что в многомиллионном бизнесе ценность человека выше, утверждает автор.

Принято считать, что использование программ для обработки резюме соискателей позволяет не только экономить время рекрутеров, но и делает процесс отбора более справедливым. Действительно, при автоотборе минимизируется влияние человека, который мог бы отказать в должности по рассовому или половому признаку. Но мало кто знает, что именно благодаря автоматизации порядка 72% резюме отправляются в корзину еще до их просмотра рекрутером. Поэтому очень важно, чтобы кандидат составлял свое резюме с учетом знаний о принципах работы автоматизированной системы:

• в тексте резюме должны максимально использоваться слова, описывающие опыт и компетенции из текста вакансии, которые требуются работодателю;
• не использовать графики, картинки, символы, «модные» шрифты. Все это способно «запутать» программу, так как она пока не способна их обработать.

Недостаток существующей системы в том, что кандидат, вероятно, вполне мог бы справиться с работой, но не будет даже рассмотрен по причине неправильно оформленного резюме.

2.3. Алгоритмы, созданные для оптимизации рабочих процессов, это еще один вид оружия матпоражения. Их широкое применение в бизнесе, особенно в условиях экономического кризиса, негативно сказывается на людях. Работы у персонала становится все больше, но этот факт никак не отражается на зарплате. Требовать доплат в кризисные времена рискнут немногие.

3. Оружие матпоражения номер 3: прибыльные манипуляции

3.1. Вложения крупных рекламодателей в таргетированную рекламу, скажем в Google, часто вредит конечному потребителю. Чем больше затраты, тем выше вероятность, что реклама окажется манипуляцией. Главной целевой аудиторией для неправдивых предложений по завышенной цене становятся обычные люди. Они, с одной стороны, полны надежд, с другой, недостаточно хорошо разбираются в реальном положении дел. Логично, что еще один из «клондайков» для оружия матпоражения — рынок быстрых кредитов. Рекламодатели, продвигающие эту и схожие услуги, рассчитывают именно на доверчивость бедных и необразованных.

Информация о пользователях, которую собирает Big Data для использования в «хищнической» интернет-рекламе:

• Любые недостатки, слабости, переживания: физические, психологические, материальные и др.

Игра на слабостях — часть главной стратегии оружия матпоражения. Тем, кого система определила как неуспешных в отношениях, реклама предложит увеличить пенис или грудь. Кто стеснен в средствах, увидит предложения кредитов по максимальным ставкам и т. д.

• сферы, в которых пользователь не обладает экспертными знаниями.

Это позволяет намеренно вводить людей в заблуждение, заставляя их переплачивать за товары, услуги, учебу и др.

Big Data собирают информацию о пользователях из всех возможных источников — поисковых систем, соцсетей, кликов на баннеры на сайтах, переходов по рекламным ссылкам и т. д. То же касается реакции человека на любые предложения и участие в опросах.

Даже если пользователь не открыл полученное по электронной почте спам-сообщение с предложением кредитной карты, для системы это тоже результат — в следующий раз рекламщики попробуют подойти с другой стороны.

3.2. Не одно десятилетие соцсети и поисковые системы служат площадками для опытов над группами и отдельными людьми. На основе данных о пользователе Facebook и Google активно манипулируют им не только в коммерческих целях, но и участвуют в продвижении интересов партий и отдельных политиков. Известно про открытое влияние Facebook на явку избирателей. Автор задается вопросом — а только ли на явку? Ведь компании зависят от госрегулирования, что делает их зависимыми от решений политиков.

Рекламная кампания Facebook «I Voted» была призвана увеличить явку избирателей на участки. По приблизительным подсчетам, она позволила дополнительно мобилизовать порядка 340 тыс. граждан. Параллельно с запуском социальной рекламы соцсеть провела серьезное исследование поведенческих особенностей человека, в котором невольно участвовал 61 млн американцев.

Big Data автоматически становятся оружием матпоражения в руках компаний, занятых в сфере продвижения политиков и партий. Их первоочередная задача — собрать максимальное количество данных о чаяниях пользователей, чтобы политик мог обещать то, что от него ожидают. Для этого потенциальный электорат делят на группы по интересам. Самая важная группа — те, кто готов помочь кандидату деньгами. Далее для каждой из групп запускают «тестовую» рекламную кампанию. Пользователь видит ее в соцсетях и на сайтах, которые посещает. На основе анализа реакций на различные варианты рекламы формируется «портрет избирателя». Потом система определяет самое эффективное применение индивидуума — волонтер, спонсор, избиратель. Параллельно прогнозируется его реакция на то или иное событие или высказывание политика. Периодически вбрасываются нужные сообщения, призванные оценить настроение и предпочтения участников групп в прогрессии. Обновляемые результаты пользуются очень большим спросом. Все это служит развитию наиболее «темного» варианта оружия матпоражения и, по убеждению автора, подрывает основы демократии.

4. Оружие матпоражения номер 4: выход есть

4.1. Автор определяет следующие ключевые составляющие успешного применения технологий Big Data:

• Корректность используемых в алгоритме исходных математических данных.
• Открытость для всех, кто захочет убедиться в их правильности.
• Четкое понимание целей и составляющих всеми участниками процесса.
• Отсутствие места для «творчества» со стороны заинтересованных лиц.

Сегодня трудно найти разработку, которая соответствовала бы даже одному-двум требованиям из перечисленных. Следствием этого и стало превращение Big Data по отношению к человеку в оружие математического поражения. Поражает оно в первую очередь тех, кто не имеет ресурсов для самозащиты. Кто ими обладает, какое-то время могут ощущать пользу от воздействия алгоритмов на свою жизнь. Но так будет не всегда. Вполне вероятно, что однажды денег и связей окажется недостаточно для решения возникших «из ниоткуда» проблем.

В силу текущей и еще более непредсказуемой грядущей опасности оружия матпоражения человечеству необходимо взять ситуацию под жесткий контроль. Нужно начать создавать принципиально новые математические и статистические модели, которые учитывали бы этическую сторону процессов и их последствий. Необходимо сделать так, чтобы, когда возникал выбор между прибылью и благими целями, программа выбирала второе.

Начать процесс обновления Big Data нужно с подготовки разработчиков. По аналогии с врачебной клятвой Гиппократа, они должны давать свою клятву. За основу автор предлагает взять принципы, которые придумали инженеры-финансисты Эмануэль Дерман (Emanuel Derman) и Поль Вилмотт (Paul Wilmott).

• «Я буду помнить, что не я создал этот мир и он не укладывается в мои уравнения».
• «Хоть я и буду смело использовать модели для оценки эффективности, я никогда не стану переоценивать возможности математики».
• «Я никогда не пожертвую реальностью в угоду изяществу, не объяснив, почему я так сделал».
• «Я также не стану уверять в непогрешимости модели людей, которые ее используют. Напротив, я подчеркну ее допущения и недочеты. Я буду открыто излагать свои предположения, говорить о недоработках».
• «Я осознаю, что мои действия могут оказывать серьезное воздействие на общество и экономику, находясь при этом за гранью моего понимания».

Но самое главное, считает автор, — должно измениться определение успешности моделей. Сегодня это понятие измеряется в единицах прибыльности, эффективности или рейтинга. Этого недостаточно. Необходима единица, определяющая степень «человечности». Данная единица должна стоять над всеми остальными. Моделями должны управлять люди, а не наоборот.

Также потребуется создать систему алгоритмического аудита. Ее задача — прогнозировать и выявлять возможные негативные последствия Big Data для человека. Установленные регулятором правила должны быть обязательными к исполнению для всех без исключения, но в первую очередь для страховых, кредитных и смежных видов бизнеса.

И, наконец, для улучшения ситуации потребуется обширная поддержка со стороны науки. Обезвреживать оружие математического поражения должны те, кто его когда-либо создавал.

Заключение

Автор книги считает бесперспективным и даже вредным применение алгоритмов в областях, так или иначе связанных с психологией человека. Кэти О’Нил убеждена, что ни одну машину нельзя научить эффективно прогнозировать поведение людей, поскольку:

• оно (поведение) слишком сильно зависит от широкого спектра условий и факторов;
• человек далеко не всегда действует осознанно, что по определению сводит на нет усилия программ.

Вместе с тем, автору видится возможным и полезным применение Big Data в других сферах, где соблюдены следующие условия:

• все составляющие процесса поддаются точному математическому анализу (расчету);
• все участники хорошо разбираются в сути и понимают свою роль;
• все данные открыты для общественности.

Секретность вокруг истинных целей и задач, расчетов и участников ведет к просчетам и ошибкам, которые негативно сказываются на жизни людей. Страдают в основном бедные и необразованные. Если по отношению к человеку программа допустила ошибку, то жертва вряд ли об этом узнает. А если узнает, то не докажет.

Людей исследуют без их на то согласия, составляют и обновляют «виртуальные портреты», прогнозируют реакцию на те или иные события, манипулируют при возникновении выбора, который сами же и создают.

Все перечисленное дискредитирует технологии Big Data. В то время как они могли бы приносить пользу всему обществу, вне зависимости от уровня достатка и образования его отдельных слоев. Для этого требуется, чтобы общество осознало наличие и опасность обозначенной в книге проблематики. Чтобы к устранению недочетов подключились разработчики, ученые и общественность.

Автор убеждена, что все проблемы можно разрешить, если над понятием «прибыльность» модели ставить понятие «человечность». И с этим нельзя тянуть — бесконтрольное развитие технологий Big Data, и в особенности искусственного интеллекта, усложнят и без того непростую задачу.