Как лгать при помощи статистики

Введение

Книга Даррелла Хаффа «Как лгать при помощи статистики» впервые вышла в 1954 году. С тех пор наука существенно продвинулась вперед. Однако «большие данные» и вычислительные машины мало что изменили в отношениях рядового клиента — избирателя, потребителя, человека, пытающегося выбрать безопасные продукты, эффективные лекарства, ответственное правительство — с теми цифрами, которые, словно кролика из шляпы, вынимают перед ним СМИ, пиарщики и политики. Мы каждый раз и поддаемся убедительности цифр (это ведь не слова, «цифры не лгут»), и боимся попасться, и попадаемся, конечно же — пока не прочтем эту книгу.

Даррелл Хафф не просто разоблачает манипуляции с цифрами: он выбрал самый увлекательный для читателя способ повествования: предлагает нам поиграть за обе стороны, выступить и в роли клиента, которого пытаются одурачить, и в роли хитроумного обманщика. Мы сами щупаем каждый кейс, прикидываем, как бы половчее подать информацию и, вроде не соврав в цифрах, придать заурядному товару привлекательность или создать иллюзию, будто за нашего кандидата голосуют «все». В итоге мы выясняем, как делается фокус, где прячутся веревочки и куда смотреть, какие задавать вопросы, чтобы с нами этот номер не прошел.

Такое сочетание наглядности и увлекательности, даже азарта — лучшее объяснение, почему книга Даррелла Хаффа продолжает переиздаваться, покупаться (миллионными тиражами, но это тоже «статистика»), переводиться: несколько лет назад — на русский язык, а в этом году и на китайский.

Автор предисловия к русскому изданию справедливо замечает, что знакомство с основами статистики необходимо любому человеку, в том числе гуманитарию, считающему, что он не разбирается в цифрах. Разбирается или не разбирается, но с цифрами мы сталкиваемся ежедневно — в газетных статьях о росте преступности или промышленности, в рекламных брошюрах, обещающих «эффективность больше на 26%», в брошюрах медицинских, доказывающих «снижение риска заболеваемости на 31%», в школе, где нам сообщают, что ребенок попал в такой-то процентиль. Человек, не способный задать нужные вопросы и выяснить, насколько точна и значима эта статистика, беспомощен.

И давно пора пересмотреть представление о статистике как о специальной дисциплине, доступной лишь людям с математическим складом ума. Да, статистика состоит из цифр, но эти цифры описывают то, что нам всего ближе — поведение человека и его отношение к ключевым проблемам жизни.

1. Выкрутасы выборки

1.1. Чаще всего статистические выводы делаются на основании выборки: сведения, полученные о представителях некой группы, экстраполируются на всю группу, а потому ошибки или намеренное искажение статистики начинаются с неверной выборки. Прежде всего выборка может быть слишком мала.

Нам известно, что в мешке лежит тысяча шариков разных цветов. Вынимаем пять шариков, видим 3 белых, 1 синий и 1 красный и делаем вывод: в мешке 60% белых шариков, 20% синих и 20% красных. На самом деле доля белых шариков намного ниже, а из 100 зеленых нам не попалось ни одного. Чтобы судить о содержимом мешка, нужно взять гораздо больше шариков (например 50). Ошибки все равно возможны, но вероятность их существенно снижается.

1.2. В идеале выборка должна быть совершенно произвольной, чтобы все элементы изучаемой группы имели равные шансы попасть в нее. Однако такое возможно лишь для одинаковых элементов (шариков), а в реальной жизни довольствуются стратифицированной выборкой, представляющей все слои населения и ситуации.

Если нужно узнать, как повысились цены на продовольственные товары по сравнению с прошлым годом, в выборке должны быть пропорционально представлены торговые сети, крупные магазины, лавочки и рынки больших, средних и малых городов, сел и труднодоступных мест всех регионов страны. Пропорционально должны быть представлены и продукты: нельзя судить об изменениях в стоимости продовольственной корзины по небольшой группе товаров нишевого потребления.

1.3. Один из основных видов выборки, результаты которого чаще всего ложатся в основу популярных социальных исследований, прогнозов и рекламы — опрос. При этом возможны такие «выкрутасы выборки»:

• Опрос небольшого и потому нерепрезентативного числа людей.

Обычное явление в тележурналистике: репортер передает микрофон трем–пяти прохожим, и у зрителя складывается ощущение, будто «все жители города» думают именно так.

• В выборке неравномерно представлены различные группы людей.

Например, требуется выяснить мнение студентов о готовящейся реформе образования. Чтобы далеко не ходить, опрашивающий ограничивается студентами из своего города или привлекает к опросу молодежь из знакомых семей.

• Одна из типичных ошибок — сдвиг в сторону благополучных людей.

Эта ошибка возникает порой невольно благодаря тем средствам связи, которые используются при опросе. Хафф приводит знаменитый случай, когда одна и та же группа респондентов, совершенно точно предугадавшая в 1948 году победу на президентских выборах, в 1952 году столь же дружно дала неверный прогноз. Выяснилось, что опрос проводился по телефону, а телефоны тогда имелись у зажиточных людей, богатство которых делало их приверженцами определенной партии. В современной ситуации такие искажения дает опрос в интернете (далеко не у всех граждан имеется интернет), тем более — в конкретной соцсети. Но и при уличном опросе интервьюер охотнее подойдет к чисто одетому, приветливому на вид человеку — и опять-таки получит больше «благополучных» ответов.

• Личность интервьюера также влияет на результаты опроса.

В больнице проводится опрос с целью выяснить, довольны ли сотрудники условиями труда и зарплаты. Ответы сильно зависят от того, кого сотрудники видят в вопрошающем:

• представителя администрации;

• представителя «хорошего» профсоюза;

• представителя «плохого» профсоюза;

• человека из министерства здравоохранения, который наведет порядок;

• человека из министерства здравоохранения, который закроет больницу;

• «желтого» журналиста;

• честного журналиста и свою последнюю надежду.

• При опросах важно делать поправку на желание человека соответствовать представлениям о нормах (зачастую внушенным той же статистикой).

Издательство, выпускавшее как развлекательные, так и научно-популярные журналы, решило провести опрос, чтобы выяснить, какие группы населения к каким журналам проявляют больший интерес. По результатам опроса выходило, будто читателей научно-популярных журналов в разы больше, чем тех, кто интересуется глянцем. Однако тиражи свидетельствовали о противоположной тенденции. То есть люди предпочитали не упоминать о легкомысленном чтении и преувеличивали свое знакомство с умными журналами.

1.4. Довольно часто непрезентативной выборке, отражающей взгляды узкой группы людей, приписывается преимущество именно потому, что это «мнение специалистов». Однако мнение специалистов важно лишь в их специальной области.

Например, рекламируя определенный сорт колбасы, можно указать, что ее предпочитают врачи. Но поскольку большинство врачей не имеют отношения к лабораторным анализам, санитарной проверке продуктов или диетологии, их мнение не должно иметь преимущества перед мнением других потребителей.

Итак, присматриваясь к статистике на основе выборки, следует прежде всего задать вопрос о репрезентативности выборки, затем проверить все возможные источники предвзятости и необъективности и наконец уточнить, насколько релевантны данные именно по этой группе лично для вас и не имеет ли место подмена понятий (мнение специалиста в другой области выдается за авторитетное мнение по этому вопросу).

2. Среднее и сравнительное

2.1. «Среднее» и особенно «среднестатистическое» — средняя зарплата по стране, среднестатистическая семья, «среднестатистический результат» — одно из наиболее используемых (статистически) понятий как в научной и научно-популярной литературе, так и в журналистике и рекламе. Это выглядит солидно: чтобы получить «среднее», нужно собрать массив данных и просчитать его. Тем не менее и тут есть нюансы.

2.2. Прежде всего нужно учесть, что «средних» имеется как минимум три вида.

• «Среднее арифметическое» получается путем сложения всех результатов, после чего сумма делится на количество слагаемых.

Начальник проекта получает сто долларов, два помощника — по 50, 3 специалиста — по 33, 5 разнорабочих — по 2 доллара. Среднее арифметическое: 100 + 2х50+3х33+5х10 (итого 309) разделить на 11 человек = 28 долларов.

• Среднее медианное, или просто медиана, находится в середине числового ряда. Чтобы найти его, напишите в ряд все числа (столько раз, сколько они встречаются) и найдите стоящее посередине.

2, 2, 2, 2, 2, 33, 33, 33, 50, 50, 100. Медиана — 33 доллара.

• Мода — значение, встречающееся в числовом ряду чаще других.

В данном случае это наиболее низкий заработок — 2 доллара.

2.2.1. Под видом «средней зарплаты» нам обычно подают среднеарифметическое или медиану (28 долларов или 33), хотя профсоюз, со своей стороны, скажет, что «среднестатистический работник» получает всего два доллара — и тоже будет прав.

2.3. И разумеется, нужно помнить, что заработки могут рассчитываться разными способами — с учетом бонусов, премий, социальных выплат — или только «базовые». И если это не оговорено весьма четко, значит, вас пытаются надуть.

2.4. Чаще всего озвучивается именно среднее арифметическое, а слушатели ошибочно воспринимают его как моду, то есть как наиболее часто встречающееся и близкое «к норме» значение. Склонность путать среднее арифметическое («среднестатистическое») и моду приводит и к завышенным ожиданиям (человек устраивается на работу, рассчитывая на «среднюю» зарплату в 28 тысяч, а получает две), и к ошибкам планирования из-за неверного представления о «среднем» клиенте.

Поскольку среднестатистическая семья состоит из 4 человек, в американских городах было построено большое количество недорогого жилья с расчетом именно на такой состав семьи. Оказалось, семья из 4 человек составляет менее 40% от общего числа семей, а остальные либо малочисленнее, либо, наоборот, многодетные, причем и тем, и другим стандартное жилье не подходит.

2.5. Очень эффектный прием — сравнение. Всем нам хочется лучшего, и когда предлагается зубная паста «на 28% эффективнее отбеливающая зубы» или соковыжималка, сулящая «на 32% больше сока», то такое преимущество (в сочетании с точно вычисленными процентами) — прекрасный рекламный прием. Вот только по сравнению с чем эта паста эффективнее и соковыжималка соковыжимательнее?

Очень часто в рекламе новый кухонный прибор сравнивается не с товарами-конкурентами, а с более примитивными старыми агрегатами (или даже с результатом, который вы бы получили, если бы выполняли ту же работу руками).

А уж как можно замерить 28% прибавления белизны? В этих случаях, когда возможна лишь качественная оценка, точные цифры должны не убеждать, а настораживать.

3. Грандиозные графики

3.1. Если цифры убедительны, то наглядное их представление — графики и диаграммы — убедительны вдвойне. Вот же, я своими глазами вижу стремительный рост акций. Но есть некоторые хитрости, с помощью которых не слишком выразительные цифры становятся на графике «стремительным ростом».

Самый простой и чаще всего применяемый способ — отрезать нижнюю часть графика. Тогда рост на несколько процентов превратится в рост «с нуля».

Допустим, стоимость акций выросла с $50 до $55. На честном графике это выглядит так:

А теперь отрежем нижнюю часть графика, и рост покажется куда существеннее:

Можно также укоротить линию, на которой представлено время, заменив более мелкие деления на более крупные, и тогда рост «ускорится».

Заменим на нашем графике месяцы кварталами:

А деления на оси ординат, где отражаются прибыли, наоборот, сделать более дробными:

Будем отражать на нашем графике не 5 долларов, а один:

3.2. Наглядные картинки тоже поддаются махинациям. Поскольку картинки плоские, соотношение между сравниваемыми величинами должно соответствовать соотношению между площадями картинок.

Чтобы показать, что зарплата врачей увеличилась вдвое, надо было бы нарисовать два денежных мешка, один из которых по площади вдвое больше другого.

Но чтобы произвести более сильное впечатление, вторую картинку увеличивают и в высоту, и в ширину (то есть ее площадь становится вчетверо больше), а можно еще тенью намекнуть на объем, который уже в восемь раз больше прежнего.

Второй денежный мешок кажется в восемь раз больше, потому что его увеличили вдвое и по ширине, и по высоте, и, как кажется, он стал еще и вдвое толще.

3.2.1. Дополнительно усилить впечатление можно, окрасив «хорошую» картинку более яркими красками, нарисовав на ней привлекательные символы.

Второй денежный мешок красим в золотой цвет, а первый остается серым.

3.2.2. Если в качестве наглядных картинок используются фигуры и лица людей, улучшение подчеркивается бодрыми жестами и улыбками.

3.3. Основание сравнения — как на графиках и диаграммах, так и в статистике, выраженной числами — может использоваться для махинаций. Если говорят, что мы стали жить намного лучше, чем столько-то лет назад, имеет смысл уточнить:

• что взято за точку отсчета;

• насколько изменились за это время условия в мире;

• по каким параметрам проводится сравнение и насколько оно релевантно.

3.3.1. Неверно выбранная точка отсчета — еще один распространенный фокус.

То и дело нам сообщают, что какая-то болезнь диагностируется теперь во много раз чаще, чем двадцать лет назад. Но вполне возможно, что дело не в ухудшении климата, опасных консервантах или вырождении, а в том, что двадцать лет назад эту болезнь умели диагностировать только по совокупности ярко выраженных симптомов, а сейчас ее обнаруживают и в латентном виде, и на ранних этапах.

3.3.2. Не учитываются параллельные изменения в других компаниях или в других странах.

В СССР все достижения промышленности и сельского хозяйства сравнивались с 1913 годом. Выглядит честно: последний довоенный год, высшая точка развития царской России. Но чего стоит рост производства автомобилей в 100 раз, если одновременно в США число выпускаемых автомобилей вырастает в 2000 раз?

3.3.3. Чтобы продемонстрировать успех, для сравнения выбираются хорошие показатели, а менее благоприятные замалчиваются.

Так, советская статистика показывала огромный рост выплавки чугуна и стали, не учитывая отставание по новым материалам и сплавам.

3.3.4. Сравнение должно проводиться по параметрам, релевантным и понятным для потребителя.

Рост производства станков (также важный пункт в советской статистике) ничего не говорит нам о том, будут ли эти станки производительнее, дадут ли они лучшее качество продукции — и даже о том, нужна ли их продукция или вовсе устарела.

Итак, при виде красивой картинки или графика прежде всего надо проверить, точно ли он отражает цифры, а затем уточнить, насколько честно выбрана точка отсчета, сравнить эти показатели с другими (не более ранними, а современными — по производству, росту стоимости акций и т. д.), выяснить, достаточно ли этих данных, чтобы судить о тенденции, и насколько это релевантно и применимо в вашей жизни.

4. Коварные ковариации

4.1. Одна из основных задач манипуляторской статистики — доказать ковариацию, то есть взаимосвязь двух параметров. Наиболее частые ошибки и подмены:

• Через доказанный факт обосновывается то, что не следует напрямую из доказанного факта (выстраивается псевдологическая связь).

Некое вещество уничтожает 99% находящихся в пробирке бактерий. Значит, лекарство на основе этого вещества лечит простуду. Но на самом деле еще надо доказать:

• что это вещество столь же эффективно в организме человека;

• что оно будет работать в разбавленной концентрации;

• что оно не нанесет ущерба пациенту;

• что простуда вызывается именно этими бактериями (вообще-то нет).

• Два события происходят одновременно потому, что у них есть общая причина, а не потому, что одно является причиной другого, как утверждает манипулятор.

Если одновременно с повышением цен на проезд повышаются зарплаты водителей, это может быть следствием (получили большую прибыль и смогли повысить зарплату), а может быть проявлением общей тенденции — инфляции.

• Два события взаимно обуславливают друг друга, но мы не можем с точностью отделить причину от следствия.

Люди с высоким заработком приобретают надежные и доходные акции. Высокий заработок является причиной того, что человек может купить доходные акции — или доходные акции обеспечивают высокий заработок? Это цикл причин и следствий (а также возможна общая причина — это человек из обеспеченной семьи, давшей ему профессию, передавшей по наследству бизнес и научившей разбираться в акциях).

Итак, если вам говорят о взаимосвязи двух явлений и советуют воспользоваться лекарством, смириться с повышением цен на проезд или приобретать те акции, которые приобретают богатые и успешные люди, всегда проверяйте:

• действительно ли эта взаимосвязь носит причинно-следственный, а не случайный, общий или смежный характер;

• возможно ли экстраполировать эту взаимосвязь на вашу ситуацию (вылечит ли вас от простуды то, что уничтожает бактерии в пробирке).

5. Проценты и пропорции, или Кролики и кони

5.1. Указывая состав продукта, изготовитель предпочитает говорить о долях и процентах, в зависимости от того, что производит лучшее впечатление.

В известном анекдоте изготовитель бургеров хвастался тем, что в его котлетах «половину составляет кролик». Вторую половину составляла конина, однако «все честно: на одного кролика одна лошадь». Никто бы не стал есть котлеты, где крольчатина составляет всего 5%. И наоборот: если сегодня к крольчатине добавляются консерванты и стабилизаторы вкуса в пропорции 1 пакетик на 1 кролика, никто не скажет, что половину в котлете составляют примеси — тщательно вычислив соотношение веса добавок и вес кролика, изготовитель бургеров напишет: «Чистейшая крольчатина на 98,2%».

5.2. Когда нам сообщают пропорции, нужно выяснить:

• как понимаются «доли» — как соотношение по весу (или другим измеримым величинам) или же как «один конь и один кролик»;

• что означают оговорки «не более» или «не менее» — каков предел допустимой погрешности и насколько допускается округлять числа.

5.3. Самое важное — то, о чем умалчивается.

• Если какой-то процент специалистов высказался в пользу данного препарата, то что думают остальные? Они не имеют своего мнения или же резко против?

«27% врачей рекомендуют новое средство!» Выглядит солидно — пока не спохватишься, что это всего лишь четверть, один врач из четверых, а что же остальные три? Не настолько продвинуты, просто еще не слышали о новом средстве — или же успели убедиться в его непригодности?

• Эти «менее 2% примесей» — они совершенно безобидны, так что можно бы и 3%, или же давно превышена предельно допустимая концентрация?

И даже когда нам сообщают данные о загрязнении воздуха с указанием предельно допустимых концентраций, тревожит вопрос: как были установлены эти предельно допустимые концентрации? Ведь не травили же людей газами, чтобы установить опасный порог. Значит, опять лабораторные эксперименты, и неизвестно, как это загрязнение скажется на нас вне пробирки и в сочетании с другими факторами. И опять «среднестатистическое» — а что будет с детьми, стариками, астматиками?

5.4. В современном мире присутствие в продуктах «химии» — один из главных пунктов обвинения, хотя любой натуральный продукт тоже имеет некий химический состав, и он, возможно, менее чистый и менее безопасный, чем искусственный продукт (не из всякого источника можно пить воду, в отличие от бутилированной воды). Зачастую, разоблачая искусственность продукта, не указывают ни количество добавок, ни степень их вредности и не приводят для сравнения данные о содержании тех же примесей в других продуктах.

Для консервации икры применялся уротропин — это самый надежный консерватор, позволяющий долго хранить икру. Выяснилось, что при соприкосновении уротропина с желудочной кислотой выделяется яд — формальдегид. Уротропин запретили использовать в консервации. Однако разоблачители не уточняли, какие количества уротропина применяются при консервировании. Выяснилось, что в банане содержится столько же природного уротропина, сколько добавляется в баночку икры для консервации.

Итак, когда нам говорят о долях, следует уточнять, о процентах идет речь или о пропорциях, сравнивать данные по одному продукту или ситуации с другими, выяснять, какие параметры являются значимыми, и проверять, что «осталось за кадром».

Заключение

Было бы неразумно, узнав про все невольные заблуждения и злостные манипуляции статистики, попросту повернуться к ней спиной и отказаться воспринимать цифры всерьез. Цифры — вещь весьма полезная. Да и не отмахнешься от них, так или иначе они возникают перед глазами ежеминутно. Если не контролировать жестко свое восприятие, скорее всего, цифры сыграют какой-нибудь фокус с подсознанием.

Итак, статистикой мы не перестаем интересоваться, напротив, будем вникать в нее более тщательно, чем прежде, постоянно задавая пять ключевых вопросов.

1. От кого исходит статистика и насколько этот человек или организация заинтересованы в определенных выводах?

Причин для заинтересованности может быть сколько угодно: сохранение своей репутации, корысть, политика. Обращаем внимание на туманные формулировки, выпячивание плюсов, подмену точки отсчета, мухлеж со средним. Ссылки на авторитеты (экспертов, знаменитости, академические институты) требуют особого внимания: в самом ли деле приводится прямая и к месту цитата или же это имя служит прикрытием?

2. Надежны ли данные?

Уточняем, достаточно ли велика и репрезентативна выборка. Также проверяем, насколько велика — и насколько разумно объясняется — корреляция.

3. Чего не хватает?

Чаще всего не указывают размеры выборки, и это всегда подозрительно. Также необходимо выяснить, какое именно «среднее» имеется в виду — среднее арифметическое, медиана или мода. Выяснить исходную точку (если часть графика отрезана). С чем именно проводится сравнение и на основании каких параметров. Не остались ли за скобками факторы перемен (не приписывается ли рост продаж мороженого удачной рекламе, в то время как просто выдалось на редкость жаркое лето).

4. Не подменен ли объект исследования?

Рост зарегистрированных случаев не есть рост случаев. Зачастую возникает впечатление, будто ширится эпидемия болезни или резко возросла преступность, а на самом деле возросла озабоченность этой проблемой. Еще одна распространенная ошибка — верить на слово. Победитель опроса — это еще не победитель в президентской гонке, и процент респондентов, выражающих интерес к научно-популярному чтению, не совпадает с той долей читателей, кто действительно берется за такие журналы. В этих случаях было бы точнее указать, что определенный процент респондентов утверждает что-то — но подмена заключается в том, что статистика представляет их поступающими в точности так, как они говорят.

5. Не противоречит ли вывод здравому смыслу и опыту?

«Средняя продолжительность жизни ниже пенсионного возраста, то есть мы все умрем, не дождавшись пенсии». Здесь происходит явная подмена понятия «среднее» и «норма», к тому же все мы знаем людей, которые намного старше пенсионного возраста.

В эту же категорию попадают прогнозируемые тенденции, когда они выстраиваются по экстраполяции. Если в первую пору появления новой техники количество пользователей ежегодно возрастает в десять раз и таким образом за пять лет 10 новичков превратились в миллион, ожидать ли нам такого же прироста в следующие пять лет — до ста миллиардов пользователей?

Вооруженный пятью вопросами читатель сумеет разоблачить статистический обман, извлечь полезную информацию даже из подтасовки, а если попробует сам заняться манипуляцией, рискует наткнуться на такого же продвинутого пользователя. Учитывая количество проданных экземпляров книги на разных языках, статистическая вероятность этого достаточно велика.