Голая статистика

Что нам дает статистика

Статистика – удобный инструмент, помогающий обрабатывать данные и представлять сложную информацию в виде простых и понятных цифр. Этот инструмент используется в самых разных ситуациях. Статистика помогает делать выводы и принимать решения, получать ответы на важные вопросы, в том числе в социальной сфере – например, если нужно сравнить уровень социального неравенства по странам и выяснить, как в них распределяется богатство.

Благодаря статистике мы получаем возможность находить практическое применение обработанной информации. Именно на статистических данных основаны рекомендации Netflix, американского поставщика фильмов и сериалов на основе потокового видео. Алгоритм этих рекомендаций несложен: клиенту, посмотревшему фильм А, скорее всего, понравится фильм Б, потому что он понравился большинству пользователей, посмотревших фильм А.

“Есть три вида лжи: ложь, наглая ложь и статистика” (Марк Твен).

Статистика дает возможность находить более эффективные решения различных задач – от поиска преступников до продажи детских подгузников. Она позволяет оценивать эффективность инноваций, будь то новый лекарственный препарат или новая социальная программа. Статистика помогает оценить риск инвестиций и определить размер страховых взносов. Статистические данные сопровождают нас повсюду. Студент, который считает статистику скучным предметом, с энтузиазмом обсуждает коэффициенты эффективности бейсболистов, средние баллы и кривые экзаменационных результатов, иными словами – ту же статистику.

“Статистика подобна мощному оружию, полезному в случае его правильного применения и потенциально разрушительному в неумелых руках”.

Если в бар зашел Билл Гейтс

Описательная статистика позволяет нам обозначить проблему или явление, дать им обобщенное описание. Однако чтобы описание соответствовало действительности, необходимо правильно выбирать показатели. Предположим, мы хотим описать уровень дохода посетителей бара. Мы можем использовать среднее значение. Если каждый из сидящих за стойкой 10 мужчин зарабатывает по 35 000 долларов в год, то именно столько составит их средний доход. Но картина полностью изменится, если к посетителям бара неожиданно присоединится Билл Гейтс. Тогда уровень их дохода сразу взлетит к 91 миллиону, что явно не соответствует действительности. Поэтому в случае, когда появляются значения, очень сильно отклоняющиеся от среднего (“отщепенцы”), правильнее использовать медианный показатель. Он делит посетителей бара по их доходам на две равные группы. “Если представить, что посетители бара расселись за его стойкой в порядке возрастания их доходов, то доход посетителя, сидящего на шестом стуле, будет срединным для данной группы людей”. И даже если за стойку на двенадцатый стул сядет Уоррен Баффет, срединный (медианный) доход посетителей все равно будет равняться 35 000.

Статистические значения могут быть абсолютными и относительными. Допустим, из 60 возможных баллов теста ученик третьего класса набрал 43. Это абсолютное значение, которое в данном случае несет в себе не много информации. Другое дело, если сравнить достижения этого ученика с достижениями всех учеников его штата, посмотрев, как распределяются результаты. Относительное значение сразу дает понять, что уровень знаний этого учащегося выше, чем у большинства детей того же возраста в данном штате. Для правильного понимания статистических данных важен контекст.

“Ирония судьбы заключается в том, что чем большим количеством данных мы располагаем, тем труднее выделить в них главное. Поэтому мы вынуждены прибегать к упрощениям”.

Статистика может описывать данные на языке индексов. Индекс консолидирует в едином показателе большое число разнородных данных. Так, HDI, индекс человеческого развития ООН, включает в себя помимо дохода среднюю продолжительность жизни и уровень образования. С помощью индексов намного легче проводить сравнения.

“Кто-то из гнусных побуждений может обыграть даже самые невинные факты и численные показатели ради весьма сомнительных выводов, не имеющих ничего общего с реальной ситуацией”.

Почему не стоит доверять рейтингам

Любое утверждение способно ввести в заблуждение, не будучи при этом лживым. Несмотря на то что в основе статистики лежит математика, которая является предельно точной наукой, статистика не всегда правильно отражает сложные явления. Статистические данные можно намеренно использовать так, чтобы неверно представить ситуацию. В качестве примера можно привести “рекламную войну” между двумя операторами мобильной связи – Verizon и AT&T. Компании выбрали разные единицы анализа – площадь зоны покрытия и количество населения. У AT&T зона покрытия меньше, но зато она приходится на наиболее густонаселенные районы. В результате Verizon утверждает, что ее услуги являются более качественными, потому что она имеет большую зону покрытия. AT&T утверждает то же самое, но на основании того, что ее услугами пользуется 97% американцев. Чтобы не попасть на удочку подобных манипуляций, необходимо четко понимать суть используемых статистических данных и показателей.

Популярность того или иного рейтинга или статистического показателя еще не значит, что он действительно важен и что ему стоит доверять. Журнал U.S. News & World Report ежегодно публикует рейтинги вузов, которых с нетерпением ждут многие абитуриенты и их родители. Эти рейтинги складываются из ряда показателей. Наибольшим весом обладает такой показатель, как “научная репутация”. Однако она определяется не на основе измеримых данных, а с помощью опроса “представителей научного сообщества”. Малкольм Гладуэлл приводит пример подобного опроса: более сотни опрошенных юристов внесли в список лучших юридических вузов Пенсильванский университет. И все было бы ничего, если бы в этом университете был юридический факультет.

“Если вы формируете на основе какой-либо совокупности большие (по объему) случайные выборки, то их средние значения будут распределены по нормальному закону вблизи среднего значения соответствующей совокупности”.

Как количество телевизоров влияет на школьную успеваемость

Корреляция – не то же самое, что причинно-следственная связь. Она позволяет отследить параллельные изменения двух явлений. Например, существует корреляция между такими явлениями, как повышение температуры воздуха летом и объемы продаж мороженого. Но изменение одной переменной может приводить, а может и не приводить к изменению другой.

“Использование большей по объему выборки снижает стандартную ошибку. Именно за счет этого крупные общенациональные опросы позволяют получить необычайно точные результаты”.

Так, исследование может показать, что учащиеся, в доме которых больше телевизоров, лучше сдают экзамены федерального уровня. Получается, что количество телевизоров влияет на успеваемость. На самом деле на нее влияет доход семьи. Можно предположить, что семьи, которые могут позволить себе купить несколько телевизоров, могут позволить себе нанять хороших репетиторов.

Во власти вероятностей

Теория вероятности описывает действия с неопределенным результатом, будь то подбрасывание монетки, инвестиции в фондовый рынок, игра в рулетку. Как в случае с азартными играми, так и с некоторыми инвестициями высокий риск может означать значительный выигрыш.

“Корреляция не предполагает причинно-следственной связи: положительная или отрицательная корреляция между двумя переменными вовсе не обязательно означает, что изменения одной переменной вызывают изменения другой”.

Вероятность какого-то события может быть очень мала, но в определенных случаях это и будет положительным фактором. Именно потому, что низка вероятность угона каждого отдельно взятого автомобиля, страховые взносы перекрывают страховые выплаты. Для определения вероятности наступления того или иного события используется “предиктивный”, или прогнозный, анализ. Так, если человек имеет хорошую кредитную историю, то вероятность того, что он и в дальнейшем останется добросовестным заемщиком, достаточно велика. То, что событие маловероятно, не означает, что оно невозможно. Может быть, вы лично и не выиграете в лотерею ни разу в жизни, но ведь кому-то выигрыш обязательно достанется.

“Зависимость между двумя переменными подобна отпечаткам пальцев, оставленным на месте преступления. Она указывает на преступника, но одних лишь отпечатков недостаточно, чтобы осудить человека”.

Безответственность на Уолл-стрит

Статистические построения могут быть использованы совершенно безответственно. Достаточно вспомнить модель “рисковой стоимости” Уолл-стрит. В основе этой модели лежал постулат, что каждая инвестиция имеет определенный спектр возможных результатов. Задачей модели было высчитать вероятность роста или падения акций. Однако эта “черно-белая” модель в “сером” мире имела три недостатка. Во-первых, она не принимала во внимание непредсказуемость финансовых рынков. Кажущаяся точность прогнозов, сделанных с помощью этой модели, стала одним из факторов, вызвавших финансовый кризис 2008 года. Во-вторых, она в должной степени не учитывала контекст событий: результаты прошлых периодов просто экстраполировались на будущее. Но на финансовых рынках такой подход не работает. В-третьих, те, кто использовал модель “рисковой стоимости”, полностью игнорировали тот факт, что пускай и с очень небольшой вероятностью, но катастрофа все-таки может произойти.

Предполагать без достаточных оснований, что между коррелирующими событиями есть причинно-следственная связь, опасно. Не менее опасно полагать, что все события случайны. Аналитики должны проверять любые результаты, полученные на основе корреляции.

“Статистика не может быть более совершенной, чем люди, которые ее используют”.

Как избежать ненадежных результатов

Нельзя получить надежные результаты без надежных данных. Отсюда один из важнейших принципов статистики: “Мусор на входе – мусор на выходе”. Типичная проблема сбора данных – неправильно сделанная выборка. Правильная выборка должна быть случайной, а ее размер должен правильно соотноситься с размером исследуемой аудитории. Например, если исследователи опрашивают потребителей не связанного с авиаперевозками продукта в аэропорту, то полученные результаты будут искажены, так как выборка включит лишь тех, кто может позволить себе летать самолетом. К типичным искажениям относятся также намеренный отбор определенных данных для публикации и данные, основанные на ложных воспоминаниях, которые преподносятся респондентами в качестве фактов. Практически все статистические факты и показатели подвержены тем или иным искажениям.

“Сами по себе формулы не подскажут нам наилучшие способы их использования. Иными словами, математика не может заменить суждение”.

Статистические выводы

Статистика позволяет делать важные выводы исходя из относительно небольшого объема данных. Такие обобщения возможны благодаря центральной предельной теореме: из нее следует, что большая и качественно сделанная выборка будет похожа на совокупность, из которой эта выборка была извлечена. Ваши данные, полученные с помощью такой выборки, вряд ли будут содержать значительное число нетипичных значений, или “отщепенцев”. Примером применения теоремы может служить прогнозирование результатов выборов на основе опроса тысячи избирателей.

Статистика ничего не утверждает с полной определенностью. Ее задача не в этом. Исследователи проводят анализ, опираясь на здравый смысл, качественные исходные данные и проверенную методологию. Процесс, благодаря которому на основе определенных данных делаются заключения, называется статистическим выводом. Делая статистические выводы, исследователи оценивают вероятность истинности того, что напрямую доказать невозможно. Статистика может указать верное направление, но доказать гипотезу можно только с помощью экспериментов и наблюдения.

“В каждой главе книги я пытаюсь ответить на основной вопрос, который безуспешно задавал в школе своему преподавателю математики: зачем все это нужно лично мне?”

Почему не стоит доверять опросам

Результаты опросов могут иметь большую ценность. Как утверждает глава компании Gallup Фрэнк Ньюпор, “опрос 1000 человек позволяет с высокой степенью точности оценить настроения в обществе в целом”. Однако опросу можно доверять, только если выборка сделана абсолютно правильно. Большое значение также имеет то, как сформулированы вопросы. Например, выражения “снижение налогового бремени” и “урезание налогов” описывают, по сути, один и тот же процесс. Но избиратели более положительно реагируют на формулировку “снижение налогового бремени”. Точно так же более сильный отклик вызывает “глобальное потепление”, нежели нейтральное “изменение климата”. Этим пользуются политики, когда им нужно подготовить опрос, который показал бы их предвыборную программу с более выгодной стороны. Также следует учесть, что далеко не всегда участники опроса говорят правду. Например, они могут умышленно или неумышленно преувеличить свои возможности.

“Парадокс статистики в том, что она вездесуща – начиная с так называемых средних показателей и заканчивая голосованием на выборах президента, – но при этом пользуется репутацией неинтересной и малопонятной”.

Для измерения результатов того или иного воздействия в статистике применяются “программы статистического оценивания”. Под воздействием подразумевается как воздействие в буквальном смысле – например, хирургическое вмешательство, так и некое решение – например, о поступлении в колледж. Такие программы подразумевают использование различных инструментов, в том числе управляемых и натурных экспериментов. По сути, они позволяют проследить причину и следствия.

Ошибки регрессивного анализа

Как исследователям удается определить подлинную причину того или иного явления? Например, как им удалось выяснить, что в большей степени рискуют умереть от стресса вовсе не топ-менеджеры, которым постоянно приходится принимать ответственные решения, а рядовые сотрудники, которые не имеют возможности контролировать сроки и способ выполнения своей работы? Исследователям помогает регрессивный анализ. Этот инструмент позволяет вычленить ту переменную, которая приводит к определенному исходу.

“Опираясь на статистику, легко лгать, но без статистики очень трудно выяснить истину” (Андрейс Дункельс, шведский математик и писатель).

Большинство результатов исследований, которые публикуются в прессе, получены с помощью регрессивного анализа. Этот инструмент может дать точные ответы на очень сложные вопросы. Но иногда выводы могут оказаться неверными. Поэтому регрессивный анализ, как и опрос общественного мнения, требует очень тщательного и умелого подхода. В 1990-х годах на основе статистических исследований был сделан вывод, что содержащие эстроген добавки оказывают положительное влияние на самочувствие пожилых женщин. Но проведенные в 2000-х годах клинические исследования показали, что прием этих добавок сопровождается дополнительными рисками, которые сводят на нет их пользу. Получается, что статистика направила медицину по ложному пути. И это несмотря на то что исследованиями, которые дали зеленый свет эстрогенным добавкам, занимались Гарвардская школа общественного здравоохранения и Гарвардская медицинская школа.

Статистика позволяет анализировать риски, получать ответы на важные вопросы и принимать более обоснованные решения. Но главное правило статистического анализа, которое необходимо усвоить, состоит в том, что даже самые точные измерения и подсчеты не должны противоречить здравому смыслу.