SHAPley values 

Значение Шепли (Shapley values) — это концепция из теории кооперативных игр. Задача, решаемая этими значениями связана с распределением выигрыша между игроками в кооперативной (говоря проще — совместной) игре. С 2017 года идея значений Шепли активно применяется в машинном и глубинном обучении, в частности — в области explainable AI. В этой статье предлагаю узнать о них больше! :)

Меня зовут Сабрина и я автор канала Data Blog, где нередко рассказываю об области explainable AI. Помимо этого, я автор курса Explanable AI, начинающий researcher (и иногда даже читаю семинары в магистратуре ИИ в ВШЭ). В общем, исследую я много и буду рада, если мне удастся открыть любимую мною область и вам! Присоединяйтесь! :)

Интуитивное определение значений Шелли.

Представьте себе компанию, в которой трое сотрудников — Мария, Иван и кот Борис — их назовем игроками. Их задача — разработать новую рекламную кампанию — это и будет нашей игрой.

При работе над решением задачи Мария предложила концепцию, Иван разработал стратегию, а Борис, как настоящий сэр-кот, сидел рядом и мурлыкал. Когда кампания принесла компании 1 миллион долларов прибыли — это наш выигрыш — возникла необходимость справедливо разделить этот успех между членами команды.

Все деньги Борису!

Конечно, направить инвестиции в сторону Бориса — прекрасная стратегия. Но чтобы у сотрудников не возникло эмоционального выгорания из-за бесплатной работы релевантно применить для этой задачи значения Шепли.

Немного истории.

Значения Шепли ввёл американский математик и экономист, Ллойд Шепли в 1951-53 году. Позднее, в 2012 за них он был удостоен Нобелевской премии.

В машине и глубинное обучение Shapley Values пришли позже — в 2017. Их предложени Scott M. Lundberg и Su-In Lee в статье "A Unified Approach to Interpreting Model Predictions".

В контексте области объяснимого искусственного интеллекта заявление об универсальности звучит громко, однако метод действительно является таковым. Универсальность обеспечивают применение к любым модальностям данных — картинки, текст, аудио (в табличном представлении) и, безусловно, таблички, и к любым моделям — DNN и ML.

Формальное определение.

Дабы избежать некрасивого вводы формул, формальное определение представлено на слайде ниже.

Глубокая математическая теория, стоящая за данными значениями и ряд аксиом, также обеспечивает свойство единственности атрибуции (важности) признаков.

И если мы пересмотрим все составляющие игры и переведем их на язык ML, то получится следующее соответствие:

Как это работает на практике.

Конечно, если у нас много признаков (в контексте изображений — пикселей, а в контексте текстов — токенов), то необходимо иозбретать некоторые ухищрения, ведь согласно теории каждый раз нам необходимо проводить процесс игры — прогнозирования или обучения — целых 2^N раз! Об ухищрениях позаботились ещё в начале создания библиотеки shap, реализующей вычисление Shapley Values.

Достаточно большой вычислительный недостаток решается разносторонними оптимизациями, поэтому изучая библиотеку, вы увидите достаточно широкий арсенал shap explainers. Так, среди оптимизаций реализованы:

• Использование локальной линейной регрессии (Kernel Explainer)
• Для линейных моделей – Linear Explainer (плюсы — возможен учет корреляций между признаками)
• Перестановка входных данных (Permutation explainer)
• Построение иерархии признаков (Partition Explainer)
• Предположение о независимости признаков (SamplingExplainer)
• Комбинация с градиентными методами (Deep Explainer, Gradient Explainer)
• Оптимизация для древесных моделей (Tree Explainer и др.)

Поэтому не пугайтесь, изучая библиотеку. Там, как в математике — всё зачем-то нужно!

Внешний вид важностей.

Визуализация важности признаков с использованием значений Шепли обычно представляет собой график, показывающий, как каждый признак вносит вклад в предсказания модели. В случае токенов и табачных данных признаками будут отдельные сущности (токен, признак), а в случае изображений — участки изображения.

Ключевые моменты графика:

• Положительные значения указывают на признаки, которые способствуют увеличению предсказанного значения (например, вероятности или цены), в то время как отрицательные — на признаки, уменьшающие его.
• Для указания направления изменения прогноза используются цвета синие полосы для негативного влияния, а красные — для позитивного.
• base value (или E[f(X)]) — математическое ожидание прогноза, вычисляемое по всей выборке.

Выводы по статье.

Значения Шепли — мощный, базовый и универсальный инструмент для объяснения предсказаний моделей машинного и глубинного обучения, который нашел широкое применение благодаря своей универсальности и математической строгости.

В некоторых случаях вычислительная сложность данных значений может препятствовать их применению. Однако, несмотря на это, существующие методы и оптимизации позволяющие эффективно применять метод во многих задачах.

Изучение и понимание значений Шепли является некоторой базой в джентельментском наборе для осуществления процесса объяснения модели. Надеюсь, статья была для вас полезной! :)

Как всегда со всем самым добрым,
Ваш Дата автор!