СашаСашаhttps://teletype.in/atom/hinvics2026-05-02T11:24:30.143Zhinvics:2Pg8kJ3asLRPopulation Stability Index2023-10-09T11:13:36.671Z2023-10-09T11:20:51.516Z<img src="https://img1.teletype.in/files/0e/f2/0ef2c32d-cc20-453f-af16-77dbd743338c.png">Есть такая штука, называется Population Stability Index (PSI). PSI — это метрика оценивающая стабильность распределения данных. Использовать эту оценку можно по-разному. Этой оценкой активно пользуются в финтехе, как ключевой мерой дрифта признаков. Например, вы обучили модель риска во время экономического роста два года назад, а хотите применять эту модель на более актуальных данных, во время кризиса. Вам нужно оценить, насколько стабильно распределение ключевых признаков между двумя периодами и как это может повлиять на модель скоринга.
<p id="LQ4Y">Есть такая штука, называется Population Stability Index (PSI). PSI — это метрика оценивающая стабильность распределения данных. Использовать эту оценку можно по-разному. Этой оценкой активно пользуются в финтехе, как ключевой мерой дрифта признаков. Например, вы обучили модель риска во время экономического роста два года назад, а хотите применять эту модель на более актуальных данных, во время кризиса. Вам нужно оценить, насколько стабильно распределение ключевых признаков между двумя периодами и как это может повлиять на модель скоринга.</p>
<figure id="usjO" class="m_column">
<img src="https://img1.teletype.in/files/0e/f2/0ef2c32d-cc20-453f-af16-77dbd743338c.png" width="6000" />
<figcaption>Распределение нашего признака в разных выборках</figcaption>
</figure>
<p id="zEfb">Допустим у нас имеется две выборки для некоторой оцениваемой переменной. Одна выборка это данные на которых обучалась модель (данные двух летней давности), вторая — более актуальные данные.</p>
<p id="4d5b">Как вы можете видеть выше, распределение тренировочной выборки (синий) немного сгладилось в распределении актуальной выборки (зеленый) и имеет более плоскую верхнюю часть кривой. Визуально видно, что распределение меняется, но хочется получить количественный способ измерить сдвиг, а не качественный — угадать, насколько я должен быть обеспокоен. Как раз PSI — это отличный способ измерить это.</p>
<figure id="pp7z" class="m_column">
<img src="https://img4.teletype.in/files/39/50/395011e8-80eb-4d44-b983-523943fefcd9.png" width="6000" />
</figure>
<p id="3pHG">Диапазон значений тренировочной выборки мы делим на 10 групп и подсчитываем количество значений в каждом сегменте для тренировочной и актуальной выборки, а затем делим на общее значение каждой из выборок, чтобы получить процент по каждому сегменту. В конечном итоге мы получаем распределение как мы могли видеть ранее, но дискретизированное.</p>
<p id="OeDQ"><code>PSI=∑((Actual - Expected)×ln(Actual/Expected))</code></p>
<p id="tM6c"></p>
<figure id="7znd" class="m_column">
<img src="https://img1.teletype.in/files/c1/0b/c10b4fcf-70c3-4822-97ea-576f2b384cf3.png" width="1556" />
</figure>
<p id="Ac5j">Мы получаем окончательное значение PSI = 0,153, что указывает на то, что есть вероятность того, что наше распределение меняется. Как оценить ?</p>
<h2 id="ZMXc">Оценить PSI</h2>
<p id="tOEY">PSI < 0,1 - Без изменений. Вы можете продолжать использовать существующую модель.</p>
<p id="02m2">PSI >=0, но менее 0,2 - Имеются несущественные изменения в распределении.</p>
<p id="o7yu">PSI >=0.2 - Требуется значительное изменение. В идеале, вы больше не должны использовать эту модель.</p>
<h2 id="5lkH">Материалы</h2>
<p id="pWtZ"><em>https://www.lexjansen.com/EscapeEscapeHwuss/2017/47_Final_Paper_PDF.pdf</em></p>
<p id="LcAv">https://www.quora.com/What-is-population-stability-index</p>