Нейронная сеть, способная понять, когда не следует доверять.

Более быстрый способ оценки неопределенности при принятии решений с помощью искусственного интеллекта может привести к более безопасным результатам.

Все чаще системы ИИ, известные как нейронные сети глубокого обучения, используются для принятия жизненно важных для здоровья и безопасности человека решений, таких как автономное вождение или медицинская диагностика. Эти сети хорошо распознают закономерности в больших, сложных наборах данных, чтобы помочь в принятии решений. Но откуда нам знать, что они верны? Александру Амини и его коллегам из Массачусетского технологического института и Гарвардского университета захотелось это выяснить.

Они разработали быстрый способ обрабатывать данные и выводить не только прогноз, но и уровень достоверности модели, основанный на качестве доступных данных. Этот прогресс может спасти жизни множества людей, поскольку глубокое обучение уже сегодня применяется в реальном мире. Уровень определенности может быть критически значим, например, для автономного транспорта, варируясь от “все ясно, можно пересекать перекресток” до “вполне спокойно, но стоит остановиться, на всякий случай.”

Современные методы оценки, как правило, вычислительно дороги и относительно медленны для принятия решений за доли секунды. Но подход Амини, получивший название “глубокая доказательная регрессия”, оптимизирует весь процесс и приводит к более безопасным результатам. “Нам нужна возможность не только иметь высокопроизводительные модели, но и понимать границу, когда им доверять уже не стоит”, - Амини, аспирант группы профессора Даниэлы Рус в лаборатории компьютерных наук и ИИ МТИ (CSAIL).

“Эта идея важна и применима в широком спектре задач. Метод может быть использован для оценки продуктов, которые полагаются на изученные модели. Оценивая неопределенность мы также узнаем, сколько неточностей следует ожидать от модели и какие недостающие данные могут ее улучшить”, - говорит Рус.

Эффективная неопределенность

Анализируя длительной период развития глубокого обучения, можно сказать, что данный подход демонстрирует замечательные результаты в различных задачах, в некоторых случаях даже превосходя человеческую точность. В наши дни глубокое обучение, похоже, идет туда же, куда и компьютеры: результатами поиска, каналы социальных сетей и распознавание лиц. “Мы добились огромных успехов, применяя глубокое обучение”, - говорит Амини. “Нейронные сети действительно хороши в том, чтобы давать правильный ответ в 99% случаев”. Но оставшийся 1% может дать о себе знать тогда, когда на кону стоит угроза жизни.

“Одна вещь, которая ускользала от исследователей, - это способность таких моделей замечать и сообщать нам, когда они могут ошибаться”, - говорит Амини. “Мы действительно заботимся об этом 1% случаев и о том, чтобы мы могли надежно и эффективно выявлять подобные ситуации.”

Нейронные сети могут быть массивными, иногда переполненными миллиардами параметров, разрасаясь до огромных размеров только для того, чтобы получить ответ, не говоря уже об уровне уверенности. Анализ неопределенности в нейронных сетях не является чем-то новым, но предыдущие подходы, основанные на байесовском глубоком обучении, основывались на многократном запуске нейронной сети или ее выборке, чтобы понять итоговую достоверность. Этот процесс требует времени и памяти — роскошь, которая может не существовать в реальности, где ответ необходим здесь и сейчас.

Исследователи разработали способ оценки неопределенности, работающий на основании единичного запуска. Они спроектировали сеть с увеличенными выходными данными, производя не только само решение, но и вероятностное распределение, фиксирующее доказательства в свою поддержку. Такие распределения, называемые доказательными, отражают уверенность модели в своих предсказаниях, включая любую неопределенность, присутствующую в исходных входных данных.

Проверка доверия

Для тестирования своего метода исследователи обратились к экспериментам с компьютерным зрением. Они обучили нейронную сеть анализировать монокулярное цветное изображение и оценивать значение глубины (расстояние от объектива камеры) для каждого пикселя. Автономное транспортное средство может использовать аналогичные расчеты для оценки близости к пешеходу или любому другому объекту — не самая простая задача.

Производительность их сети вышла один уровень с современными моделями, но еще и получила возможность оценивать собственную правоту. Как и надеялись исследователи, сеть проецировала высокую неопределенность для пикселей, где она предсказывала неправильную глубину. “Она была достаточно точно откалибрована на предмет ошибок”, - делится впечатлениями Амини.

После того как они подали на вход сети сцены в помещении домашнего качества, они скормили ей серию сцен вождения на открытом воздухе. Сеть постоянно предупреждала, что ее реакция на изображения на открытом воздухе была неопределенной. Тест выявил способность сети отмечать, когда пользователи не должны полностью доверять ее решениям. “В случаях, когда это приложение, связанное с медициной, нам не стоит доверять ее диагнозу”, - напоминает Амини.

Сеть даже знала, когда фотографии были подделаны, потенциально защищая от манипулирования данными. В другом испытании исследователи увеличили уровень шума в партии изображений среди входных данных. Эффект был неуловимым — едва заметным для человеческого глаза — но сеть вынюхивала такие фото, помечая выход высоким уровнем неопределенности. Способность бить тревогу при виде фальсифицированных данных имеет огромное значение в эпоху deepfake.

Глубокая доказательная регрессия — это “простой и элегантный подход, важный для реальных систем управления”, - говорит Райя Хадселл, исследователь искусственного интеллекта в DeepMind, не участвовавший в данной разработке и связанных исследованиях. “Новый метод, позволяющий избежать большинство неточностей других подходов — например, выборки или ансамблей, — что делает его не только элегантным, но и более эффективным в вычислительном отношении — выигрышная комбинация.”

Глубокая доказательная регрессия может повысить безопасность принятия решений с помощью искусственного интеллекта. “Мы начинаем видеть, как гораздо больше [нейросетевых] моделей просачивается из исследовательской лаборатории в реальный мир, в ситуации, которые затрагивают людей при опасных для жизни обстоятельствах”, - говорит Амини. “Любой пользователь, будь то врач или пассажир транспортного средства, должен осознавать степень риска и неопределенности.” Он предполагает, что система будет не только быстро выявлять неточность, но и использовать ее для принятия более консервативных решений в рискованных сценариях, например, в случае с автономным транспортом, приближающимся к перекрестку.

“Любая область, имеющая развертываемое машинное обучение, в конечном счете должна иметь надежную осведомленность о неопределенности”.

Эта работа была частично поддержана Национальным научным фондом и научно-исследовательским институтом Toyota через совместный исследовательский центр Toyota-CSAIL.