Зачем искусственный интеллект учат мечтать. И почему это может изменить развитие нейросетей
Последние несколько лет развитие искусственного интеллекта выглядит довольно предсказуемо. Новые модели становятся больше, получают больше параметров, длиннее контекст и мощнее вычислительные возможности.
Кажется, что весь прогресс сводится к простой формуле: больше данных — лучше результат. Но новое исследование, показывает совсем другое направление развития.
Оказывается, следующая проблема искусственного интеллекта заключается вовсе не в том, что он знает слишком мало. Наоборот. Иногда он запоминает слишком много. И именно это становится причиной ошибок.
Человеческая память тоже не хранит все подряд
Наш мозг устроен довольно интересно. Каждый день мы получаем огромное количество новой информации. Большая часть исчезает уже через несколько часов. Остается только то, что оказалось действительно важным.
Во время сна мозг не просто отдыхает. Он постоянно сортирует воспоминания. Одни связи становятся крепче. Другие постепенно исчезают. Благодаря этому память не переполняется случайными деталями.
Именно этот принцип уже много лет пытаются использовать исследователи искусственного интеллекта.
Сети Хопфилда — одна из первых попыток создать память для ИИ
Еще в начале 1980-х годов Джон Хопфилд предложил модель ассоциативной памяти. Ее идея очень похожа на работу человека.
Допустим, вы увидели только часть знакомого объекта. Несколько веток. Кусок ствола. Несколько листьев. Этого достаточно, чтобы понять: перед вами дерево. Именно так работают сети Хопфилда.
Они способны восстановить целое воспоминание даже по неполному входному сигналу. Поэтому такие модели долгое время считались хорошим приближением к принципам работы человеческой памяти.
Но память быстро начинает заполняться ошибками
Проблема обнаружилась довольно быстро. Классическая сеть Хопфилда может хранить совсем немного информации. Ее практический предел составляет около 13% от количества нейронов. Если нейронов сто, сеть надежно хранит примерно тринадцать воспоминаний. Все остальное пространство начинают занимать ложные состояния памяти. Их называют аттракторами. Фактически сеть начинает вспоминать комбинации, которых никогда не существовало. Отсюда появляются ошибки. И это очень напоминает человеческую память.
Мы тоже иногда "вспоминаем" события, которых никогда не было.
Сон оказался полезен и для нейросетей
Исследователи решили обратиться к биологии. Если мозг очищает память во сне, почему бы не сделать то же самое с искусственной сетью? Так появились алгоритмы "сна".
После завершения обучения сеть начинала исследовать собственную память. Она случайным образом проходила по уже существующим состояниям и постепенно удаляла ложные воспоминания.
Идея оказалась рабочей. Но возникла новая проблема. Если процесс продолжался слишком долго, сеть начинала стирать уже настоящие знания.
Этот эффект хорошо известен в машинном обучении. Его называют катастрофическим забыванием.
Почему появилось «Мечтание»
В 2025 году Федерико Риччи-Терсенги предложил более интересный подход. Вместо того чтобы разделять обучение и очистку памяти, исследователи объединили оба процесса. Сеть продолжала обучаться. Но одновременно удаляла ложные воспоминания.
Алгоритм получил название Daydreaming — «Дневное мечтание». Результат оказался впечатляющим. Емкость памяти практически достигла теоретического максимума. Один нейрон смог хранить одно воспоминание. Для подобных моделей это очень серьезный результат. Казалось бы, проблема решена. Но оставалось еще одно ограничение.
Настоящий мир совсем не похож на лабораторию
Практически все предыдущие эксперименты проводились на идеально подготовленных данных. Но в жизни таких данных почти нет. Фотографии бывают пересвеченными. Темными. С одинаковым фоном. Люди сняты в одинаковых условиях. Большая часть информации оказывается одинаковой. И именно эта одинаковость начинает мешать обучению.
Представьте базу фотографий сотрудников компании. Фон один. Освещение одинаковое. Если анализировать изображение целиком, модель начинает считать фон главным признаком. Хотя человеку очевидно, что важнее лица.
Новая версия «Мечтания» изменила сам принцип обучения
В новой статье исследователи представили алгоритм Centered Daydreaming. Теперь сеть анализирует не сами значения, а отклонения относительно среднего. Если снова представить фотографии людей, получается интересный эффект. Все, что повторяется почти на каждом снимке, постепенно перестает играть большую роль. Зато различия между лицами становятся гораздо заметнее.
Фактически модель сама начинает отделять полезную информацию от информационного шума. И делает это локально. Без необходимости пересчитывать всю сеть целиком. Это важно еще и потому, что именно локальные взаимодействия больше напоминают работу настоящего мозга.
Нейроны ведь не обмениваются информацией сразу со всем мозгом. Каждый взаимодействует лишь с небольшим количеством соседей.
Почему это исследование интересно далеко не только ученым
На первый взгляд может показаться, что речь идет исключительно о фундаментальной математике. Но последствия значительно шире.
Сегодня практически любой искусственный интеллект обучается на реальном интернете. А интернет далеко не идеален.
Если модель научится автоматически понимать, какие признаки действительно важны, а какие являются случайными, качество работы может вырасти намного сильнее, чем просто после увеличения числа параметров.
По сути, речь идет о развитии способности различать главное и второстепенное.
Что это означает для будущего ИИ
Мне кажется, эта работа показывает очень важную тенденцию.
Несколько последних лет индустрия жила в логике масштабирования. Больше данных. Больше видеокарт. Больше параметров. Но бесконечно двигаться этим путем невозможно. Рано или поздно эффективность начинает расти значительно медленнее стоимости обучения.
Поэтому исследователи все чаще возвращаются к фундаментальным вопросам. Как должна работать память? Как отличать важное от случайного? Как забывать ложную информацию, не теряя настоящую?
Именно такие задачи, скорее всего, определят развитие искусственного интеллекта в ближайшие годы.
Главный вывод
Меня в этом исследовании зацепило не само название алгоритма. И даже не увеличение емкости памяти. Самое интересное здесь другое.
Авторы фактически предлагают научить искусственный интеллект делать то, что человек делает постоянно и почти не замечает.
Не помнить все подряд. А понимать, что действительно заслуживает памяти.
Возможно, именно эта способность и станет следующим большим шагом в развитии ИИ.