Интервью - крысы в Neiry самостоятельно тренируются
Что изменилось в методике тренировок крыс за последний год?
У нас в первую очередь появились инструменты, которые позволяют операторам постоянно работать с клеткой, то есть автоматизировать. Раньше мы взаимодействовали с крысой напрямую: пытались руками подсказать, где находится педаль или целевая зона, фактически обучали её как животное — старались помочь совершить правильное действие или хотя бы оказаться в нужной области.
Но в процессе мы поняли, что большое количество человеческого контакта может даже мешать обучению. Поэтому мы начали переходить к автоматизированным инструментам.
Мы разбили процесс дрессировки на набор отдельных операций, которые можно выполнять без участия человека. Сейчас крыса проходит некоторые этапы подготовки автоматически: она оказывается в клетке, запускается тренировочный сценарий, ей последовательно предлагаются упражнения, а система отслеживает, насколько успешно она с ними справляется.
Основной принцип обучения — позитивная обратная связь. Мы предлагаем крысе задачу: например, нажать на педаль, выбрать левую педаль или среагировать на звуковой сигнал. Если действие выполнено правильно, крыса получает награду. Если нет — награды не получает.
Вторая важная часть — постепенное усложнение задач. Если сразу предложить слишком сложное упражнение с большим количеством условий, вероятность того, что крыса поймёт, что именно нужно сделать, будет низкой. Поэтому обучение строится как последовательность упражнений с постепенно растущей сложностью.
А в самой клетке что-то изменилось за это время?
Да. Мы меняли расположение камер, переработали API управления клеткой и улучшили систему мониторинга её состояния.
Изначально клетка уже была достаточно функциональной: в ней можно было управлять многими параметрами. Но со временем нам стало важно получать более точную информацию — например, какие педали нажаты, в каком состоянии находится система в конкретный момент, как именно ведёт себя животное. Поэтому основные доработки были связаны с качеством и точностью данных.
Кроме того, мы разработали собственный модуль видеоаналитики. Мы обучили модели, которые определяют положение крысы в клетке, а также размечают её скелет и положение головы — чтобы понимать, куда именно она смотрит.
Это важно, потому что некоторые действия невозможно определить только по данным клетки. Например, крыса могла подойти к педали, но не нажать её. Благодаря видеоаналитике мы всё равно фиксируем это поведение и можем использовать его как часть обучения.
Насколько эффективнее стал процесс обучения?
Одно из главных открытий — мы начали собирать полноценную статистику.
Сейчас у нас есть крыса, которая за 20-минутную сессию успевает выполнить до 70 упражнений. Для коротких задач это очень высокий показатель. Например, система подаёт сигнал, после чего нужно быстро подойти к нужному месту и нажать на педаль.
Для человека постоянно проводить такие рутинные эксперименты очень сложно. А автоматизированная система делает это стабильно и без усталости. Кроме того, мы получаем чистую статистику без лишнего человеческого вмешательства.
Сейчас у нас есть одна особенно талантливая крыса, которая очень быстро адаптируется к новым задачам. Есть вторая — чуть менее успешная, но тоже хорошо обучаемая.
Но есть и «двоечники» — крысы, которым требуется гораздо больше времени, чтобы понять задачу или вообще начать взаимодействовать с экспериментом.
Разброс между животными очень большой: кто-то активно включается в работу, а кто-то не проявляет интереса практически ни к чему.
Есть ли подобные разработки у кого-то ещё в мире?
Да, автоматизированные системы дрессировки существуют. Некоторые работы, похожие на наши, мы видели.
Например, есть известный проект Training Village — это одна из популярных исследовательских платформ, где изучается, как крысы обучаются задачам в автоматическом режиме, если предоставить им возможность самостоятельно инициировать эксперимент.
В подобных системах крысы могут обучаться простым задачам в течение нескольких месяцев. У нас подход комбинированный: сначала человек помогает животному адаптироваться, а затем запускается автоматизированная часть обучения.
За счёт этого некоторые простые задачи крысы начинают выполнять уже через 4–5 дней. Это один из наших ключевых результатов.
Второе отличие — работа со стимуляцией. Таких исследований существенно меньше.
Какие у вас планы на следующий год?
Мы уже убедились, что автоматическая дрессировка работает. Следующий шаг — расширять количество упражнений, правильно выстраивать их последовательность и сложность.
Сейчас этим в основном занимается человек, но мы начинаем экспериментировать с другой идеей: использовать искусственный интеллект для формирования обучающих программ.
Мы хотим, чтобы система сама определяла:
- какие упражнения давать,
- в каком порядке,
- с какой сложностью,
- и как постепенно подводить крысу к выполнению финальной задачи.
У нас уже есть первые результаты: система перебирает разные варианты упражнений и ищет те комбинации стимулов, при которых крыса начинает успешно решать задачу.
Фактически речь идёт о создании автоматизированной среды обучения, которая сама формирует план дрессировки. Это, вероятно, станет одной из наших главных целей в ближайший год.
Как мозг крысы реагирует на импланты?
Это один из самых сложных вопросов.
Мы постоянно отслеживаем различные метрики, чтобы понимать, в каком состоянии находится имплант и насколько корректно крыса воспринимает сигналы.
Поскольку импланты мы разрабатываем самостоятельно и регулярно меняем технологию, однозначно ответить, как именно они влияют на мозг, пока сложно.
Сейчас мы проводим эксперименты, в которых подаём стандартные паттерны стимуляции и анализируем реакцию животного. Например, мы наблюдаем, поворачивается ли крыса влево или вправо после сигнала, и оцениваем статистику её движений.
Это помогает понять, воспринимается ли стимуляция стабильно и распознаётся ли как значимый сигнал.
С имплантами всё сложнее, чем с внешними устройствами вроде вибромоторов: если стимуляция работает некорректно или имплантация прошла неидеально, это труднее диагностировать. Поэтому сейчас мы активно развиваем системы контроля и анализа.
Какие рабочие гипотезы у вас есть по интеграции искусственного интеллекта и мозга?
Сейчас нас особенно интересует передача информации между мозгом и системой.
- сколько информации можно передать через такой канал;
- какова его «битность»;
- насколько устойчиво формируются реакции.
Есть ещё одна важная идея: для нас крыса — это своего рода биологическая база данных. Информацию в неё сложно «записать», ещё сложнее изменить, но если навык сформировался правильно, его можно использовать как устойчивую основу для дальнейшего обучения.
Поэтому мы стараемся проектировать эксперименты так, чтобы формировать у крысы набор базовых навыков, которые затем можно комбинировать. Возможно, именно это и станет основой своеобразного «языка общения» между компьютером и мозгом.
С людьми язык формируется годами. У крыс времени значительно меньше: два месяца для них — уже существенная часть жизни. Поэтому главный вопрос — успеет ли сформироваться достаточный объём таких навыков и ассоциаций.
Что стало для вас самым неожиданным открытием?
Для меня как инженера это был совершенно новый опыт.
Например, за последнюю неделю стало жарче — и крысам просто перестало хотеться выполнять упражнения. Когда было прохладнее, они работали значительно активнее.
Таких факторов очень много. Мы имеем дело с животными, а значит, должны постоянно адаптироваться к их состоянию и искать способы поддерживать взаимодействие.
По сути, сейчас мы учим IT-систему адаптироваться к животным, а не наоборот.
Были ли какие-то особенно интересные наблюдения?
Да, у нас был показательный случай.
Одна крыса долго не хотела выполнять упражнения, а её соседка по программе обучалась гораздо успешнее. Тогда мы начали показывать первой крысе, как вторая проходит задания.
Через некоторое время она тоже начала выполнять упражнения значительно лучше.
Это кажется очевидным, если посмотреть со стороны, но таких наблюдений очень много. Мы пока только начинаем понимать, насколько социальное обучение влияет на поведение животных.
Если честно, это даже немного напоминает работу с людьми: обратная связь, примеры успешного поведения и правильная демонстрация задач сильно ускоряют обучение.