«Hi, Denis!»: Денис Кулешов — о том, как устроен первый в мире нейроимплант, возвращающий зрение
Новым героем «Hi, AI! медиа», рубрики «Правила жизни с AI» стал Денис Кулешов:
- инженер, закончивший МГТУ им. Н.Э. Баумана
- директор Лаборатории «Сенсор-Тех»
- «Сенсор-Тех» с 2020 года выпускает умный помощник «Робин», позволяющий незрячим людям частично вернуть зрение и ориентироваться в пространстве
- Нейроимплант ELVIS, позволяющий незрячим людям использовать электронное зрение, находится в стадии разработки, в настоящее время тестируется на животных
Почему вы решили заниматься проблемами людей с нарушениями зрения и слуха?
Наш учредитель — благотворительный фонд «Соединение», который поддерживает слепоглухих. В концепции развития фонда всегда фигурировала идея, что за высокими технологиями стоит будущее реабилитации и даже избавление людей от тяжелой инвалидности. Например, если отсутствует зрение, то было бы круто с помощью современных технологий вернуть человеку способность видеть.
Поэтому когда мы в 2016 году вместе с фондом сели писать стратегию научно-технического развития, то подумали, что эту историю правильнее всего упаковать в отдельную организацию, которая будет обособленно заниматься наукой, инновациями и находиться на стыке социалки, медицины, науки, высоких технологий и стартапов.
У нас в портфеле сегодня много технологий и продуктов: часть из них бесплатная. Наши гаджеты — это высокотехнологичные изделия, часть из них — это меганаука и технологии будущего. Но все они решают важные задачи — помогают людям с нарушениями слуха и зрения.
Как устроен нейроимплант ELVIS и почему он позволяет видеть?
Представим себе незрячего: если сильно упрощать, то он видит темноту. У каждого человека в затылочной области находится зрительная кора, та область, которая отвечает за зрение. У незрячего человека связь глаза — зрительный нерв — зрительная кора нарушена. Поэтому мы берем тоненький проводочек, подсоединяем его к зрительной коре и начинаем стимулировать мозг небольшими токами. Тогда незрячий человек начнет видеть вспышки света. Если же таких проводочков будет около 400, то вспышек будет много, а значит, будет возникать изображение — контуры объектов, которые видит камера. Фактически, это будет изображение в 400 пикселей.
Технология ELVIS V устроена таким образом, что пациент надевает специальный обруч на голову. В нем установлена камера, фиксирующая изображение. Информация обрабатывается, а затем передает тот сигнал, который мозг способен обработать. Электроника имплантируется под кожу и прикручивается к черепу, а пластинка с электродами в виде пленочки приклеивается уже непосредственно на зрительную кору.
Как происходит адаптация мозга к использованию электронного зрения?
Существует такой эффект, подтвержденный фундаментальными исследованиями и медицинской практикой, как нейропластичность головного мозга. Она заключается в том, что головной мозг в целом и его различные центры адаптируются к решению самых разных задач. Некоторые отделы мозга даже могут частично выполнять задачи за другие области, если их функциональность нарушена. Зрительная кора у незрячих пациентов, ранее обладавших зрением, привыкла выполнять обработку той информации, которая приходила через глаз и зрительный нерв. После потери зрения первичная зрительная кора не работает, но глубинные связи, отвечающие за зрение, остаются.
Электроды нашего нейроимпланта стимулируют первичную зрительную кору, но по-другому, не так, как передавал информацию туда зрительный нерв. Дальше мозг начинает перестраивать связи: от первичной зрительной коры в отделы, которые уже отвечают за более глубокую обработку этой информации. По чуть-чуть мозг перестраивается от восприятия информации через зрительный нерв к новому подходу, при помощи электрода. Этот путь занимает время, но исследования доказали, что мозг постепенно адаптируется и учится воспринимать то, что он видит при помощи электронного зрения.
Сегодня у вас проводятся испытания ELVIS на животных. Как это происходит с обезьянами?
Обезьяны обучаются видеть с помощью собственного зрения и различать геометрические примитивы, выполнять простейшие задачи: правильно указать кружок или треугольник. После операции по вживлению нейроимпланта обезьяне надевают специальную маску, которая не пропускает свет и не позволяет ей пользоваться собственным зрением. Дальше это же изображение ей передается с помощью уже электронного импланта. Животное выполняет необходимые по протоколу задания. Снимаем маску, выключаем имплант, животное снова может пользоваться собственным зрением.
Как можно проверить, насколько точно она видит?
С животным можно проверить только процент правильных ответов. Эксперименты, которые сейчас идут, продлятся до конца 2024 года. После этого уже будут финально понятны все протокольные статистические данные. Вот из чего мы уже сделаем вывод о готовности системы к испытаниям с участием людей. Это ознаменует переход к новому этапу проекта — к клиническим испытаниям — то, что разрешили Илону Маску и Neuralink проводить в США.
Как происходит конвертация сигнала с камеры в сигнал, который поступает в мозг?
Изображение с камеры уходит в блок обработки информации, который пациент носит на поясе. Там работает наш алгоритм AI, который обрабатывает изображение и выделяет на нем контуры объекта. Это необходимо, потому что мы хотим передать в мозг только самую полезную информацию ввиду ограниченности разрешения.
Затем информация непосредственно передается на нейроимплант для стимуляции электродов. Это происходит по очень сложному алгоритму, учитывающему те токи, которые доступны для стимуляции, и то, в каком виде надо эту информацию передать пациенту, чтобы мозг смог ее воспринять. В научной терминологии этот алгоритм называется стратегией кодирования или стимуляции. В его работу включен анализ множества факторов: изображения, анатомии мозга, токов, той последовательности вспышек, которые нужно передать. Каждая такая стратегия кодирования/стратегия стимуляции для каждого пациента подбирается индивидуально. Эти алгоритмы уже запатентованы и являются большой научно-технологической ценностью нашего проекта, поскольку предполагают сложную интеграцию цифровой электроники и живого головного мозга.
Есть ли угрозы кибербезопасности для обладателей нейроимпланта?
В случае с ELVIS V попросту невозможно сделать что-то без ведома носителя. Потому что система работает, только когда специальный элемент в обруче вплотную сопрягается с той частью, которая импантирована в голову. Как только обруч сдвигается или снимается, имплант просто перестает работать, поскольку там нет батарейки.
Можно ли добавить дополнительный функционал: идентификация объектов или измерение расстояния?
У нас уже запатентованы и работают алгоритмы в ELVIS, которые распознают объекты в пространстве и подсказывают, что человек видит. Кроме того, система еще и озвучивает человеку, что именно он видит: объекты, люди, транспорт. Система позволяет читать, т. к. разрешающей способности электронного зрения не хватает, чтобы человек смог читать тексты, поэтому достаточно навести камеру на нужный абзац, а дальше алгоритмы искусственного интеллекта в нашем нейроимпланте запускают функцию чтения текста вслух, и система озвучивает пациенту текст.
Кроме того, в ELVIS уже встроено ночное видение, это означает, что незрячие люди смогут видеть ночью.
Требуется ли персонализированная настройка или обучение алгоритмов под каждого пользователя?
Этому посвящен отдельный большой пласт работы. Это нейрохирургическая операция, которая проводится с учетом большого количества медицинских показаний, которые консилиум и ведущий нейрохирург принимает во внимание. В случае наличия противопоказаний врач может отказать пациенту в подобной операции. До операции обязательно проводится реабилитационная работа, психологическая подготовка пациентов. Кроме того, с помощью диагностических исследований изучается анатомия пациента, определяется лучшее место для установки нейроимпланта.
Затем происходит реабилитация пациента, его обучают пользоваться электронным зрением, причем нейроимплант — тоже учится в процессе службы, анализирует свою эффективность, подстраивается, меняя параметры стимуляции, мониторит ответ головного мозга.
Если говорить о компьютерном зрении, то как быть, если один пациент живет в городе и видит машины, а другой — в деревне и видит условных коров?
Пока нейросетки переваривают стандартные объекты: автомобиль, автобус, человек, стул, стол, без каких-либо изысков. Потому что любой человек, который занимался нейросетями, знает, насколько тяжело там скрещвивать данные из разных датасетов.
У нас же есть другой продукт, который сейчас уже на массовом рынке и служит незрячим людям в России, — это умный помощник Робин. Там тоже работают наши алгоритмы искусственного интеллекта, с помощью компьютерного зрения Робин определяет объекты в пространстве и подсказывает незрячему, что находится перед ним.
Поэтому самая оптимальная стратегия, которой придерживается большинство компаний по всему миру, это набор универсальных объектов. А если мы говорим о каких-то специфических объектах, то, как правило, такие датасеты собираются конкретно под определенную задачу и их не скрещивают с другими.
Как устроены алгоритмы, которые идентифицируют предметы?
Внутри Робина находится наша аппаратная платформа, которая работает на операционной системе Linux, и наш софт с искусственным интеллектом, позволяющий классифицировать различные объекты. Это тип нейросети алгоритмов, которые относятся к категории машинного зрения. Робин делает много кадров в секунду, забирает эти кадры с камеры, отдает это нейросети, которая без доступа в интернет, а на борту гаджета, проводит распознавание каждого кадра и классифицирует объекты из базы устройства. В Робине на сегодняшний день 50 объектов. Лучше всего гаджет определяется людей, автомобили, автобусы, мебель, например, стул и т. д. — самые популярные и чаще всего встречающиеся объекты.
Как только гаджет находит на кадре объект, который он уже знает, он выдает вероятность того, что этот объект является, например, человеком. И если вероятность выше порогового значения, которые мы устанавливаем для софта, то гаджет озвучивает незрячему пользователю, что именно находится перед ним.
Чуть сложнее работают сценарии в Робине, которые подсказывают, насколько близко или далеко находится объект, потому что там картинка с машинного зрения совмещается с картой глубины и датчиками расстояния.
А происходят какие-то обновления датасетов?
Несколько раз в год мы выпускаем крупные программные обновления, пользователи просто качают себе новую прошивку, добавляют новые режимы работы и объекты при необходимости. Но в случае, например, с ELVIS, поскольку это медицинское изделие, там строжайшим образом на уровне законодательства запрещено вносить какие-либо изменения в софт без повторных испытаний и сертификации системы. Поэтому обычно все медицинские производители сертифицируют систему и используют ее лет пять в таком виде, затем проводят повторные испытания с обновлениями, сертификации и выпускают новую версию.
Какие бы проекты с нейросетями и ИИ вы бы выделили как те, что выстрелят в ближайшем времени?
Мне симпатично абсолютно все, что связано с беспилотным транспортом. Причем, в первую очередь, с автомобилями. Застать то время, когда действительно огромное количество задач на дорогах можно будет переложить на искусственный интеллект, для меня станет большим достижением.
А еще мне бы хотелось увидеть как можно быстрее историю с достаточно развитыми и интересными домашними ассистентами. Многих это пугает, что будет просто засилье роботов. Но мне, напротив, любопытно увидеть, когда мы будем жить как в игре Detroit Become Human.
И, конечно, жду прорыва в области ИИ: мы уже сейчас видим ограничения математики ИИ, которые непреодолимы с текущим подходом. Увеличение датасетов не ведет к точности, растущее количество данных — не ведет к разумности. Поэтому, возможно, возникнет какой-то класс гибридных систем с бионической составляющей — выращенный искусственный разум.
Для меня это засечка — 2040 год. Но это чисто мой психологический лимит. Просто подождать еще 17 лет — ок, больше — уже долго.
Интервью для Hi, AI! медиа взял Артур Киреев.