Искусственные синапсы
Человеческая нервная система содержит порядка 100 миллиардов нейронов, которые соединены разветвленными отростками — аксонами и дендритами. Электрический сигнал входит в нейрон по дендритам, а по аксонам передается следующим нейронам. Мостик для передачи нейронного импульса между аксоном одного нейрона и дендритом другого называют синапсом. Он важная составляющая нервной системы, которая отвечает за обучение.
Ученые разрабатывают искусственные синапсы, чтобы создать системы биоподобной обработки информации, которые решат сложные задачи, связанные с распознаванием, предсказанием, моделированием индивидуального и группового поведения. Дальнейшее развитие этих технологий может привести к реализации электронных устройств, которые избавят людей от атрофии, потери чувствительности и разрывов нервной ткани.
Мозг и компьютер
В компьютере процессор и память — два разных устройства, которые не влияют друг на друга. Когда информация записывается, заполняются ячейки памяти и ничего более. Доступ к памяти открыт, ее легко стереть или восстановить, но эти действия не влияют на свойства процессора. В мозгу ситуация другая: одни и те же элементы как хранят, так и обрабатывают информацию. Важнейшую роль при этом играют синапсы. Запоминая информацию, мы не только заполняем ячейки памяти, но и изменяем конфигурацию и связи между элементами нашего процессора. Это первое фундаментальное отличие архитектуры человеческого мозга от компьютера.
Второе фундаментальное отличие заключается в том, что любой компьютер с одним ядром выполняет операции последовательно, одну за другой. В мозгу информация обрабатывается параллельно, поэтому с распознаванием и предсказанием мозг справляется легче компьютера.
Сейчас мы совместно с Институтом фундаментальной медицины и биологии Казанского федерального университета работаем над протезом участка спинного мозга, состоящим из многочисленных электронных аналогов нейронов и синапсов. Предполагается, что он обеспечит интерфейс живых систем и электронных устройств, что поможет людям с повреждением моторных функций ног снова ходить.
Правило Хебба — изменение синаптических связей
В 1949 году физиолог и нейропсихолог Дональд Хебб сформулировал правило синаптического обучения, которое долгое время было основной парадигмой в этой области. Если два нейрона соединены между собой, то сила синаптической связи увеличивается по мере синхронизации между активностью первого и второго нейрона. Если мы применим правило для электронных сетей, можно рассмотреть два нелинейных пороговых элемента и проводник между ними. Проводник должен увеличивать проводимость по мере того, как часто или долго он используется для передачи сигнала от одного нелинейного элемента к другому. Современная интерпретация правила Хебба называется STDP (spike-timing-dependent plasticity) — биологический процесс, который регулирует синхронизацию активности нейронов и самопроизвольно устанавливает причинно-следственные закономерности.
STDP описывает возможность обучения без учителя. Спайк — форма нервного сигнала — на втором нейроне должен быть позже, чем на первом, а сила синапса увеличивается в зависимости от временного интервала между спайком первого и второго. Если это время порядка миллисекунды, то спайк на первом нейроне будет причиной, а спайк на втором — следствием. Чем чаще это повторяется с меньшей временной задержкой, тем больше укрепляется причинно-следственная связь двух событий. Если, наоборот, на постсинаптическом нейроне спайк возникает раньше, чем на пресинаптическом нейроне, то эта связь подавляется.
Перцептрон: искусственные нейронные сети
На заре вычислительных технологий люди занимались компьютерами, чтобы лучше понять устройство нервной системы и мозга. В конце 1940-х годов Фрэнк Розенблатт, американский психолог, предложил систему, которую назвал перцептроном. Это искусственная нейронная сеть из одного или нескольких слоев, в которой узлы — пороговые элементы — играют роль нейронов, и каждый узел предыдущего слоя связан с узлом последующего благодаря соединению, позволяющему изменять весовую функцию передачи сигнала. Изначально у связей внутри системы произвольные величины. Однако если выбран критерий для классификации объектов, то систему можно обучить, прилагая внешние стимулы.
В нашей первой работе был реализован однослойный элементарный перцептрон, который классифицировал только линейно разделяемые объекты. Нашей задачей было обучить нейросеть разделять объекты в соответствии с логической операцией НЕ-И или НЕ-ИЛИ. После нескольких стадий обучения перцептрон был в состоянии классифицировать объекты в соответствии с данными критериями. Однако в случае классификации по правилу исключений ИЛИ (XOR) однослойного перцептрона оказалось недостаточно. Мы сделали шаг в сторону реализации двуслойного перцептрона и опубликовали статью, где приборная реализация двуслойного перцептрона была сделана на основе органических мемристорных устройств.
Синаптическое обучение
Наша первая работа, посвященная реализации электронных элементов со свойствами синапсов, была опубликована в 2005 году. Нам удалось сделать мемристорное устройство, которое вело себя как синапс: оно изменяло сопротивление в зависимости от направления тока и количества прошедшего ионного заряда.
Компьютер в состоянии обучаться с помощью учителя (supervised learning). В 2015–2016 годах мы опубликовали две работы по перцептрону — искусственной нейронной сети, — используя мемристорные приборы в качестве элементов, способных менять передаточные весовые функции (аналогично роли синапса в нервной системе), а в 2019 году мы создали систему, способную, подобно собаке Павлова, к обучению без учителя (unsupervised learning).
В 2009–2011 годах в рамках выполнения европейского проекта (BION) нам удалось воспроизвести участок нервной системы улитки, который отвечает за обучение при кормлении, — напоминает упрощенный вариант собаки Павлова.
Механическое касание губ улитка воспринимает как нейтральный, если не сказать отрицательный стимул. Однако если касаться губ улитки сахаром, то она ассоциирует нейтральный сигнал прикосновения с присутствием пищи. Моллюск открывает рот и запускает пищеварительный процесс. Если это повторяется несколько раз, улитка реагирует аналогичным образом, даже если касание происходит без сахара. Данная работа представляет интерес, так как в ней была реализована не только функция обучения, но и архитектура нервной системы, отвечающая за такое обучение. Наши партнеры из Университета Варвик в Англии, используя систему имплантированных микроэлектродов, восстановили модель и архитектуру участка нервной системы, отвечающего за такое обучение. С помощью мемристорных устройств мы воспроизвели функции обучения и максимально приблизились к архитектуре мозга настоящего животного.
Мы работаем с более простыми системами, такими как участки спинного мозга. В настоящее время мы пытаемся воспроизвести функции участка спинного мозга, отвечающего за хождение. В случае успеха мы надеемся сделать имплант нервной системы и по крайней мере частично восстановить двигательные функции.
Мир органических соединений обладает уникальной возможностью — самоорганизацией. Используя специально синтезированные блок-сополимеры, проводящие полимеры и золотые наночастицы, мы сделали трехмерную сеть мемристорных устройств, содержащую порядка 100 миллиардов элементов на квадратном миллиметре, что на 5 порядков меньше, чем количество синапсов в нервной системе человека. Оказалось, что свойства системы зависят от метода обучения: изменяя алгоритмы, можно добиться детского (imprinting) или взрослого обучения.
В мозге новорожденного ребенка 1016 нервных соединений. В процессе формирования личности одни усиливаются, а другие подавляются, в результате формируется индивидуальность. Причем на раннем этапе (детское обучение) образуются устойчивые связи, которые практически не меняются всю жизнь. Взрослое обучение, напротив, отвечает за формирование короткодействующих связей, которые определяются изменяющейся входной информацией.
При этом нужно заметить, что важную роль играет и генетический фактор. Чем ближе архитектура наведенных во время детского обучения связей к генетической предрасположенности, тем они сильнее и долговечнее. Изменяя алгоритм обучения, можно перейти от детского обучения к взрослому, которое усиливается или ослабляется в зависимости от ситуации, в которой человек находится.
Материалы для искусственных синапсов
Органический мемристорный прибор состоит из гетероперехода проводящего полимера — в нашем случае полианилина — и твердого электролита. В окисленном состоянии полимер является хорошим проводником, а в восстановленном — диэлектриком. Разница в проводимости состояний составляет до 8–9 порядков величины.
Вместе с группой профессора Рустема Хазипова из Института фундаментальной медицины и биологии (КФУ) нам удалось сделать первый шаг к созданию протеза синапса. Мы тестировали наши приборы на крысах. В мозгу животных произвольно выбирались два нейрона, и до подключения мемристорного прибора проверялось, что эти нервные клетки не соединены естественными, биологическими синапсами. После эксперимента обе нервные клетки соединили органическим мемристорным прибором. Было показано, что спайки первой нервной клетки постепенно увеличивали передаточную функцию, силу синаптической связи, что привело к тому, что вторая нервная клетка начала генерацию спайков, после того как сила синаптической связи превысила некую пороговую величину. В результате по мере увеличения синаптической связи временной интервал между спайком на втором и первом нейронах уменьшался до величины трех микросекунд, что соответствует процессам в нервной системе живых организмов.
Во втором эксперименте мы не возбуждали первый нейрон: он был переведен в состояние естественного спайкования. Однако и в этом случае наблюдались аналогичные зависимости. Наша работа стала первой, когда электронное устройство сыграло роль элемента живой системы. Мы сделали первый робкий шаг на пути к созданию протезов синапсов.
Будущее искусственных синапсов
В мозгу человека 1016 синапсов: у него сложная структура, поэтому мы еще не скоро ее повторим. Но если исследования со спинным мозгом будут успешны, то, надеемся, через пять лет наши приборы и системы помогут людям восстанавливать чувствительность, моторику и возможность ходить, даже если поражения врожденные.
Мы работаем сразу в нескольких направлениях. В Италии (Институт материалов для электроники и магнетизма, Итальянский национальный совет по исследованиям, Парма) мы исследуем реализацию и характеристику органических мемристорных приборов. В Казанском федеральном университете мы сосредоточены на соединении наших устройств с элементами нервной системы животных и человека.