Как заставить Вселенную думать за нас

Физики строят нейронные сети из вибраций, напряжений и лазеров, утверждая, что будущее вычислительной техники - в использовании сложных физических свойств Вселенной.

Внутри звукоизолированного ящика сидит одна из худших в мире нейронных сетей. Увидев число 6, она на мгновение замирает, прежде чем определить цифру: ноль. Peter McMahon, физик-инженер из Корнельского университета, который руководил разработкой сети, защищает ее с овечьей улыбкой, указывая на то, что написанное от руки число выглядит неаккуратно. Logan Wright, постдок, посещающий лабораторию МакМахона из NTT Research, уверяет меня, что устройство обычно дает правильный ответ, но признает, что ошибки случаются часто. "Все так плохо", - сказал он.

Несмотря на неудовлетворительную производительность, эта нейронная сеть - новатор. Исследователи опрокидывают ящик, обнаруживая не компьютерный чип, а микрофон, направленный на титановую пластину, прикрученную к динамику. Другие нейронные сети работают в цифровом мире из нулей и единиц, но это устройство работает на звуке. Когда Райт вызывает новое изображение цифры, ее пиксели преобразуются в звук, и слабый звон наполняет лабораторию, когда динамик встряхивает пластину. "Чтение" делает металлическая реверберация, а не программное обеспечение, работающее на кремнии. В то, что устройство часто работает успешно, не верится даже его разработчикам.

"Какой бы ни была функция дрожащего металла, она не должна иметь никакого отношения к классификации рукописных цифр", - говорит МакМахон.

Примитивная способность устройства к чтению, которую группа из Корнелла представила в январе в статье в журнале Nature, дает МакМахону и другим надежду на то, что потомки смогут произвести революцию в вычислительной технике.

Ученые обнаружили, что когда дело доходит до обычного машинного обучения, больше - значит лучше. Наполнение нейронной сети большим количеством искусственных нейронов - узлов, хранящих числовые значения - повышает ее способность отличить таксу от далматинца или преуспеть в решении множества других задач распознавания образов. По-настоящему огромные нейронные сети могут выполнять такие невероятные задачи, как сочинение эссе и создание иллюстраций. С увеличением вычислительных возможностей они смогут еще больше. Этот потенциал и служит причиной усилий по разработке более мощных и эффективных методов вычислений.

МакМахон и группа физиков-единомышленников отстаивают неортодоксальный подход: Заставить Вселенную пересчитывать цифры за нас. "Многие физические системы могут естественным образом выполнять некоторые вычисления гораздо эффективнее или быстрее, чем это может сделать компьютер", - говорит МакМахон. Он приводит в пример аэродинамические трубы: когда инженеры проектируют самолет, они могут оцифровать чертежи и провести часы на суперкомпьютере, моделируя, как воздух обтекает крылья. Или они могут поместить машину в аэродинамическую трубу и посмотреть, полетит ли она. С точки зрения вычислений, аэродинамическая труба мгновенно "вычисляет", как крылья взаимодействуют с воздухом.

Аэродинамическая труба - это машина с одной целью: она моделирует аэродинамику. Исследователи, такие как МакМахон, стремятся создать аппарат, который может научиться делать что угодно - систему, способную адаптировать свое поведение путем проб и ошибок, чтобы приобрести любую новую способность, например, классифицировать рукописные цифры или отличать один гласный звук от другого. Недавние работы показали, что такие физические системы, как световые волны, сети сверхпроводников и ветвящиеся потоки электронов, могут обучаться.

"Мы переизобретаем не только аппаратное обеспечение", - сказал Бенджамин Скелье, математик из Швейцарского федерального технологического института Цюриха в Швейцарии, который помог разработать новый алгоритм физического обучения, - "но и всю парадигму вычислений".

Учимся думать

Обучение - экзотический процесс; примерно десять лет назад мозг был единственной системой, которая хорошо справлялась с этой задачей. Именно структура мозга вдохновила компьютерных ученых на разработку глубоких нейронных сетей, которые сегодня являются самыми популярными моделями искусственного обучения.

Глубокая нейронная сеть - это компьютерная программа, которая обучается на практике. Сеть можно представить в виде решетки: слои узлов, называемых нейронами, которые хранят значения, соединены с нейронами в соседних слоях линиями, или "синапсами". Первоначально эти синапсы представляют собой случайные числа, называемые "весами".

Когда вы хотите, чтобы сеть считала цифру - скажем, 4 - вы заставляете первый слой нейронов представлять необработанное изображение 4, возможно, сохраняя оттенок каждого пикселя как значение в соответствующем нейроне. Затем сеть "думает", двигаясь слой за слоем, умножая значения нейронов на синаптические веса, чтобы заполнить следующий слой нейронов. Нейрон с наибольшим значением в последнем слое указывает на ответ сети. Например, если это второй нейрон, то сеть догадывается, что она увидела цифру 2.

Чтобы научить сеть делать более умные предположения, алгоритм обучения работает в обратном направлении. После каждого испытания он вычисляет разницу между догадкой и правильным ответом (который в нашем примере будет представлен высоким значением для четвертого нейрона в последнем слое и низким значением в других местах). Затем алгоритм возвращается назад по сети слой за слоем, рассчитывая, как подстроить веса, чтобы значения конечных нейронов увеличились или уменьшились, как это необходимо. Эта процедура, известная как обратное распространение, лежит в основе глубинного обучения.

Путем многочисленных повторений "угадай и проверь" обратное распространение направляет веса к конфигурации чисел, которая через каскад умножений, инициированных изображением, выдает написанную там цифру.

Но по сравнению с тем, что происходит в мозге, оцифрованная версия обучения, которая происходит в искусственных нейронных сетях, выглядит крайне неэффективной. Получая менее 2 000 калорий в день, человеческий ребенок за несколько лет учится говорить, читать, играть в игры и многому другому. На такой ограниченной энергетической диете новаторской нейронной сети GPT-3, способной бегло разговаривать, потребовалось бы тысячелетие, чтобы научиться общаться.

С точки зрения физика, большая цифровая нейронная сеть просто пытается сделать слишком много математики. Сегодня самые большие бегемоты должны записывать и манипулировать более чем полутриллионом чисел. Между тем, Вселенная постоянно решает задачи, выходящие далеко за пределы скудных бухгалтерских способностей компьютеров. В комнате могут скакать триллионы триллионов молекул воздуха; это невозможное количество движущихся частей для компьютера, чтобы отследить их в полноценной симуляции столкновений, но сам воздух без проблем решает, как вести себя от момента к моменту.

Задача состоит в том, чтобы создать физические системы, способные естественным образом выполнять оба процесса, необходимые для ИИ - "мышление", связанное с классификацией изображений, и "обучение", необходимое для правильной классификации таких изображений. Система, овладевшая обеими задачами, могла бы использовать способность Вселенной действовать математически, не занимаясь математикой.

"Мы никогда не вычисляем 3,532 умножить на 1,567 или что-то в этом роде", - сказал Scellier. "Это делается, но неявно, а непосредственно по законам физики".

Думающая часть

МакМахон и его коллеги добились прогресса в "мыслительной" половине головоломки.

Создавая свою лабораторию в Корнелле в последние месяцы до пандемии, МакМахон размышлял над любопытным открытием. На протяжении многих лет самые лучшие нейронные сети для распознавания изображений становились все более глубокими. То есть, сети с большим количеством слоев лучше справлялись с приемом кучи пикселей и выдачей ярлыка, например, "пудель". Эта тенденция вдохновила математиков на изучение трансформации (от пикселей к "пуделю"), которой добивались сети, и в 2017 году несколько групп предложили, что сети действуют как приближенные версии гладкой математической функции. В математике функция превращает вход (часто положение вдоль оси x) в выход (значение y, или высота кривой в этом положении). В определенном типе нейронных сетей большее количество слоев работает лучше, потому что функция становится менее неровной, приближаясь к идеальной кривой.

Это исследование заставило МакМахона задуматься. Возможно, с помощью плавно меняющейся физической системы можно обойти блокировку, присущую цифровому подходу.

Задача заключалась в том, чтобы найти способ приручить сложную систему - адаптировать ее поведение с помощью тренировок. МакМахон и его соавторы выбрали титановую пластину в качестве одной из таких систем, поскольку ее многочисленные формы колебаний причудливо сочетаются с поступающим звуком. Чтобы заставить пластину действовать как нейронная сеть, они подавали один звук, который кодировал входной образ (например, рукописную цифру 6), и другой, представляющий синаптические веса; пики и впадины должны были попадать на титановую пластину точно в нужные моменты, чтобы устройство объединило звуки и выдало ответ - например, новый звук, самый громкий на шестой миллисекунде, представляющий классификацию "6".

Группа также реализовала свою схему в оптической системе - где входное изображение и веса кодируются в двух лучах света, которые перемешиваются кристаллом - и в электронной схеме, способной аналогичным образом перемешивать входные данные. В принципе, подойдет любая система с византийским поведением*, но исследователи считают, что оптическая система особенно перспективна. Кристалл не только может чрезвычайно быстро смешивать свет, но и содержит огромное количество данных о мире. МакМахон представляет себе, что миниатюрные версии его оптической нейронной сети когда-нибудь станут глазами самоуправляемых автомобилей, определяя знаки остановки и пешеходов, а затем передавая эту информацию на компьютерный чип автомобиля, подобно тому, как наша сетчатка выполняет некоторую базовую визуальную обработку поступающего света.

Ахиллесова пята этих систем, однако, заключается в том, что их обучение требует возвращения в цифровой мир. Обратное распространение предполагает запуск нейронной сети в обратном направлении, но пластины и кристаллы не могут легко смешивать звуки и свет. Поэтому группа создала цифровую модель каждой физической системы. Перевернув эти модели на ноутбуке, они смогли использовать алгоритм обратного распространения для расчета того, как настроить веса, чтобы получить точные ответы.

При таком обучении пластина научилась правильно классифицировать рукописные цифры в 87% случаев. Схема и лазер достигли точности 93% и 97% соответственно. Результаты показали, "что не только стандартные нейронные сети могут быть обучены с помощью обратного распространения", - сказала Жюли Гролье, физик из Национального центра научных исследований Франции (CNRS). "Это прекрасно".

Дрожащая металлическая пластина группы еще не приблизила вычислительную технику к шокирующей эффективности мозга. Она даже не приближается к скорости цифровых нейронных сетей. Но МакМахон рассматривает свои устройства как поразительное, пусть и скромное, доказательство того, что для мышления не нужен мозг или компьютерный чип. "Любая физическая система может быть нейронной сетью", - сказал он.

Обучающая часть

Существует множество идей, как решить вторую половину головоломки - заставить систему обучаться самостоятельно.

Florian Marquardt, физик из Института Макса Планка по изучению света в Германии, считает, что одним из вариантов является создание машины, которая работает в обратном направлении. В прошлом году он и его соавтор предложили физический аналог алгоритма обратного распространения, который мог бы работать в такой системе.

Чтобы показать, что это работает, они смоделировали в цифровом виде лазерную установку, подобную установке МакМахона, с регулируемыми весами, закодированными в световой волне, которая смешивается с другой входной волной (кодирующей, скажем, изображение). Они подталкивают выходной сигнал, чтобы он был ближе к правильному ответу, и используют оптические компоненты для смешивания волн, обращая процесс вспять. "Волшебство", - сказал Марквардт, - заключается в том, что "когда вы пробуете устройство еще раз с тем же самым входом, [выходом] видна тенденция быть ближе к тому, что вы хотите". Далее они сотрудничают с экспериментаторами, чтобы создать такую систему.

Но концентрация на системах, работающих в обратном направлении, ограничивает возможности, поэтому другие исследователи полностью отказываются от обратного распространения. Их ободряет то, что мозг обучается не стандартным методом обратного распространения, а каким-то другим. "Мозг работает не так, - говорит Сселье. Нейрон А общается с нейроном Б, "но это только односторонняя связь".

В 2017 году Скелье и Yoshua Bengio, компьютерный ученый из Монреальского университета, разработали метод однонаправленного обучения, который называется "распространение равновесия". Чтобы понять, как он работает, представьте себе сеть стрелок, которые действуют как нейроны, их направление указывает на 0 или 1, соединенных в сетку пружинами, которые действуют как синаптические веса. Чем слабее пружина, тем меньше стрелки, соединенные между собой, стремятся выровняться.

Сначала вы поворачиваете стрелки в крайнем левом ряду, чтобы отразить пиксели вашей рукописной цифры, и удерживаете их неподвижными, пока возмущение распространяется по пружинам, переворачивая другие стрелки. Когда переворачивание прекращается, самые правые стрелки дают ответ.

Очень важно, что вам не нужно обучать эту систему, переворачивая стрелки. Вместо этого вы подключаете другой набор стрелок, показывающих правильный ответ, вдоль нижней части сети; они переворачивают стрелки в верхнем наборе, и вся сеть приходит в новое равновесие. Наконец, вы сравниваете новые ориентации стрелок со старыми и затягиваете или ослабляете каждую пружину соответственно. В течение многих испытаний пружины приобретают более разумное натяжение, что, как показали Селье и Бенгио, эквивалентно обратному распространению.

"Считалось, что между физическими нейронными сетями и обратным распространением нет никакой связи", - говорит Гролье. "Совсем недавно это изменилось, и это очень интересно".

Первоначальная работа по распространению равновесия была полностью теоретической. Но в предстоящей публикации Гролье и Жереми Лейдеван, физик из CNRS, описывают выполнение алгоритма на машине под названием "квантовый отжиг", построенной компанией D-Wave. Аппарат имеет сеть из тысяч взаимодействующих сверхпроводников, которые могут действовать как стрелки, соединенные пружинами, и естественным образом рассчитывать, как "пружины" должны быть обновлены. Однако система не может автоматически обновлять синаптические веса.

Замыкая круг

По крайней мере, одна команда собрала части для создания электронной схемы, которая делает всю тяжелую работу - думает, учится и обновляет вес - с помощью физики. "Мы смогли замкнуть цикл для небольшой системы", - говорит Sam Dillavou, физик из Университета Пенсильвании.

Цель Диллаву и его коллег - подражать мозгу, буквально "умному веществу": относительно единой системе, которая учится без какой-либо одной структуры, определяющей действия. "Каждый нейрон занимается своим делом", - сказал он.

Для этого они построили самообучающуюся схему, в которой переменные резисторы выступают в качестве синаптических весов, а нейроны - это напряжения, измеряемые между резисторами. Чтобы классифицировать заданный входной сигнал, он преобразует данные в напряжение, которое подается на несколько узлов. Электрический ток проходит через цепь, ища пути, по которым рассеивается наименьшая энергия, и изменяя напряжения по мере стабилизации. Ответом является напряжение на заданных выходных узлах.

Их главная инновация заключалась в постоянно сложном этапе обучения, для которого они разработали схему, похожую на распространение равновесия, названную связанным обучением. Пока одна схема получает данные и "придумывает" догадку, идентичная вторая схема начинает с правильного ответа и включает его в свое поведение. Наконец, электроника, соединяющая каждую пару резисторов, автоматически сравнивает их значения и корректирует их для достижения более "умной" конфигурации.

Группа описала свою рудиментарную схему в препринте прошлым летом, показав, что она может научиться различать три типа цветов с 95% точностью. Сейчас они работают над созданием более быстрого и способного устройства.

Даже эта модернизация не сможет превзойти современные кремниевые чипы. Но физики, создающие эти системы, подозревают, что цифровые нейронные сети, какими бы могучими они ни казались сегодня, в конечном итоге покажутся медленными и неадекватными рядом со своими аналоговыми собратьями. Цифровые нейронные сети могут увеличиваться только до тех пор, пока не увязнут в чрезмерных вычислениях, но большие физические сети не должны делать ничего, кроме как быть самими собой.

"Это настолько большая, быстро развивающаяся и разнообразная область, что мне трудно поверить, что не появятся довольно мощные компьютеры, созданные на основе этих принципов", - сказал Диллавоу.

Оригинал статьи

Пишу, перевожу, делюсь, учусь, учу, ворчу: https://t.me/pseudointellectualshit

Спасибо за то, что читаете и делитесь. Мне это очень приятно.