Jaron Lanier — The Sound Of One Hand (1992)

В 1980-е Тимоти Лири, икона психоделической революции, переключил своё внимание на компьютеры, которые он воспринимал как средства расширения сознания, способные послужить актуальным аналогом ЛСД. Через четырнадцать лет после смерти Лири, в 2010, бывший фронтмен Talking Heads Дэвид Бирн выступил на конференции TED с речью о том, как структура музыкальных произведений оказывается предопределена акустическими свойствами архитектурных сред, для исполнения в которых эта музыка предназначена; развитие музыки, таким образом, напрямую связывается им с изменениями в архитектурных контекстах. Бирн появлялся (в компании Грейс Джонс и Кита Харинга) в качестве одного из главных героев в неоконченной игре Лири по "Нейроманту", но подлинная точка пересечения их высказываний - работы Джарона Ланье, где стремление к психоделической синестезии создаёт новую форму отношений между архитектурой и музыкой. (Там, конечно, происходит много чего ещё, но прямо сейчас нас интересует вот это).

Ланье, композитор, джазовый музыкант, коллекционер экзотических инструментов и программист, в 1984 основал стартап VPL Research, деятельность которого была посвящена исследованиям в области виртуальной реальности; сам термин "виртуальная реальность" именно благодаря Ланье закрепился в технологическом обиходе, придя на смену научно-фантастическому "киберпространству" и "искусственной реальности" (artificial reality), о которой ранее писал другой пионер направления, Майрон Крюгер. Арсенал разработок VPL состоял из vr-очков The EyePhone, сенсорного комбинезона The Data Suit, призванного отслеживать движения пользователя с возможностью простейшего motion capture, и The Data Glove, первой оптоволоконной vr-перчатки, созданной Томасом Циммерманом. Исходное предназначение последней было музыкальным: Циммерман задумывал её как альтернативный контроллер для электронного синтезатора - то, что способно заставить звучать невидимую гитару. Этого направления придерживались первые созданные Ланье виртуальные миры и первые демо VPL; в числе клиентов компании мы можем обнаружить Grateful Dead и Тодда Рандгрена. Уже после банкротства компании, о котором было объявлено в 1990, Ланье начал использовать её разработки в личных проектах, так или иначе имеющих дело с музыкой.

Название первого из них, "The Sound of One Hand", помимо очевидного указания на Data Glove, отсылает к дзенскому коану про хлопок одной ладони - невозможный, беззвучный звук, не принадлежащий вещественному миру и на интуитивном уровне объясняющий природу остальных звуков. Через такое заглавие работа сигнализирует об утопической интенции к освобождению сознания посредством виртуальной реальности, которую всё тот же Тимоти Лири, сдружившийся с Ланье и сотрудничавший с VPL Research, сравнивал с платоновским миром идей. Неочевидный, но важный аспект работы - связь между исполнением и перемещением: второе, как и первое, осуществлялось посредством жестов (вытянутый указательный палец означает движение в указанном направлении, указательный и средний - движение назад). Радикальная свобода перемещения, возможная в виртуальных пространствах, создаёт потенциал для полноценной реализации этой связи - то есть, для ситуации, в которой перемещение само по себе является исполнением, а пространство, таким образом, становится музыкальным инструментом. Это направление будет развиваться в последующем виртуальном саунд-арте. Сам Ланье использует хореографическое движение для генерации музыки в одном из треков с альбома "Music From Inside Virtual Reality" (1996), задействуя танцоров в комбинезонах The Data Suit, движения которых трансформируются в ритмическую структуру композиции.

Но такое расширение традиционных отношений между пространством и звуком для Ланье менее важно, чем то, что он называет "постсимволической коммуникацией" - возможность придавать форму виртуальным объектам со скоростью, максимально приближенной к скорости работы воображения, минуя посредничество словесных/символьных команд. Свои виртуальные пространства Ланье создавал при помощи визуально-ориентированного языка программирования The Body Electric, разработанного Чаком Бланшаром, одним из сотрудников VPL. Не желая останавливаться на этом, он говорит также и о гипотетической возможности "играть соборы на фортепиано" - то есть создавать архитектурные сооружения в реальном времени посредством музыкальной импровизации. Ещё один из ранних проектов Ланье, "The Flute Lathe", актуализирует эту возможность, позволяя перформеру при помощи игры на флейте управлять резцом, вырезающим формы из виртуального дерева (и производить таким образом в том числе и виртуальные флейты), и аккомпанирующим флейте дисклавиром.

И вот, держите ещё цитату из "Вы не гаджет. Манифест." на ту же тему:

"Я представляю некий саксофоноподобный инструмент в виртуальной реальности, с помощью которого я могу сымпровизировать как золотых тарантулов, так и ведро со всеми красными предметами. Если бы мне было известно, как его создать, я бы создал его сейчас, но я не знаю как."

А ниже следует перевод достаточно подробного текста Ланье, посвящённого "Звуку одной руки".

«Я приступил к созданию своего Виртуального Мира и изучению того, как на нём играть, всего за месяц до выступлений — а потому мне пришлось полностью погрузиться в творческий процесс.

Первоначально я предполагал, что работа будет отполированным vr-демо или экспликацией, с явными визуальными подводками к музыке, простыми в использовании интерфейсами и множеством забавных трюков в духе Руба Голдберга. Но по мере моей работы над Миром в нём стало проявляться некое настроение, эссенция, ко всему прочему правдивая в отношении моего эмоционального и духовного опыта на тот момент. Это было неожиданно и захватывающе даже при том, что содержание вовсе не было радостным. Итак, я избрал более мрачный и интуитивный путь вместо того, чтобы оперировать более привычными для компьютерной культуры ясностью и лёгким юмором. За всю мою карьеру лишь в очень редких случаях я чувствовал, что программирую интуитивно - и это был один из них.

Не ожидайте, что инструменты будут сразу вам понятны, и не думайте, что на них будет просто играть. Они появились в результате творческого процесса, который я не могу до конца объяснить - и затем я научился играть на них. Я, разумеется, не думаю, что две этих эстетики, различаемые мной здесь, исключают друг друга — но интуитивная половина уравнения не может быть призвана к действию с хоть какими-либо гарантиями. Синтез ясности и настроения, когда он появляется, появляется по благодати.

Первый инструмент, на котором я играю, называется "Ритмический Подвес" (англ. Rhythm Gimbal). Карданов подвес - это распространённая механическая конструкция из иерархически расположенных вращающихся шарниров. Ритмический Подвес напоминает гироскоп. В состоянии покоя он абсолютно белый и абсолютно беззвучный. Когда я поднимаю и двигаю его, он начинает звучать. Звук создаётся трением колец друг о друга - при контакте они также меняют цвет. Приведённый в движение Ритмический Подвес будет замедляться, но полная остановка займёт довольно много времени. Если я хорошенько раскручу подвес перед тем, как отпустить его, он издаёт дополнительный набор шумов - более звенящих - звучание которых замедляется по мере того, как инструмент затихает. Таким образом, если только я не буду отпускать его очень аккуратно, без какого-либо вращения, подвес продолжит издавать звуки когда я даже не смотрю на него. "Фоновый" звук, слышный, пока я играю на остальных инструментах, исходит от Ритмического Подвеса.

Основной (не-звенящий) звук подвеса - это интерполяция хора с оркестром и всякими прочими штуками. Гармония создаётся импульсом, с которым внутренние части инструмента соударяются после того, как рука его отпускает. Каждое кольцо сообщает вращение внешнему по отношению к нему кольцу, создавая сложное движение - это словно бы маятники, подвешенные на другие маятники. На кольцах также есть шарики - когда они сталкиваются, они меняют цвет и вызывают изменение гармонии. Знаете эти аттракционы в парках развлечений, где нужно бить по цели на земле гигантской кувалдой, чтобы указатель на большой вертикальной линейке подскочил как можно выше? Столкновения внутри Ритмического Подвеса подбрасывают виртуальные указатели вдоль квинтового круга и вверх по гармоническому ряду примерно таким же образом. Нота добавляется к гармонии, когда указатели двух типов добираются до неё примерно одновременно. Вся гармония и вся ритмическая фактура складываются в результате этого процесса. Медленный поворот подвеса с наибольшей вероятностью будет избирать ноты, гармонически близкие друг к другу - например, чистые квинты. Что интересно в подвесе - так это то, какую музыку он производит, если вращать его с большим усилием. Диапазон возможных стилей гармонии и фактуры, который может быть исследован при помощи вращения подвеса, варьируется от очень открытого, гармоничного и спокойного звучания до безумного диссонанса. Я предпочитаю зону посередине, которая может звучать как помесь позднего Скрябина с Адажио Барбера (я не шучу).

Какое-то время я был практически потрясён тем, как хорошо это простое устройство справляется с генерацией гармонии. Неужели это всё, что делает мозг композитора? Подвес, однако, не вполне можно назвать алгоритмическим музыкальным генератором. К примеру, я не думаю, что получится использовать явную инициализацию, чтобы найти верные параметры, которые заставят подвес петь. Для того, чтобы странные гармонии этого любопытного инструмента зазвучали, мне представляется обязательным элемент интуитивного исполнения.

Каждая нота "Звука одной руки" генерируется движениями моей руки, сообщаемыми виртуальным инструментам: здесь нет предопределённых последовательностей или групп нот. Музыкальное содержание полностью импровизировано за единственным исключением тембрального диапазона инструментов. Это не значит, что я могу играть любую произвольную музыку - не больше, чем я мог бы с помощью любых других инструментов. Я не могу гарантированно извлечь из Ритмического Подвеса конкретный желаемый аккорд, но я могу создать ощущение аккордовой последовательности, поскольку я могу повлиять на то, когда аккорды сменяются и насколько радикальным будет изменение. Это не ощущается, как меньшая степень контроля - скорее как иной способ контроля. Настоящее испытания для инструмента - не в том, что он может или не может сделать, но в следующем: можно ли стать бесконечно более чувствительным к нему по мере того, как изучаешь и учишься? Это можно сказать о фортепиано. Только некоторые ментальные объекты могут провалить этот тест. У хорошего инструмента есть глубина, доступная для изучения телу, но не сознанию. Я верю при этом, что сознание вполне способно создавать подобные инструменты.

Скрытые механизмы в Виртуальной Реальности - это просто невидимые объекты. Пока я разрабатывал этот Мир, я визуализировал для себя гармоническую структуру - она выглядит как куча нот, ползущих по кольцам и вверх по шесту. Для выступления я сделал её преимущественно невидимой из соображений визуального дизайна. Одна её часть, тем не менее, остаётся видимой - это большое синее кольцо с камертонами на нём. У каждого из камертонов есть T-образная штуковина у основания и кольца на зубцах. Эти объекты - место хранения информации о текущей тонике и аккордах для последовательностей. Вы можете наблюдать их движение по мере изменения гармонии.

КиберКсилофон - перкуссионный инструмент. Его ноты берутся из камертонов на синем кольце, так что он всегда в гармонии с Ритмическим Подвесом. Молоточек сохраняет угловой момент с некоторым трением, если его отпустить. Таким образом, можно сделать так, чтобы он вращался и ударял по клавишам киберксилофона сам по себе какое-то время. Реализация вращения - весьма низкого математического качества: я использую увеличивающийся счётчик вращений вместо того, чтобы прибегнуть к кватернионам. Это создаёт безумные, неестественные паттерны вращения. С практикой, воодушевлённые повороты молоточка вблизи клавиш могут стать источником примечательных ритмов.

Киберсакс - самый эргономически сложный инструмент. Когда вы берёте его, он постепенно оказывается в вашей руке и пытается избежать прохождения сквозь пальцы на своём пути. Когда вы его держите, положение ваших виртуальных пальцев продолжает соотноситься с положением физических, но корректируется таким образом, чтобы правильно располагаться на клавишах саксофона. Это пример "симуляции контроля", которая критически важна для дизайна виртуальных ручных инструментов, особенно когда тактильная обратная связь недоступна.

Три музыкальных регистра - сопрано, альт и бас - расположены вдоль главной трубки. Каждый регистр содержит несколько блестящих саксоподобных клавиш. Ноты, извлекаемые из клавиш, происходят из текущего набора доступных нот, определяемых Ритмическим Подвесом, так что звучание не будет диссонировать с остальными инструментами. Пока вы держите саксофон, вы можете менять регистр, резко сдвигая руку вдоль трубки в сторону желаемого регистра. Импульс этого движения помогает определить, какие ноты будут соответствовать каким клавишам до следующей смены регистра (если, например, вы уходите из альта в сопрано с большей силой, это будет означать выбор более высоких по частоте нот). Вы можете играть свободно, не опасаясь по ошибке уронить трубку (этого было трудно добиться). В верхнем регистре возможно играть две мелодии одновременно, модулируя большим пальцем. Ориентация трубки в пространстве контролирует тембр, микс и другие параметры звука. Среди прочих элементов дизайна - непристойно выглядящий виляющий хвостик/мундштук и пульсирующий колокол. Звук и геометрическая конструкция Киберсакса отчасти вдохновлены престранным бамбуковым саксофоном, попавшим в мою коллекцию из Тайланда. Его верхняя часть присоединяется к трубке прямо как хвостик Киберсакса.

Компьютерная музыка должна использовать инструменты, построенные вокруг различных концептов того, что такое музыка. Это радикальный отход от "глупых" инструментов прошлого. Фортепиано не знает, что такое нота, оно просто вибрирует от ударов по клавишам. Особая чувствительность и благоговение перед тайной, окружающей жизнь, заключены в сердце как науки, так и искусства, и инструменты, в которые встроены жёсткие концепты, могут ослабить эту чувствительность, лишая всякой таинственности контекст творческой активности. Это может вести к "нёрдовскому" или неинтересному искусству. Интереснее может быть прятаться за фортепиано, а не за компьютером - но лишь потому, что фортепиано сделано из материалов с хорошими резонансными характеристиками, а не из концептов. Чтобы компьютерное искусство, компьютерная музыка работали, нужно быть крайне внимательным к тому, чтобы поместить людей и человеческий контакт в центр внимания.

Я был рад обнаружить, что "Звук одной руки" создал необычные статусные отношения между перформером, аудиторией и технологией. Обычно использование редких и дорогих высоких технологий на сцене служит тому, чтобы создать зрелище, повышающее статус перформера. Он делается относительно неуязвимым, пока аудитория должна быть охвачена благоговением. Это то, что есть общего у рок-концертов и войны в Персидском заливе. "Звук одной руки" создаёт весьма отличающуюся от этого ситуацию. Аудитоория смотрит, как я всячески изгибаюсь, перемещаясь в пространстве и оперируя виртуальными инструментами - но я ношу vr-очки. Пять тысяч человек смотрят, как я принимаю порой несколько неловкие позы - а я не могу их видеть или знать, как я смотрюсь с их точки зрения. Я был уязвим и, несмотря на всю технологию, чувствовал себя прежде всего человеком. Это задавало для музыки более аутентичную среду. Если вы когда-либо играли музыку, особенно импровизированную, перед аудиторией, вы знаете, о какой уязвимости я говорю - об уязвимости, которая предшествует аутентичному исполнению.

О том, как я изгибаюсь... Во время выступлений я использовал направленный полёт, технику навигации, подразумевающую, что ты показываешь, куда хочешь попасть, и тем самым запускаешь себя в полёт туда. Мне не нравится направленный полёт в промышленном применении VR. Он требует навыка и изматывает руку. В данном случае я предпочёл прибегнуть к нему, поскольку я хотел неограниченного метода навигации, основанного на умении; он позволил мне хореографически выстроить экскурсию по астероиду одновременно с исполнением музыки. Я был совершенно шокирован и смущён, когда потерялся в собственном Мире во время одного из выступлений!

Ещё один элемент человеческого в этой работе - её телесность. "Звук одной руки" можно отнести к традиции терменвокса постольку, поскольку интерфейс здесь прежде всего физический, а не ментальный. Хоть инструменты и были сделаны из информации, музыка была сделана прежде всего из жестов.

Оборудование, которое я использовал, было, по большей части, не новейшего образца, а устаревшим примерно на год. Синтезаторы и наголовный дисплей были '92-го года выпуска, но графический движок, трекер и DataGlove были старше. Мне кажется, следует активно избегать использования новейшей техники, когда занимаешься искусством, чтобы не попасть в ловушку технологии ради технологии.

(Наголовный дисплей, который я использовал, заслуживает отдельного упоминания, поскольку это, по всей вероятности, был последний раз, когда его можно было увидеть. Я использовал прототип XVR EyePhone от VPL, пока что мой любимый дисплей, который, по всей видимости, не попадёт в производство. Вздох.)

Программное обеспечение, впрочем, было довольно свежим. Работа была полностью написана с помощью Body Electric, визуального языка программирования для Виртуальной Реальности. Мне крайне нравится эта программная среда, созданная в основном Чаком Бланшаром. Вы подключаете диаграммы, чтобы контролировать происходящее в Виртуальном Мире, и видите эффект незамедлительно. Вся музыка и физика были сделаны в B.E.; я никогда не смог бы сделать подобное на C. Визуально и скульптурно Мир использовал каждый доступный трюк, связанный с рендерингом в реальном времени - включая излучательность, туман, текстурирование, карты отражения и морфинг. Эффект "шелушения" цвета - результат бага, который происходит, когда цвет аппаратного тумана на SGI постепенно меняется (я установил очень медленно движущийся прыгающий мячик в цилиндре цветового пространства RGB как инструмент выбора цвета тумана). Я смоделировал все элементы мира за исключением подсвеченной руки скелета, произрастающей из стены астероида и происходящей из магнитно-резонансного сканирования руки пациента госпиталя министерства по делам ветеранов в Пало-Альто. Первоначально она использовалась в разработке хирургической симуляции. На всякий случай: астероид - полый, примерно двенадцать футов в диаметре, хотя густой туман и позволяет ему выглядеть и ощущаться как совершенно необъятный. У него на боку есть большая трещина, сквозь которую то и дело пролетают, резвясь, два светлячка, а рядом с рукой скелета внутри произрастает большой красный куст имбиря, а также несколько прожекторов. Инструменты в основном находятся внутри. Во время выступления я в определённый момент раскручиваю подвес и ненадолго вылетаю через трещину, чтобы позволить аудитории увидеть, насколько одинок этот астероид, окружённый абсолютной пустотой.

Звуки создавались на двух сэмплерах/синтезаторах. Я решил не использовать великолепные возможности Виртуальной Реальности, связанные с объёмным звуком, поскольку они предназначены прежде всего для наушников, а мне не хотелось, чтобы зрители постоянно пытались что-то расслышать.

Во многом "Звук одной руки" был большим прыжком в неизвестность, чем все странные "экспериментальные" концерты, в которых я участвовал в Нью-Йорке в конце 70-х. Я никакого понятия не имел, будет ли у этой работы определённое настроение или значение и будет ли это опытом, понятным зрителю. В итоге эффект от выступлений оказался для меня радостным и терапевтическим. Это было что-то вроде технологического блюза, мрачной работы, которую я мог исполнять со счастливой интонацией. Это был шанс поработать над всецело творческим проектом с командой VPL, шанс обратиться ко всем разработанным VPL штукам как к заданному набору (надёжных!) материалов, а не как к работе, которую предстоит сделать, шанс попрактиковаться в том, что я проповедую в дизайне виртуальных инструментов, шанс использовать VR просто для красоты и шанс побыть музыкальным перед аудиторией из моих до смехотворного политизированных коллег. Ещё это было празднованием отсутствия необходимости управлять компанией. Зрители были невероятно отзывчивы, и я не слышал, чтобы кто-либо описывал работу как демо; она воспринималась как музыка. Мы оторвались по полной, работая над этими выступлениями. Надеюсь, запись даст вам какое-то представление.