Как работает Twixtor?
Итак, наконец, добро пожаловать в это руководство, которое объяснит необходимую теорию, приемы, нюансы и особенности основных процессов, необходимых для осуществления интерполяции. Как это работает на базовом уровне для того, чтобы Вы могли экспериментировать при работе, как сами считаете нужным.
Представьте, если мы могли бы просто создать несколько кадров, которые автоматически вычисляются на двух смежных периодах и «угадать», где вещи должны быть в качестве промежуточного шага. Это оценка того, где вещи находятся в двух периодах, мы называем интерполяцией движения. Интерполяция в основном означает: «посчитать, сколько должно быть между». Так интерполяция движения направлена на то, чтобы с помощью фактического движения объектов в кадре мы получали промежуточную информацию об объекте, которую можно использовать между двумя оригинальными кадрами, чтобы создать более плавную анимацию.
Пример, Twixtor’a в действии.
Теперь вы знаете, как работает интерполяция. Давайте перейдем к некоторым техническим аспектам съемки аниме, чтобы разобраться с фактической реализацией.
Какого рода сцены хорошо работают с Twixtor?
Я разочарую вас и скажу вам, что на самом деле Twixtor практически невозможно использовать в большинстве всех аниме-сцен. Аниме анимируется с низкой частотой кадров (как мы скоро увидим), а иногда просто плохо анимируется или слишком быстро, поэтому для любого алгоритма быстро становится очень сложно отслеживать фактическое движение объектов в сцене. Если вы планируете снять целое видео только с интерполированными сценами, вам нужно подготовиться к тому, что вы будете сильно ограничены в выборе сцен.
Поэтому, если вы часто используете Twixtor, очень важно понимать, какие сцены были бы невозможны или просто не рациональны по времени. Поэтому давайте попробуем понять, что доставляет Twixtor трудности в общих чертах. Следующие ниже примеры должны дать некоторые общие правила относительно того, на что следует обращать внимание, чтобы приблизиться к идеалу интерполяции Twixtor. Я также дам несколько подсказок, как попытаться обработать мёртвые случаи.
1.1 Объекты движутся слишком быстро
По сути, чем больше определенных объектов перемещается от одного кадра к другому, тем хуже будет работать Twixtor. Если объект перемещается через половину экрана за один кадр, Twixtor не сможет его отследить.
Однако: Движущиеся объекты можно легко отследить с помощью функций навигационных масок Twixtor Pro. Иногда они могут довольно быстро заставить ужасные сцены выглядеть нормально.
1.2 Предметы меняют форму или цвет
Если объекты не легко распознать между двумя кадрами, все может очень быстро испортиться. Это часто бывает, когда персонажи поворачиваются, глаза закрываются или что-то мутирует.
К сожалению, во многих плохих случаях вся работа будет бесполезной, и сцену придется отбросить как мусор.
1.3 Объекты перемещаются впереди других объектов / выходят за пределы кадра
Если некоторые движущиеся части визуально закрывают другие движущиеся объекты, Twixtor, оставленный сам по себе, действительно переживает трудные времена. Вы часто будете сталкиваться с этим сценарием обработки клипов, включающих ходьбу, бег, взаимодействующих персонажей и длинные движущиеся волосы, которые так красиво развеваются на ветру.
Мы можем помочь Twixtor в этих случаях, используя слои движения Twixtor Pro. Если есть слишком много сложных пересечений объектов, вы можете довольно быстро исчерпать слои движения, и вам, возможно, придется сделать упрощения или отказаться от сцены.
1.4 Паттерны
Если какой-то движущийся объект имеет узор, распределенный по большей площади, Twixtor запутается в движении объекта. Я сам не очень много экспериментировал с этими сценами, но полагаю, что маски управления движением в Twixtor Pro могут здесь очень помочь.
От этого также часто страдают шевелящиеся волосы. Слои движения также помогут.
1.5 Общая концепция
В общем Twixtor будет работать лучше, если он будет обрабатывать больше кадров для одной анимации. Чем медленнее анимация выполняется по кадрам, тем лучше Twixtor сможет угадать фактическое движение сцены. В явном виде это означает, что сцены, которые уже движутся в замедленном темпе, идеально подходят для интерполяции на еще более медленные скорости.
Аналогично, если сцена плохо анимирована и использует очень мало кадров для большой анимации, вы можете подумать об отказе в самом начале.
Частота кадров анимации и частота кадров видеоряда
Вы, наверное, раньше редактировали AMV, так что, насколько я понимаю, вы знакомы с настоящими кадрами аниме. А теперь предлагаю вам присмотреться к нему.
Прежде всего следует отметить, что практически все аниме изначально рендерятся и кодируются со скоростью 23,976 fps.
Однако на самом деле это не единственная частота кадров, о которой мы должны заботиться. Поскольку мы хотим интерполировать анимацию сцены, нам нужно знать частоту кадров объектов, которые мы действительно хотим иметь в фокусе. Знаете, аниме-аниматоры на самом деле чертовски ленивы и не рисуют новый кадр на каждом визуализированном кадре (это невероятно). Большинство аниме-анимаций на самом деле движутся только со скоростью 12 или 8 fps! В этом легко убедиться, просмотрев отснятый материал кадр за кадром.
Обратите внимание: когда я говорю о 8 или 12 кадрах в секунду, я обычно имею в виду 23,976 / 3 fps или 23,976 / 2 fps. Это, конечно, связано с тем, что мы можем различать только целые кадры, и самое близкое, что мы можем получить к 8 кадрам в секунду в видео с кодировкой 23,976 fps, составляет 23,976 / 3 = 7,992 fps.
С этого момента я буду называть «истинную» частоту кадров, при которой рассматриваемый объект фактически анимируется с «частотой кадров анимации», которая обычно составляет 7,992 (= 23,976 / 3) или 11,988 (= 23,976 / 2) fps, в отличие от «частота кадров видеоряда», которая составляет 23,976 fps.
Возможно, правильная настройка частоты кадров анимации является наиболее важным аспектом, когда мы приступаем к настройке Twixtor. Вам нужно будет установить частоту кадров анимации как «Input: Frame Rate» в Twixtor. Чтобы проиллюстрировать, как это выглядит, когда вы ошиблись в значении, посмотрите эти примеры:
Обратите внимание, что частота кадров анимации не обязательно постоянна в пределах сцены. Это очень важное потенциальное осложнение, с которым мы также научимся справляться.
Шаг 2. Определение частоты кадров анимации
Затем нам нужно определить фактическую частоту кадров анимации (описанную в разделе 1). Для этого мы сначала перемещаем курсор в начало того момента времени, когда наш клип впервые появляется в видеоряде.
Затем сфокусируйтесь на объекте в сцене, на котором должна сосредоточиться интерполяция, и используйте сочетания клавиш page-down или ctrl + right-arrow (стрелка в право) для перехода на отдельные кадры. Подсчитайте количество необработанных кадров, которые дублируются до следующего обновления фрейма. Обычно это должно быть только 1–4 необработанных кадра для каждого нового кадра анимации. Другими словами, просматривая все необработанные кадры клипа, (только) каждый 1-й, 2-й, 3-й или 4-й кадр, объект должен отображаться перерисованным. Обычно это число постоянно, но если вам не повезет, оно может измениться и в середине клипа.
Иногда другие части клипа, такие как движущийся фон или другие персонажи, перемещаются с разной частотой кадров. Убедитесь, что они вас не запутают. Вам следует сосредоточиться только на том, перерисовывается ли ваш персонаж, на котором вы сосредоточены.
Надеюсь, частота кадров анимации для вашего клипа постоянна. Но чтобы быть уверенным, нужно проверить весь клип. Если частота кадров изменится, что может произойти (в серии Monogatari это случается довольно часто), нам нужно будет подстроиться под это.
Шаг 3: В случае постоянной частоты кадров анимации
Если частота кадров анимации постоянна, вам повезло. Теперь вы можете применить Twixtor к отснятому материалу. Если вы планируете использовать расширенные меры для устранения артефактов Twixtor, вместо этого примените Twixtor Pro.
Теперь самый важный параметр, который нужно изменить в свойствах Twixtor, - «Input: Frame Rate». Установите частоту кадров анимации, которую вы определили на предыдущем шаге. Вы можете ввести «23,976 / 2» или «23,976 / 3», и результирующая частота кадров будет совершенно точной (AE может вычислить символ «разделить на» «/»).
По сути, теперь вы должны закончить эту сцену. Все остальные свойства работают точно так же, как описано в официальном руководстве Twixtor.
Замечание: в случае, если вы хотите, чтобы в фокусе было несколько объектов, которые перемещаются с разной частотой кадров анимации (это, к счастью, случается очень редко), вам необходимо принять дополнительные меры:
Дублируйте слой, включая Twixtor, и установите разные значения «Input: Frame Rate» для обоих экземпляров Twixtor. Затем предварительно скомпонуйте оба слоя по отдельности, переместив все атрибуты в новые композиции. Наконец, примените маски к обеим композициям, чтобы разделить персонажей, которые движутся с разной частотой кадров анимации.
Это может быть неприятно, но работает. Причина, по которой нам снова потребовалось разделить отснятый материал на 2 новых композиции, заключается в том, что Twixtor не уважает маски на исходных слоях, поскольку они используются только для расширенных функций в Twixtor Pro (см. Дальнейшие разделы).
Как сделать Twixtor для аниме в AE
Теперь, когда мы разобрались со всеми необходимыми техническими вещами, мы можем начать делать настоящий Twixtor. Для этого я выложу в своем телеграмм канале и на канал в ютуб туториал о применение этих знаний в After Effects 2020.
Распространенные заблуждения
Я видел, как многие люди объясняли свой способ использования Twixtor, устанавливая скорость вывода Twixtor на очень низкую скорость (например, 10%). Причина в том, что люди думают, что это единственный способ сгенерировать заданное количество интерполированных кадров. Они предполагают, что если бы скорость вывода Twixtor была 100%, замедление c-nested просто привело бы к прерывистому воспроизведению.
Но Twixtor так не работает. Он работает очень динамично.
Поскольку Twixtor поддерживает доли кадров, каждый вообразимый промежуточный кадр уже доступен только путем переназначения времени c-вложенным соответствующим образом. Мы также можем замедлить c-nested, сколько захотим, все равно будет плавно. Причина в том, что AE и Twixtor точно знают, какие доли кадров необходимы, чтобы ваше редактирование в основной композиции было плавным. Может показаться, что это работает как волшебство, но если вы работаете с ним, вы должны начать понимать логику, в которой работают AE и Twixtor (или просто понять, что я объясняю в разделе 3).
Замедленное движение применяется только в основной монтажной композиции!
5.2 Вам не нужно изменять длину композиции
См. Раздел выше. Вам не нужно изменять выходную скорость Twixtor, поэтому изменение длины композиции c-nested также не требуется.
Замедленное движение применяется только в основной монтажной композиции!
5.3 Не существует единого идеального набора настроек Twixtor
Я не думаю, что мне нужно упоминать об этом после того, что я написал выше, но люди иногда думают, что это так. Все настройки Twixtor сделаны для того, чтобы приспособиться к любым сценам. А в аниме могут быть самые разные сцены. Для сложных сцен настройки всегда будут разными.
Однако есть одна настройка, к которой привязано правило, которое всегда необходимо выполнять, чтобы интерполяция работала правильно: вы должны установить правильную частоту кадров ввода в соответствии с частотой кадров анимации сцены (шаг 2). Это очень важно.