RNN и LSTM. Как научить нейросеть "помнить" прошлое рынка.
В прошлый раз мы открыли наш ящик с AI-инструментами. Сегодня мы достаем из него самый важный и проверенный временем инструмент для анализа финансовых рынков — Рекуррентные Нейронные Сети (RNN) и их продвинутую версию LSTM.
Проблема: Амнeзия простых сетей
Представьте простую нейросеть (FFNN). Если показать ей график цены, для нее каждая свеча — это отдельное, не связанное с другими событие. Она не понимает, что текущая цена в $70,000 — это результат долгого роста, а не случайное число. У нее нет понятия контекста и времени. Она страдает от тотальной амнезии.
Для анализа последовательностей, будь то текст или рыночный график, нам нужна сеть, которая умеет "помнить".
Решение 1: RNN — Память на стикере
Рекуррентная нейросеть решает эту проблему гениально и просто. На каждом шаге, анализируя новую свечу, она не только выдает результат, но и оставляет сама себе "записку на стикере" — небольшой вектор чисел, называемый скрытым состоянием (hidden state).
На следующем шаге, анализируя уже следующую свечу, она смотрит не только на нее, но и на эту "записку" из прошлого. Таким образом, у нее появляется кратковременная память. Она "помнит", что было на предыдущем шаге.
Новая проблема: Короткая память
"Память на стикере" очень коротка. Представьте, что вы читаете длинный абзац. К концу абзаца вы уже с трудом помните первое слово. То же самое и с RNN. Через 15-20 шагов (свечей) информация из начала последовательности практически полностью "выцветает" из-за математических особенностей процесса обучения (проблема "затухающих градиентов"). Сеть помнит, что было 10 свечей назад, но почти не помнит, что было 100 свечей назад. А для рынка это критично.
Решение 2: LSTM — Идеальный архивариус
И здесь на сцену выходит герой нашей истории — LSTM (Long Short-Term Memory, Долгая Краткосрочная Память). Это особый, усложненный тип RNN-ячейки, который был специально спроектирован для борьбы с "амнезией".
Представьте LSTM-ячейку не как стикер, а как умного архивариуса со сложной системой картотеки. У него есть три ключевых механизма, или "вентиля" (gates):
- Вентиль Забвения (Forget Gate): Первым делом, получив новую информацию (новую свечу), архивариус смотрит на свою картотеку и решает, что из старой информации больше не актуально. "Резкий скачок цены три дня назад? Рынок его уже отыграл, этот факт больше не влияет на текущую ситуацию. Выбрасываем эту карточку."
- Вентиль Ввода (Input Gate): Затем он анализирует новую информацию и решает, что из нее достаточно важно, чтобы занести в долгосрочную память. "Ого, объем торгов вырос в 5 раз на этой свече, а цена пробила важный уровень! Это критически важно. Записываем на новую карточку и кладем в архив."
- Вентиль Вывода (Output Gate): Наконец, на основе новой информации и обновленного архива, он решает, какую именно часть своей памяти использовать для принятия решения (предсказания) прямо сейчас. "Для текущего прогноза мне важен факт пробоя уровня и вчерашняя новость, а вот данные за прошлый месяц сейчас не нужны."
Благодаря этой сложной системе LSTM может хранить важную информацию на протяжении тысяч шагов, эффективно запоминая ключевые события прошлого и используя их для анализа настоящего.
Представьте, что вы даете своему гениальному архивариусу (LSTM) книгу по истории рынка, в которой вырваны целые главы. Сможет ли он сделать правильные выводы? Конечно, нет.
Для LSTM-сети разрыв в данных на несколько часов — это как амнезия для человека. Это ломает причинно-следственные связи и делает обучение осмысленным долгосрочным зависимостям невозможным. LSTM может раскрыть свой потенциал, только если она видит непрерывный, чистый и полный "кинофильм" рыночной истории. Именно такой "фильм" без вырезанных сцен и помех предоставляет Chronostream.
LSTM — это невероятно мощный инструмент. Но он все еще "читает" рынок последовательно, свеча за свечой. А что, если бы сеть могла мгновенно посмотреть на всю историю сразу и понять, какие события, даже разделенные тысячами свечей, влияют друг на друга? Это под силу следующему поколению сетей — Трансформерам. О них и поговорим в следующий раз.