Роль ИИ в прогнозировании цен на новые токены. Часть 2.

В предыдущем материале мы не закончили ознакомление с ролью ИИ в анализе данных, а только поговорили о методах работы. Сегодня хочу вам рассказать о применение методов глубокого обучения и нейронных сетей для анализа исторических данных и текущих рыночных условий, и углубиться в саму суть прогнозирования искусственным интеллектом.

Что же такое нейронная сеть? Нейросеть - это математическая формула, алгоритм, которые с похожей функцией отражают человеческий мозг. Она способна обучаться по блокам на примерах уже решенных задач. Модель искусственного нейрона была предложена Уорреном МакКаллоком (Warren McCulloch) и Уолтером Питтсом

Сегодня для обучения глубоких нейронных сетей используется алгоритм обратного распространения ошибки. Для него требуется обучающее множество уже известных ответов с правильными значениями. Принцип его работы: "на первом этапе рассчитывается значение ошибки на выходе нейронной сети, для которого мы знаем правильные ответы. Затем рассчитывается ошибка на входе в выходной слой сети, которая будет использоваться как ошибка на выходе скрытого слоя. Таким способом расчет продолжается до того момента, когда будет известна ошибка на входном слое"

На рисунке, изображен процесс работы нейросети. Если говорить простым языком, то все выглядит до примитивности понятным, но за всем этим стоят математические формулы. Сигнал отдается на входе, далее попадает в скрытую зону, после подбора и сверки правильной информации, ответ появляется на выходе. Обозначил процесс красными стрелками. И именно способности модели возвращаться в скрытый слой позволяет анализировать исторические данные.

Функция помнить, появилась в момент добавления в цепочку "вентиля забвения", который находится в скрытой зоне и при возвращение "веса-информации", обращается уже к сохраненным данным. Благодаря такой способности алгоритмы научились анализировать рыночные котировки и давать прогнозы на основе уже имеющейся информации.

Согласно выводам мета-исследованиям статей по финансовому прогнозированию, RNN являются наиболее популярными моделями среди исследователей в этой сфере.

RNN (Recurrent neural network) – вид нейронной сети, который хорошо подходит для задач обработки последовательностей данных, начиная от обработки естественного языка до прогнозирования временных рядов.

Отслеживание социальных сетей.

Помимо технического расклада на анализ паттернов и прогнозирование рынка, ИИ также следит за другим сектором - это социальное поведение людей. Отслеживание по заданным параметрам настроения общества в криптосфере, то есть посты в X, Instagram, Telegram и других мессенджерах.

Почему это так важно? Так как рынок состоит не только из больших игроков, но и огромной части простых энтузиастов, важно учитывать настроения, которые формируются в фокус группах. Публичная составляющая любого проекта это равно инвестиции со стороны крупных компаний и фондов. Капитал - то, на чем выстраиваются все криптопроекты. Также отслеживания новостей и событий в мире на уровне государств, законов, конференций.

Если раньше приходилось просматривать кучу сайтов, тратить много времени на серфинг в соц.сетях на тему последних новостей, что занимало примерно 2-4 часа времени обычного трейдера, теперь делается в течении нескольких минут. Нейросеть по заданным параметрам собирает данные со всех платформ и в краткой выжимке выдает информацию на "блюдичке".

Вместо традиционных методов машинного обучения, таких как наивный байесовский классификатор, деревья решений, метод опорных векторов и логистическая регрессия, все большее внимание привлекают скрытые модели Маркова (Hidden Markov Models, HMM), условные случайные поля (Condition Random Fields, CRF) и нейронные сети. То, о чем говорил выше.

Эти модели анализируют массу данных по определенным запросам:

- собственно токен (Москва, улица и т.п.);
- вид токена: слово, знак препинания, цифро-буквенный комплекс и пр.;
- длину токена;
- является ли началом/концом предложения;
- тег токена, полученный им при разметке. Для токенов-слов дополнительно учитывается:
- способ написания токена: только прописными буквами, только строчными, первая буква заглавная и т. д.;
- лемма, часть речи, значения морфологических признаков;
- состав слова: корни, суффиксы и окончания, типичные для фамилий, названий организаций и других категорий сущностей (ов/ова, ин/ина, гос, гор, мос и др.)

Сегодня мы разобрали немного технической составляющей. Без ее понимания невозможно двигаться дальше и понимать все сферу. Каждый из нас должен быть не экспертом, но понимать базу, иначе дело не пойдет.

Материалы, где можно ознакомиться со всем детальней:

- https://www.hse.ru/data/2017/08/12/1174382135/NLP_and_DA.pdf
- file:///Users/stanislavzybenskij/Downloads/obzor-metodov-obucheniya-glubokih-neyronnyh-setey
- https://www.mathnet.ru/links/41ce80870ec1c58caf11cecb5c560e01/ssi755.pdf