Тренды на рынке Big Data и аналитики в 2020 году

Инструменты по анализу больших данных, ИИ и другие технологии применяются в борьбе с пандемией для разных классов задач:

Прогнозирование на ближайшую перспективу, что дает возможность превентивно принять необходимые меры, например, ужесточить или ослабить социальное дистанцирование, изменить правила посещения магазинов и т. п.
С помощью кейса «Яндекс.Карт» можно узнать, много ли человек стоит в очереди в супермаркете: это поможет в соблюдении социальной дистанции.
Оценка готовности системы здравоохранения к лечению пациентов: наличие средств индивидуальной защиты, достаточное количество коек в отделениях интенсивной терапии, ИВЛ и других необходимых ресурсов (совместные проекты SAS и клиник проходят в Италии, Германии и США).
Такие задачи реализует и информационная система для автоматизации деятельности региональных оперативных штабов по борьбе с коронавирусом – она развернута в Воронежской области РФ.
Понимание правительством экономической ситуации и возможных сценариев скорейшего выхода из кризиса, сравнение моделей реагирования (симуляций) и возможных результатов, моделирование тарифных политик, в том числе ОМС и социальных.
Опытная эксплуатация созданная в «Росэлектронике» информационно-аналитической системы, которая помогает управлять регионом в условиях кризиса.
Поддержание непрерывности работы жизненно важных отраслей, к которым помимо здравоохранения и фармацевтики относятся отрасли пищевой промышленности, энергетики, логистики и многие другие, для которых инструменты по оптимизации и прогнозированию зачастую имеют критическую важность. Например, более тщательная оценка изменений в структуре спроса, планировании запасов и доставке продуктов в ритейле.

Подписывайся на наш телеграм-канал

Автоматизация анализа данных

Анализ данных традиционно выполнялся бизнес-аналитиками, которые делились своими выводами с руководителями бизнеса, маркетологами, продакт-менеджерами, руководителями отделов продаж и другими заинтересованными сторонами, предоставляя отчеты, диаграммы и т. д.

Но это слишком медленный процесс в сегодняшних условиях, особенно когда речь идет о потоковых данных в реальном времени. По прогнозу IDC, к 2025 году почти 30% всех генерируемых данных будут анализироваться в реальном времени против 15% в 2017 году.

Аналитика данных всё чаще встраивается в бизнес-процессы, автоматизируя анализ и задействуя аналитический контент, ускоряя принятие решений и сроки их реализации. К 2021 году треть организаций будет использовать анализ данных реального времени в качестве стандартной функции своих BI-систем.

Важным фактором развития этого тренда будет использование искусственного интеллекта и машинного обучения в процессах бизнес-анализа.

Интеллектуальная аналитика

Разработчики ПО анализа данных всегда стремились предоставить возможности своей технологии более широкой аудитории - обычным бизнес-пользователям и всем работающим с информацией.

И это уже происходит благодаря так называемой интеллектуальной (augmented) аналитике. Gartner дает определение интеллектуальной аналитики как использования технологий искусственного интеллекта, машинного обучения и обработки естественного языка для содействия в подготовке данных, понимании и трактовке результатов анализа, то есть в качестве расширения возможностей человека и традиционных способов формирования и использования аналитического контента.

Интеллектуальная аналитика поможет специалистам и обычным сотрудникам, работающим с информацией, автоматизировать многие аспекты изучения данных, а также разработки и использования моделей данных.

Данные как услуга

Организации всё чаще предоставляют доступ к данным и файлам — будь то собственные сотрудники или на коммерческой основе в качестве источника дохода, используя модель как "услуга".

Данные традиционно держались в хранилищах, для доступа к которым служили специальные приложения. Модель «данные-как-услуга», как и SaaS, использует облачную технологию, предоставляя доступ к данным по требованию, откуда угодно и с любого устройства.

Эта модель обеспечит удобный доступ к данным для аналитиков при проведении бизнес-анализа и упростит обмен данными между подразделениями или организациями.

IDC ожидает также, что некоторые компании могут предоставлять клиентам доступ к своим данным через инструменты бизнес-анализа по подписке. По прогнозу IDC, в 2020 году целых 90% крупных корпораций будут получать доход на основе модели данные-как-услуга.

От предиктивной к предписывающей аналитике

Аналитика данных традиционно использовалась для выявления и лучшего понимания того, что происходило раньше, то есть для ретроспективных данных, и потому называлась «описательной». К примеру можно узнать сколько дождевиков продала компания в Небраске в 2018 году в сравнении с 2017 годом. Необходимо сопоставить эти данные с информацией о погоде и даже понять, почему упали продажи.

Более сложные инструменты анализа, получившие широкое распространение в последние годы, дают возможность «прогнозного» анализа. Они позволяют прогнозировать возможный результат принятия тех или иных деловых решений, используя определенные методы статистического моделирования.

Теперь же мы наблюдаем новое поколение инструментов «предписывающего» анализа данных, дающих рекомендации — как следует действовать, исходя из найденных результатов. Инструменты предписывающей аналитики моделируют возможный результат конкретного бизнес-решения, включая в рассмотрение все известные переменные, помогая достичь наилучшего. По прогнозу Ventana Research к 2021 году две трети аналитических процессов будут не только помогать понять что произошло и почему, но и предписывать, как следует действовать.

Предписывающая аналитика часто строится как продолжение автоматизации анализа данных и задействует целый ряд технологий — искусственный интеллект и машинное обучение, вычислительное моделирование, нейронные сети и графовый анализ.

Растущее использование графовых баз данных

Бизнес-аналитики создают всё более сложные запросы к структурированным и неструктурированным данным, часто из нескольких приложений и источников. Выполнение таких сложных запросов в больших масштабах с использованием традиционных инструментов и языков запросов представляет собой очень трудную задачу.

Графовые базы данных и инструменты аналитики и визуализации помогают справиться с этой задачей, показывая связи, существующие между узлами — людьми, локациями и объектами материального мира.

Gartner прогнозирует, что использование графовой обработки и графовых баз данных будет удваиваться ежегодно в последующие несколько лет, что позволит «ускорить подготовку данных и создать более сложные и адаптивные методы анализирования данных».

Фабрика данных

Эта тенденция тесно связана с расширенным управлением данными и позволяет поддерживать гибкие данные в масштабе. Раньше предприятия стремились хранить свои данные в одном хранилище, но теперь они стали более распределенными. Фабрика данных предназначена для данных, которые находятся в изолированных средах (бункерах данных), и реализует архитектуру логического хранилища, которая обеспечивает беспрепятственный доступ и интеграцию данных в гетерогенном хранилище. Gartner прогнозирует, что к 2022 г. проекты фабрик данных будут создаваться под заказ и разворачиваться в виде статической инфраструктуры. Все это приведет к новой волне расходов — предприятиям придется изменить архитектуру данных, чтобы сделать ее более динамичной.

Серверы с энергонезависимой памятью

Спустя несколько лет рынок наполнят серверы с энергонезависимой памятью, которые по сравнению с типичными серверами предоставят больший объем памяти, более доступную производительность и легкость подключения. Некоторые поставщики СУБД переписывают свои системы, чтобы поддерживать серверы с энергонезависимой памятью, которые позволяют анализировать большие массивы данных в памяти в режиме реального времени. К 2021 г. энергонезависимая память будет составлять более 10% от общего объема памяти серверов, используемых для вычислений in-memory.