• Установка
• Настройка Metabase
• Подключение к своей базе данных
• Процесс работы
• Подготовка данных
• Диаграммы
• Дашборд

Установка

Для установки Metabase потребуется Docker.

Введите в терминале (или в консоли) команду:

docker run -d -p 3000:3000 --name metabase metabase/metabase

Подробнее: https://www.metabase.com/start/oss/

Metabase запустится и будет доступна по адресу: http://localhost:3000/

Настройка Metabase

Следуйте шагам и заполняйте поля:

На 3 шаге есть возможность подключить свою базу данных, либо продолжить работу.

Подключение к своей базе данных

Настройка базы данных осуществляется через панель Администрирование -> Базы данных.

Заполните поля для подключения к своей базе данных. Укажите хост:

host.docker.internal

Подробнее о командах и создании БД mysql

В настройках включите загрузку данных CSV в подключенную БД:

Процесс работы

Подготовка данных

Работа выполняется через меню Основное приложение и кнопку Новый.

Здесь вы можете загрузить свои данные. Данные в формате CSV подгрузятся в вашу подключенную БД, если вы это настроили.

После загрузки данные появляются в папке Базы данных и в качестве модели данных. Чтобы добавить вычисляемые поля, сделать приведение типов, объединить таблицы и т.п. требуется создать SQL-запрос.

Таким образом вы создадите таблицу данных и не придется при создании диаграмм осуществлять одни и те же преобразования с с этими данными.

Итоговая таблица автоматически сохраняется в Статистику:

Диаграммы

Для построения диаграммы потребуется сделать запрос к данным.

В запросе выбирается: источник данных в поле Данные.

Далее может быть настроена: фильтрация, соединение таблиц или вычислено поле.

"Суммировать" - это настройка агрегаций и группировок, где уже учитывается фильтрация, созданные поля.

Таких группировок может быть несколько, например, сначала суммируются все транзакции по месяцам, а затем выводится их среднее значение.

Также может быть настроена сортировка по убыванию/возрастанию.

После настройки запроса, нужно нажать на кнопку "Визуализация" внизу страницы.

• Визуализация позволяет выбрать тип диаграммы.
• Шестеренка (настройка) - настроить параметры диаграммы.
• Иконка таблицы снизу по центру - отображает сводную таблицу данных с учетом выбранных группировок и агрегаций.
• Рядом с ней иконка визуализации - отображает диаграмму.
• Редактор - позволяет вернуться на предыдущий шаг настройки запроса к данным.
• Суммировать - добавить дополнительную группировку и агрегацию.

Сохраните визуализацию в папку Наша статистика.

Дашборд

Для создания Дашборда - нажмите кнопку Новый -> Дашборд.

Через кнопку + добавляйте визуализации.

Здесь же вы можете настроить текстовые блоки, ссылки, iframe, разделы, фильтры и задать ширину окна.

Настройка фильтра выполняется следующим образом:

• В поле справа в поле Ярлык вводится название фильтра, указывается его тип.
• Для визуализаций, на которые фильтр должен действовать - выбирается соответствующее поле из данных.

Кросс-фильтрация настраивается для тригерной визуализации через кнопку Поведение при нажатии.

В открывшемся окне справа выбирается "Обновите фильтр дашборда" и ярлык фильтра.

Apache Superset — это платформа с открытым исходным кодом для анализа и визуализации данных. Она позволяет устанавливать соединения с различными источниками данных, создавать наборы данных (datasets), визуализации (графики) и интерактивные панели (дашборды) для представления аналитической информации.

Установка

Установка Apache Superset требует более сложной подготовки, чем просто скачивание архива. Поскольку Superset функционирует как веб-приложение, необходимо развернуть серверную часть. Существуют три основных подхода:

1. Kubernetes
2. PyPI
3. Docker

В данном случае рассматривается установка посредством Docker (на платформе Windows с использованием Docker Desktop и WSL).

Установка WSL и Docker

Для начала вам нужно установить WSL, поскольку Docker Desktop работает с Linux.

• Сочетание клавиш: Win+R
• Ввести cmd и нажать Enter
• wsl --install --web-download
• подождать установку, ввести название подсистемы, пароль

После успешной установки WSL, скачайте Docker Desktop, и убедитесь что во время загрузки установили опцию Use WSL 2 instead of Hyper-V.

Запускаем приложение Docker Desktop. Переходим в настройки:

В настройках включаем интеграцию с Ubuntu:

Загрузка контейнера (Вариант 1)

В данном примере предложена загрузка подготовленного образа Superset стабильной версии 2.1.0 с возможностью динамической настройки файла конфигурации.

Выгрузите репозиторий:

 git clone https://github.com/yupest/superset-course

Измените файл docker-compose.yml. Сгенерируйте секретный ключ через команду: openssl rand -base64 42.

Перейдите в папку superset-course

cd superset-course

И запустите докер

docker-compose up

Такой способ позволит динамически конфигурировать Superset. Вы можете вносить изменения в superset_config.py без изменения основного config.py. И перезагружать контейнер с суперсетом.

Загрузка контейнера (Вариант 2)

После установки Docker Desktop, запустите его и залогиньтесь/зарегистрируйтесь.

Используйте образ Apache Superset с тегом 4a5d978-dev, загруженный из Docker Hub.

• После установки образа запустите его, нажав на кнопку RUN, указав наобходимые параметры: название, порт хоста для доступа к приложению и задать переменную окружения SUPERSET_SECRET_KEY. Сгенерируйте секретный ключ через команду: openssl rand -base64 42.

Загрузка контейнера (Вариант 3)

Клонируйте репозиторий:

git clone https://github.com/apache/superset.git

Перейдите в папку superset.

cd superset

Настройте файлы конфигурации или сам docker файл. После чего запустите приложение Docker и введите команду в wls.

sudo docker-compose -f docker-compose-non-dev.yml up

Подробнее о загрузке и настройке Apache Superset:

• https://www.youtube.com/watch?v=sS-P2OI0fgk
• https://youtu.be/idCgc1tR1d0?si=gOexKDmuUYLPgv9R
• https://youtu.be/V6sVVLrDZUE?si=kLBDCL24XA8f2rLO
• https://superset-bi.ru/apache-superset-building-custom-plugin-visualization-development-guide/
• https://www.rathishkumar.in/2023/07/how-to-install-configure-use-apache-superset-linux.html
• https://datafinder.ru/products/zapusk-dev-sredy-i-razrabotka-prosteyshego-plagina-v-apache-superset

Настройка

После запуска контейнера нужно создать администратора, инициализировать базу данных Superset и выполнить начальную настройку системы.

Перейдите во вкладку containers и откройте созданный контейнер.

Перейдите во вкладку Exec.

В этой консоли напишите следующие команды, друг за другом

superset db upgrade

Во время выполнения команды ниже укажите username и password админа суперсет, например: admin admin.

superset fab create-admin

superset load_examples

superset init

Следует отметить, что существует множество дополнительных параметров конфигурации, флагов и разрешений, которые можно настраивать в конфигурационных файлах. Они преимущественно актуальны для разработчиков или пользователей, которые используют API, настраиваемую стилизацию (CSS), шаблонизаторы и др. Для большинства базовых задач, связанных с созданием дашбордов и визуализаций, достаточно минимальной конфигурации.

После выполнения всех команд открываем Приложение Apache Superset нажав сюда (https://localhost:8088)

Откроется окно в браузере, где нужно войти под учетной записью админа, которого вы создали.

Вы запустили Apache Superset c базой данных примеров, на которой можно протестировать функционал платформы.

Использование

Подключение к данным

• Superset позволяет подключаться к реляционным базам данных, таким как MySQL, PostgreSQL, SQLite, а также к альтернативным источникам, например Google Sheets.
• После настройки соединения необходимо создать dataset (набор данных). Dataset — это сущность, представляющая таблицу данных; в неё можно включать исходные поля, вычисляемые поля и метрики.
• Интерфейс SQL Lab предоставляется для работы через SQL-запросы — можно писать запросы, сохранять их, формировать новые наборы данных на их основе или использовать их для дальнейшей визуализации.

Чтобы сделать возможной загрузку CSV и Excel файлов потребуется подключить свою локальную пустую БД.

Например:

Вместо root может быть другой пользователь и другой пароль.

Запустите mysql:

mysql -u root -p

Просмотр пользователей:

SELECT user FROM mysql.user;

Получить текущего пользователя:

SELECT USER();

Установить пароль пользователю:

SET PASSWORD FOR 'root'@'localhost' = 'MyNewPass';

ИЛИ так:

ALTER USER 'root'@'localhost' IDENTIFIED BY 'MyNewPass';

Получение списка доступных БД:

SHOW DATABASES;

Создать БД:

CREATE DATABASE my_db;

По умолчанию БД имеет порт 3306.

Подключите свою БД в Apache Superset.
Для этого перейдите Setting -> Database Connection

Подключите свою БД через кнопку + Database. Выберите подключение:

Выберите URI-формат или заполните информацию в полях.

URI-формат:

mysql://root:root@host.docker.internal:3306/my_db

Включите возможность загрузки CSV Allow file uploads to database.

Теперь загрузка файлов станет возможной.

Создание визуализаций (графиков)

• Superset поддерживает около 60+ видов визуализаций (графиков).

• В большинстве визуализаций требуются следующие элементы:
• X-axis (ось X) — одна колонка данных
• Metrics — одна или несколько колонок, определяющих метрики (ось Y или аналогичные показатели)
• Dimensions — поля, определяющие разбивку данных (например, группировка)
• Filters — фильтры для ограничения или отбора данных
• В зависимости от типа визуализации могут быть разные требования. Например, круговая диаграмма может требовать меньше обязательных полей, а диаграмма типа «пузырь» (Bubble Chart) может требовать указания осей X и Y, размеров точек и прочего.

Кастомизация визуализаций

• Встроенный интерфейс позволяет настраивать визуальные аспекты: размер и стиль текста, подписи, маркеры, взаимодействие (например, возможность масштабирования по оси X), а также другие элементы представления.
• После внесения изменений необходимо запускать действие «обновить график» (update chart), чтобы они вступили в силу.

Создание дашборда

• После создания визуализаций пользователь может собрать дашборд посредством перетаскивания объектов (графиков) и размещения их на панели.
• В настройках дашборда можно изменить его название, цветовую схему, права доступа пользователей, а также URL.
• Для детальной стилизации элементов дашборда часто требуется использование CSS. Это предоставляет гибкость, однако усложняет некоторые задачи, которые в других платформах реализованы более прямо (например, изменение цвета отдельных элементов, рамок и др.).

Дополнительные возможности

• Superset поддерживает экспорт и импорт объектов (дашбордов, визуализаций). Однако эффективность этих функций ограничена: во многих случаях они работают корректно лишь внутри одной инстанции Superset, поскольку экспорт/импорт строится на идентификаторах (ID), которые могут изменяться в зависимости от конфигурации и других зависимостей.
• Система ролей и прав доступа позволяет разграничивать возможности пользователей. Для администратора также доступна система логов, фиксирующая действия в системе.
• Superset - платформа с открытым исходным кодом, благодаря чему разработчики могут добавлять свои виды графиков и диаграмм.

Преимущества и недостатки

Преимущества

1. Открытый исходный код и бесплатный доступ.
2. Возможность работы локально / без постоянного подключения к интернету.
3. Повышенный уровень безопасности при правильной настройке.
4. Поддержка командной работы: ролей, прав, разграничения доступа.

Недостатки

1. Установка и первоначальная настройка могут быть сложными для начинающих пользователей.
2. Настройки кастомизации иногда непросты, особенно для нестандартных визуализаций или дизайнов.
3. Некоторые функции требовательны к знаниям CSS или другим техническим аспектам, что может быть препятствием.
4. Ограниченные возможности для распространения результатов (дашбордов) внешним пользователям вне системы — без дополнительных настроек.