Grafana and Prometheus form a powerful bundle for real-time monitoring and visualization of metrics. Grafana is a popular tool for creating informative and interactive dashboards that help users visually track performance, logs, and notifications. Prometheus, on the other hand, is an open source monitoring and alerting system designed to collect metrics in highly dynamic environments such as containerized applications.

What we will do

In this article, we'll go step-by-step through how to install Grafana and Prometheus on your system, as well as import a dashboard to track key metrics for your server.

1) Node-exporter

Install node-exporter on the server we want to see on the chart.

. <(wget -qO- https://raw.githubusercontent.com/g7AzaZLO/NodeExporter-autoinstaller/main/NodeExporter-auto-install.sh)

You can verify that everything installed well

sudo journalctl -u exporterd -f

**You can also see a list of metrics that the server gives out

Go to http://<IP_ADDRESS>:9100/metrics , where <IP_ADDRESS> is the ip of our server

2) Prometheus

Install Prometheus on the same or any other server, it serves as a metrics aggregator and we will need it in a single quantity

Download and install

wget https://github.com/prometheus/prometheus/releases/download/v2.28.1/prometheus-2.28.1.linux-amd64.tar.gz && \tar xvf prometheus-2.28.1.linux-amd64.tar.gz && \rm prometheus-2.28.1.linux-amd64.tar.gz && \mv prometheus-2.28.1.linux-amd64 prometheus

Add our server (on which node-exporter is installed) to the target list
Open our Prometheus config for customization

nano $HOME/prometheus/prometheus.yml

Add our node-exporter (ip-server + port) to the targets

Example:

Grant execution rights to our file

chmod +x $HOME/prometheus/prometheus

Create a service file to run at startup

sudo tee /etc/systemd/system/prometheusd.service > /dev/null <<EOF
[Unit]
Description=node_exporter
After=network-online.target
[Service]
User=$USER
ExecStart=$HOME/prometheus/prometheus --config.file="$HOME/prometheus/prometheus.yml" 
Restart=always 
RestartSec=3 
LimitNOFILE=65535 
[Install] 
WantedBy=multi-user.target 
EOF

After that we start the service

sudo systemctl daemon-reload && \sudo systemctl enable prometheusd && \sudo systemctl restart prometheusd

You can check the logs like this

sudo journalctl -u prometheusd -f

You can also check if the target is visible for monitoring (our server with exporter(s)).

Go to the address in the browser:

http://<IP_ADDRESS>:9090/targets

where <IP_ADDRESS> is the IP of the server we just installed prometheus on.

3) Grafana

Grafana serves us for beautiful display of metrics and creation of simple alerts to messengers or mail

Install on any server, in my case the server is the same where Prometheus is located:

sudo apt-get install -y adduser libfontconfig1 && \wget https://dl.grafana.com/oss/release/grafana_8.0.6_amd64.deb && \sudo dpkg -i grafana_8.0.6_amd64.deb

*It is possible to install a newer version

Start and activate the service with graphana

sudo systemctl daemon-reload && \sudo systemctl enable grafana-server && \sudo systemctl restart grafana-server

You can check the logs like this:

sudo journalctl -u grafana-server -f

Finally, log into grafana, the default path is as follows:

http://<IP_ADDRESS>:3000, where <IP_ADDRESS> is the IP of the server we installed grafana on.

login : admin

password : admin

*Make sure you change your password

4) Add DataSource

It is necessary to show the grafana from where to take data for plotting.

In our case it is Prometheus

5) Import and edit graphics

Grafana has its own gallery of dashboards, in our case this one will do:

https://grafana.com/grafana/dashboards/1860-node-exporter-full/

It can be imported by ID or as a whole.

The result is something like this

This is just a basic dashboard for tracking basic server metrics, there are a great number of them and can be easily customized.

In the next part we will talk about alerts and metrics exporter for Autonomys (Subspace)

Grafana и Prometheus образуют мощную связку для мониторинга и визуализации метрик в режиме реального времени. Grafana — это популярный инструмент для создания информативных и интерактивных дашбордов, который помогает пользователям наглядно отслеживать производительность, логи и уведомления. Prometheus, в свою очередь, представляет собой открытую систему мониторинга и алертинга, разработанную для сбора метрик в высокодинамичных средах, таких как контейнеризированные приложения.

Что мы будем делать

В этой статье мы шаг за шагом разберем, как установить Grafana и Prometheus на вашу систему, а также импортировать дашборд для отслеживания ключевых метрик вашего сервера.

1) Node-exporter

Устанавливаем на сервер, который хотим видеть на графике node-exporter

. <(wget -qO- https://raw.githubusercontent.com/g7AzaZLO/NodeExporter-autoinstaller/main/NodeExporter-auto-install.sh)

Можно проверить, что все хорошо установилось
sudo journalctl -u exporterd -f

**Также можно посмотреть список метрик, которые отдает сервер

Зайти по адресу http://<IP_ADDRESS>:9100/metrics , где <IP_ADDRESS> - ip нашего сервера

2) Prometheus

Устанавливаем на этот же или любой другой сервер Prometheus, он служит как агрегатор метрик и понадобится нам в единичном количестве

Скачиваем и устанавливаем

wget https://github.com/prometheus/prometheus/releases/download/v2.28.1/prometheus-2.28.1.linux-amd64.tar.gz && \tar xvf prometheus-2.28.1.linux-amd64.tar.gz && \rm prometheus-2.28.1.linux-amd64.tar.gz && \mv prometheus-2.28.1.linux-amd64 prometheus

Добавляем в список целей наш сервер (на котором установлен node-exporter)
Открываем конфиг нашего Prometheus для настройки

nano $HOME/prometheus/prometheus.yml

Добавляем в таргеты наш node-exporter (ip-server + port)

Пример:

Выдаем права на исполнение нашего файла

chmod +x $HOME/prometheus/prometheus

Создаем сервисный файл для запуска при старте

sudo tee /etc/systemd/system/prometheusd.service > /dev/null <<EOF
[Unit]
Description=node_exporter
After=network-online.target
[Service]
User=$USER
ExecStart=$HOME/prometheus/prometheus --config.file="$HOME/prometheus/prometheus.yml" 
Restart=always 
RestartSec=3 
LimitNOFILE=65535 
[Install] 
WantedBy=multi-user.target 
EOF

После чего запускаем сервис

sudo systemctl daemon-reload && \sudo systemctl enable prometheusd && \sudo systemctl restart prometheusd

Проверять логи можно так
sudo journalctl -u prometheusd -f

Также можно проверить, видна ли цель для мониторинга(наш сервер с экспортером(ми))

Переходим в браузере по адресу:

http://<IP_ADDRESS>:9090/targets

где <IP_ADDRESS> - IP сервера, на который мы только что установили prometheus.

3) Grafana

Графана нам служит для красивого отображения метрик и создания простейших алертов в мессенджеры или на почту

Устанавливаем на любом сервере, в моем случае сервер тот же, где расположен прометеус:

sudo apt-get install -y adduser libfontconfig1 && \wget https://dl.grafana.com/oss/release/grafana_8.0.6_amd64.deb && \sudo dpkg -i grafana_8.0.6_amd64.deb

*можно установить версию свежее

Запускаем и активируем сервис графаной

sudo systemctl daemon-reload && \sudo systemctl enable grafana-server && \sudo systemctl restart grafana-server

Проверить логи можно так:

sudo journalctl -u grafana-server -f

Наконец, заходим в графану, по-умолчанию путь следующий:

http://<IP_ADDRESS>:3000, где <IP_ADDRESS> - IP сервера, на который мы установили grafana.

логин : admin

пароль: admin

*Обязательно смените пароль

4) Добавляем Data Source

Необходимо показать графане, откуда брать данные для построения графиков.

В нашем случае это прометеус

5) Импортируем и редактируем графики

У графаны есть своя галерея дашбордов, в нашем случае подойдет этот:

https://grafana.com/grafana/dashboards/1860-node-exporter-full/

Его можно импортиртировать по ID или целиком

По итогу получаем нечто похожее

Это только базовый дашборд для отслеживания основных метрик сервера, их существует великое множество и легко можно кастомизировать.

В следующей части мы поговорим об алертах и экспортере метрик для Autonomys (Subspace)

The guide consists of 2 parts:

1) Creating a Telegram bot and getting API keys
2) Installing and configuring the bot on your node

1.1) Registering a bot

Send a message to https://t.me/BotFather in telegram

/newbot

Invent description and name(should MUST end with bot) for bot, examples:

abcde_bot or abcdetestBot

Save HTTP API token, generated by BotFather - it will be useful to us

1.2) Getting api_hash for telegram-api-server

When using the standard Telegram server, there are restrictions and timeouts after which the bot may stop responding.

In order for our bot to be stable and available, we will deploy our own telegram-api-server on our node.

Go and log in to the official apps section in the web version

Telegram: https://my.telegram.org

Go to API development tools

Fill in the fields:
App title: any text
Shortname: any text without spaces
Url: any link or IP
Platform: Desktop
Description: any description

Then press Create application.

In case of success (not always the first time, sometimes it gives "ERROR" without a description), we get something like this

Save your api_id и api_hash

This completes the registration of the bot and the application for it.

2.1) Installing the bot on the server

Clone the repo:

git clone https://github.com/mrShakedown/subspace-bot.git

mv ./subspace-bot/* ~/

Make service unit for bot:

nano - text editor in Linux

nano /etc/systemd/system/telegram-bot.service

write there:

[Unit]
Description=Telegram-bot
After=network.target
[Service]
Type=simple
ExecStart=/root/bot.sh
Restart=always
RestartSec=10
[Install]
WantedBy=multi-user.target

To save and exit the editor: CTRL+O, CTRL+X

make script for run bot:

nano /root/bot.sh

write there:

#!/bin/bash
python3 /root/bot.py

Grant right for execution:
chmod +x /root/bot.sh

Edit configuration:

nano /root/config.py

Where:

token = 'YOUR_TOKEN' - token of your bot

data_path = '/dev' - path to track disk usage and alerts

timer = 10 - frequency of checking the stats node and for alerts (in seconds)

admin_id = 123 - Your unique account ID, you can get it from the bot https://t.me/my_id_bot (a person with a different ID will not be able to use your bot)

2.2) Preparing the environment

Install the library for bot https://github.com/eternnoir/pyTelegramBotAPI

apt install python3-pip

pip install pyTelegramBotAPI

Install environment for telegram-api-server (official guide)

cd ~

git clone --recursive https://github.com/tdlib/telegram-bot-api.git

cd telegram-bot-api

mkdir build && cd build/

apt-get install libssl-dev build-essential checkinstall zlib1g-dev cmake openssl ccache gperf -y

Build

cmake -DCMAKE_BUILD_TYPE=Release ..

cmake --build . --target install

Create a service for telegram-api-server

nano /etc/systemd/system/telegram-api.service

Write there:

[Unit]
Description=telegram-api-server
After=network.target
[Service]
Type=simple
ExecStart=telegram-bot-api --api-id=123 --api-hash=123 -p 8080
[Install]
WantedBy=multi-user.target

where:
api-id and api_hash
from your app configuration

and p = free port for your choice (default 8080)

To save and exit from editor: CTRL+O, CTRL+X

Save and run

Update the created services for the bot and api-server

source ~/.bash_profile

let's run

systemctl enable telegram-api.service

systemctl enable telegram-bot.service

systemctl restart telegram-api.service telegram-bot.service

Result:

You have a bot running on the server, to which only you have access, with which you can monitor the state of the node manually (the list of commands in /help)

or automatically (alerts on click /on или /off )

The main list of commands can be obtained from the bot in the chat:
/help - will show actual commands

You can also add your commands directly to bot.py and restart the service

(systemctl restart telegram-bot.service)

As soon as I'm added different features - the guide will be updated (I really want to make shorter installation script)

P.s. I'm not a professional programmer - adequate criticism is not forbidden (fork it ;)

Гайд состоит из 2х частей:

1) Создание бота Telegram и получение API ключей

2) Установка и настрйока бота на вашу ноду

1.1) Регистрируем бота

Пишем в телеграме https://t.me/BotFather в сообщении

/newbot

Придумываем название(произвольно) и имя ( должно ОБЯЗАТЕЛЬНО заканчиваться на bot,
Пример: abcde_bot или abcdetestBot )

Сохраняем HTTP API token, который выдал BotFather, он нам пригодится

1.2) Получаем api_hash для telegram-api-server

При использовании стандартного сервера Telegram ограничения и тайм-ауты, после которых бот может перестать отвечать.

Для того, чтобы наш бот был стабилен и доступен - мы развернем свой собственный telegram-api-server на нашей ноде.

Переходим и авторизовываемся в официальный раздел apps в веб-версии Telegram: https://my.telegram.org

Переходим в раздел API development tools

Заполняем поля:
App title: Любое название на английском языке
Shortname: Любое название английском языке без пробелов
Url: Произвольная ссылка или IP
Platform: Desktop
Description: Придумайте любое описание

После чего нажимаем Create application.

В случае успеха ( не всегда с первого раза, иногда отдает "ОШИБКА" без описания) получаем что-то подобное

Сохраняем себе api_id и api_hash

На это регистрация бота и приложения для него завершена.

2.1) Устанавливаем бота на сервер

Клонируем репозиторий:

git clone https://github.com/mrShakedown/subspace-bot.git

mv ./subspace-bot/* ~/

Создаем сервис для бота:

nano - текстовый редактор

nano /etc/systemd/system/telegram-bot.service

туда вписываем:

[Unit]
Description=Telegram-bot
After=network.target
[Service]
Type=simple
ExecStart=/root/bot.sh
Restart=always
RestartSec=10
[Install]
WantedBy=multi-user.target

Для сохранения и выхода из редактора: CTRL+O, CTRL+X

Создаем скрипт для запуска бота:

nano /root/bot.sh

туда вписываем:

#!/bin/bash
python3 /root/bot.py

Выдаем права на исполнение:
chmod +x /root/bot.sh

Правим конфигурацию:

nano /root/config.py

Где:

token = 'YOUR_TOKEN' - Ваш токен бота

data_path = '/dev' - путь, для отслеживания места

timer = 10 - частота проверки условия для алертов и их отправки (в секундах)

admin_id = 123 - Ваш уникальный ID учетной записи, поолучить можно у бота https://t.me/my_id_bot (человек с другим ID не сможет пользоваться вашим ботом)

2.2) Подготовка окружения

Устанавливаем библиотеку для работы бота https://github.com/eternnoir/pyTelegramBotAPI

apt install python3-pip

pip install pyTelegramBotAPI

Устанавливаем окружение для telegram-api-server (официальное руководство)

cd ~

git clone --recursive https://github.com/tdlib/telegram-bot-api.git

cd telegram-bot-api

mkdir build && cd build/

apt-get install libssl-dev build-essential checkinstall zlib1g-dev cmake openssl ccache gperf -y

Собираем

cmake -DCMAKE_BUILD_TYPE=Release ..

cmake --build . --target install

Создаем сервис для работы telegram-api-server

nano /etc/systemd/system/telegram-api.service

Туда вписываем:

[Unit]
Description=telegram-api-server
After=network.target
[Service]
Type=simple
ExecStart=telegram-bot-api --api-id=123 --api-hash=123 -p 8080
[Install]
WantedBy=multi-user.target

где:
api-id и api_hash
отсюда

и p = порт на ваш выбор, по умолчанию 8080

Для сохранения и выхода из редактора: CTRL+O, CTRL+X

Сохраняем и запускаем

Обновляем созданные сервисы для бота и апи-сервера

source ~/.bash_profile

Запускаем

systemctl enable telegram-api.service

systemctl enable telegram-bot.service

systemctl restart telegram-api.service telegram-bot.service

Итог:

У вас на сервере запущен бот, к которому только вы имеете доступ, с помощью которого можно отслеживать состояние ноды в ручном (список команд в /help)

или автоматически(алерты по нажатию /on или /off )

Основной список команд можно получить у бота в чате:
/help - покажет команды на настоящий момент

Также вы можете добавить свои команду непосредственно в bot.py и перезапустить сервис (systemctl restart telegram-bot.service)

По мере добавления разных фич - гайт будет обновляться ( очень хочется сократить

P.s. я не профессиональный прогер, адекватная критика не возбраняется (fork it)