Инструмент для сбора и экспорта метрик 3X-UI

Представляю вашему вниманию 3X-UI Metrics Exporter — удобный и гибкий инструмент для сбора и экспорта метрик в Prometheus.
Экспортер был написан мною как небольшая пародия на уже имеющийся https://github.com/kutovoys/marzban-exporter, тем не менее, аналогов для своих нужд на просторах Github я не обнаружил.

Инструмент обязательно нужен для тех, кому важно анализировать тенденцию использования продуктов, иметь представление о текущей нагрузке в виде пользователей, а так-же своевременно и оперативно реагировать на аномалии в работе сервиса.
3X-UI Metrics Exporter предотставлят функционал для отслеживания количества пользователей, активность пользователей, потребление трафика, общую нагрузку на сервер + немного системной информации для общего понимания.

Установка и настройка

Установка 3X-UI Metrics Exporter предельно проста. Для удобства, я подготовил несколько вариантов по установке:

• Ручная установка
• Автоматическая установка + системный процесс
• Docker Image

В целом не вижу смысла рассказывать про каждый вид установки отдельно, о конфигурации и параметрах запуска можно прочитать в репо проекта https://github.com/hteppl/3x-ui-exporter. Далее я рассмотрю автоматическую установку и базовые настройки конфига.

Автоматическая установка

Для автоматической установки будем пользоваться командой из репо проекта:

bash <(curl -fsSL raw.githubusercontent.com/hteppl/3x-ui-exporter/main/install.sh)

Инсталлер сам в состоянии определить ваш Linux дистрибутив и загрузить нужную версию исполняемого файла вместе с конфигом, далее последуют наводящие вопросы про URL панели, порт и пароль для входа:

После завершения настройки, экспортер само собой стоит проверить на работоспособность. Сначала проверяем процесс:

systemctl status x-ui-exporter.service

Далее идем по адресу: http://<айпи-вашей-машины>:9090/metrics
И убеждаемся что страница открывается, а в самом низу есть данные, подписанные префиксом x_ui.

На данном этапе можно сказать, что базовая настройка метрик завершена, но я бы все-таки советовал или закрыть порт метрик (9090 по умолчанию) через доступ по айпи, или настроить базовую авторизацию на странице. Подробнее можно прочитать в репо проекта.

Интеграция и выгрузка в Prometheus

Опять-же, не буду рассказывать как ставить Prometheus и делать его настройку, статья немного не об этом. Для получения данных метрик достаточно отредактировать конфиг prometheus.yml и найти блок scrape_configs

scrape_configs:
  - job_name: "x-ui_exporter"
    static_configs:
      - targets: [ "<exporter-ip-1>:9090" ]
        labels:  
          name: "my_server_1"
      - targets: [ "<exporter-ip-2>:9090" ]
        labels:  
          name: "my_server_2"

По аналогии можем добавить все сервера, как нам потребуется. После изменения конфига не забудьте перезапустить Prometheus.

Проверить получение данных в Prometheus можно на странице
http://<prometheus-ip>:9090/targets

Кстати, этот порт тоже совтую закрыть или использовать реверс-прокси, по аналогии с серверами метрик.

Построение графиков Grafana

Если все настроено и работает правильно, то можно приступать к самомому интересному - визуализации получаемых данных в интерактивных дашбордах графаны.

Для своих заказчиков я реализовал несколько дашбордов с графиками, которые визуализируют основные данные, получаемые из метрик:

В данном примере была использована метрика x_ui_total_online_users с различными базовыми агрегирующими функциями, по типу sum или avg_over_time. Так-же ниже собрал распределние пользователей и максимальные значения по параметрам:

Не только онлайн. В данных визуализациях постарался собрать основные данные по серверам одного из крупных проектов (количество серверов немного не сопадает с первым скрином, упала одна выгрузка).

Тут уже используется не только 3X-UI Exporter, а еще и Node Exporter, а кто говорил что данные нельзя собирать сразу с нескольких экспортеров?

Нижняя часть на фото - те самые метрики 3X-UI Exporter.

Это опять-же небольшое смешение экспортеров, данные по нескольким метрикам можно использовать в 1 визуализации.

Итоги

3X-UI Metrics Exporter — по моему мнению, достаточно удобный инструмент для сбора метрик, позволяющий мониторить активность пользователей и нагрузку на сервер. Установка достаточно простая даже для обычных пользователей, а так-же доступка в нескольких вариантах, включая автоматическую настройку. Интеграция с Prometheus выполняется через стандартную конфигурацию, а визуализацию данных можно построить где угодно, даже не обязательно в Grafana.

🥕 Связаться со мной: @morkowka_22
Могу помочь построить такие-же или подобные графики под ваши нужды.

Кстати, лично от себя рекомендую использовать сервера TimeWeb Cloud, достаточно приличная контора, которая показала себя с лучшей стороны за несколько лет использования.

Поддержать автора

https://pay.cloudtips.ru/p/32741af9

Кому это действительно нужно

• Тем, чьи панели или конечные сервера расположены у крупных Европейских или Американских хостеров, которые исполняют законы ЕС или США насчет авторских прав.
• Тем, кто хочет огранчить черезмерное потребление трафика в рамках пользования вашими услугами.

Тут стоит внести небольшую помарку: ядро Xray, и собственно сама панель 3X-UI — не в состоянии на 100% противостоять использованию протокола BitTorrent через внутренние методы ограничения, так как часть трафика не распознается как P2P-соединения.

Один из рассмотренных мною вариантов решения проблемы использования протокола BitTorrent — ограничение доступа пользователей к серверу посредствам временной блокировки адреса пользователя на машине.

Сервис блокировки

На просторах GitHub был найден небольшой сервис на Go, позволяющий читать логи панелей Marzban и 3X-UI, чтобы при единичном упоминании использования торрентов, отправлять пользователей подумать над своим поведением.
https://github.com/kutovoys/xray-torrent-blocker

Сам сервис устроен достаточно просто: читаем логи в онлайне, баним негодных на заданное в конфиге время, при этом получая уведомления в Telegram.

Настройка панели

Настройка для Marzban имеется уже в самом README проекта, поэтому перейдем сразу к 3X-UI:

• Заходим в панель, далее переходим во вкладку Xray Configs из меню слева.
• Вкладка Basics, включаем логирование Access Log, для своих нужд я так-же включил Error Log, но это не обязательно.

• Далее, в этом же окне переходим во вкладку Outbounds, создаем Outbound по протоколу blackhole с названием torrent, TORRENT или как-то иначе(это лишь эстетика, у меня не красивый вариант с заглавными).

• После создания Outbound переходим во вкладку Routing Rules. При базовой настройке правило будет 3 по счету, а так ищем правило, где протокол указан как bittorrent и назначаем ему наш созданный тег.

На этом настройка панели окончена, сохраняемся и перезапускаем Xray кнопками вверху страницы.

Установка Xray Torrent Blocker

Для автоматической установки приложения выполните следующие шаги:

• Запустите скрипт установки: bash <(curl -fsSL git.new/install)
• Скрипт автоматически установит все зависимости, скачает последний релиз, спросит Token и Chat ID администратора и запустит сервис.
• После завершения установки приложение можно контролировать через systemd: systemctl start/status/stop tblocker

Настройка конфига Xray Torrent Blocker

Настройка конфига для Marzban опять-же уже итак имеется в самом проекте изначально, поэтому перейдем к настройке для 3X-UI:

• Настройку LogFile меняем на "/usr/local/x-ui/access.log"
• Настройку TorrentTag ставим такую, как указывали в панели, в нашем случае: "TORRENT"
• Настройку UsernameRegex на "email: (\\S+)"

На этом отличия от основной версии закончены, можем донастраивать конфиг, в частности пункты: BlockDuration, BlockMode (при использовании ufw настройте его по гайду из самого README проекта), SendAdminMessage, AdminBotToken и AdminChatID для уведомлений в Telegram.

Ссылка на полный гайд по запуску и установке блокировщика: https://github.com/kutovoys/xray-torrent-blocker/blob/main/README.ru.md

Проверка блокировки

Проверить работу блокировщика тоже достаточно просто, нужно лишь почитать поток лога доступов из панели 3X-UI по определенному email, например:

tail -f /usr/local/x-ui/access.log | grep --line-buffered 'user_email'

Итоги

По своей сути, блокировка конечного пользователя — не самый гуманный, но зато самый эффективный способ избежания проблем с законом, в рамках законодательства конечной локации размещения машины. Подчеркну, что этот способ далеко не является единственным верным и совсем не претендует на логически правильное решение, но тем не менее, с поставленными задачами он справляется.

Кстати, лично от себя рекомендую использовать сервера TimeWeb Cloud, достаточно приличная контора, которая показала себя с лучшей стороны за несколько лет использования.

Поддержать автора

https://pay.cloudtips.ru/p/32741af9