Работаем с Apache Kafka

Задание:
- Создать топик с 2-5 партициями
- Отправить в каждую партицию 1-3 сообщений
- Перейти на дэшборд Grafana и посмотреть результат

Ссылка на Kafka UI: https://sa-foundation.duckdns.org:8443/kafka/
Ссылка на Grafana Dashboard: https://sa-foundation.duckdns.org:8443/grafana/

Создать топик

1) Перейти на вкладку с топиками и нажать "Add a Topic"

2) Указать требуемые параметры и создать топик. Можете поэкспериментировать с опциональными параметрами (Custom parameters на скриншоте).

Topic Name: Название топика.

Number of Partitions: Количество партиций.

Cleanup Policy: Политика очистки. Этот параметр контролирует, как Kafka будет управлять старыми сообщениями в топике.
Возможные значения:
Delete — старые сообщения будут удаляться после достижения установленного времени хранения.
Compact — сообщения, имеющие одинаковые ключи, будут объединяться, а старые данные с теми же ключами удаляться.

Min In Sync Replicas: Минимальное количество реплик в синхронизации.
Этот параметр задаёт минимальное количество реплик, которые должны быть в синхронном состоянии для того, чтобы можно было записать сообщение. Если реплик в синхронизации меньше, запись будет отклонена.

Replication Factor: Фактор репликации. Количество реплик топика.
В данном случае его нужно установить, чтобы определить, сколько копий данных будет храниться в кластере Kafka. Обычно устанавливается на 2 или 3 для обеспечения отказоустойчивости.

Time to Retain Data: Время хранения данных в топике. Время указывается в миллисекундах.

Max Size on Disk: Максимальный размер на диске (в ГБ). Этот параметр позволяет ограничить размер топика на диске. Когда топик достигнет указанного размера, старые сообщения начнут удаляться, чтобы освободить место.

Maximum Message Size in Bytes: Максимальный размер одного сообщения в байтах.

Отправить сообщение

1) Перейти на вкладку с топиками и выбрать созданный топик

2) Нажать на Produce message

3) Отправить сообщение

*4) Получить детальную информацию о топике можно в пунктах меню:
- Overviev
- Messages
- Consumers
- Settings
- Statistics

Посмотреть результат в Grafana

Ниже представлен пример отображаемых данных.