@cameda3

Error. Got exception while starting thread for connection. Error code: 0, message: No thread available

2023-11-16T12:20:01.023Z

Слишком большое количество соединений. Из-за этого сервис не может стартануть.

Данная ошибка лечится перезагрузкой хоста, на котором она встречается.

Полезные запросы по ресурсам к системным таблицам.

2023-11-16T11:16:21.570Z

Примеры запросов.

# Информация по доступной и потребляемой памяти.
SELECT
    metric,
    formatReadableSize(value) AS r_value
FROM system.asynchronous_metrics
WHERE metric LIKE '%Mem%'
ORDER BY value DESC

# Информация о базах и таблицах в кластере.
SELECT
    database,
    table,
    formatReadableSize(sum(data_compressed_bytes) AS size) AS compressed,
    formatReadableSize(sum(data_uncompressed_bytes) AS usize) AS uncompressed,
    round(usize / size, 2) AS compr_rate,
    sum(rows) AS rows,
    count() AS part_count
FROM system.parts
WHERE (active = 1) AND (database LIKE '%') AND (table LIKE '%')
GROUP BY
    database,
    table
ORDER BY size DESC;

Таблица в RO

2023-11-08T13:10:47.385Z

Если таблица в кластере Managed ClickHouse перешла в RO и пользователь не может сам разобраться.

В этом случае помогает перезапуск хоста, на котором данная таблица крутится.

Можно сделать так:

systemctl stop clickhouse-server
systemctl start clickhouse-server

Причин перехода таблицы в RO может быть много и доподлинно выяснить что именно произошло сложно.

Например, это может произойти из-за незавершённой или упавшей операции.

Полезные запросы в ClickHouse

2023-11-02T15:38:46.382Z

Список полезных запросов с описанием того, что делает.

Посмотреть есть ли таблица в базе и число записей в ней.

select count() FROM <table>

Аттач/детач таблицы в БД.

ATTACH TABLE db.table;

DETACH TABLE db.table;

Данные команды выполняются от имени пользователя с админскими привилегиями.

clickhouse-client -u _admin

ClickHouse. Хост не поднимается так как таблица не может приатачиться.

2023-11-01T17:44:48.486Z

Процесс clickhouse-server при этом нормально работает.

Диагностика.

1. Проверяем статус процесса.

systemctl status clickhouse-server

Скорее всего процесс запущен, но на всякий случай.

2. Смотрим логи.

tail -f /var/log/clickhouse-server/clickhouse-server.err.log

В логах будет, какая таблица не может аттачиться и нужно будет запустить ClickHouse без этой таблицы.

Решение.

Для того чтобы загрузить кластер без таблицы создаём редом с файлом таблицы файл .detached. И получится примерно так - test.sql.detached.
Где test.sql - название исходной, глючной таблицы.

touch /var/lib/clickhouse/metadata/default/test.sql.detached

ClickHouse + DBeaver в YC.

2023-09-17T10:05:39.027Z

Основные вехи настройки DBeaver для работы с ClickHouse в YC.

Необходимо использовать порт 8443 для подключения к кластеру;
Для соединения используется SSL. Также необходимо указать путь к корневому сертификату (скачивается из UI облака при нажатии на кнопку "Подключение"). Вкладка SSL;
Driver Properties->cli_config_file. Указываем путь ~/.clickhouse-client/config.xml
Используется jdbc драйвер для подключения.

Выгрузка логов с помощью запроса

2023-09-17T07:56:40.289Z

config-file подготовили ранее в статье Create cluster.

Он скачивается в каталог ~/.clickhouse-client

mkdir --parents ~/.clickhouse-client && \
wget "https://storage.yandexcloud.net/doc-files/clickhouse-client.conf.example" \
  --output-document ~/.clickhouse-client/config.xml

# Приводим конфиг к следующему виду:
<config>
    <host>rc1a-rgknpqqdjurmmi45.mdb.yandexcloud.net</host>
    <user>admin</user>
    <password>nfkbfy12</password>
    <secure>true</secure>
    <openSSL>
    <client>
        <loadDefaultCAFile>true</loadDefaultCAFile>
        <caConfig>/usr/local/share/ca-certificates/Yandex/YandexInternalRootCA.crt</caConfig>
        <cacheSessions>true</cacheSessions>
        <disableProtocols>sslv2,sslv3</disableProtocols>
        <preferServerCiphers>true</preferServerCiphers>
        <invalidCertificateHandler>
        <name>RejectCertificateHandler</name>
        </invalidCertificateHandler>
    </client>
    </openSSL>
</config>

clickhouse-client --config-file config.xml -n\
  --format=TSV -q "SET send_logs_level = 'trace'; SELECT * FROM system.settings LIMIT 2;" > result.tsv 2>&1

Уровни логирования.

trace
debug
information
warning
error

Системные запросы в ClickHouse

2023-09-16T21:07:39.789Z

Запросы для получения системной информации.

Информация о кластере.

SELECT * FROM system.clusters\G

здесь \G - выводит информацию в вертикальном формате.

Изменение конфигурации кластера в Managed ClickHouse in YC

2023-09-16T16:29:42.192Z

Полезные примеры.

Установка БД по-умолчанию.

yc clickhouse cluster update-config --id <cluster_id> --set default_database=<db_name> --async

Установка таймзоны UTC.

yc clickhouse cluster update-config --id <cluster_id> --set timezone=UTC --async

Движки БД

2023-09-16T15:51:22.161Z

Atomic, Lazy, Replicated, MySQL, PostgreSQL, SQLite.

Atomic.

Используется по-умолчанию.

Поддерживает неблокирующие запросы DROP TABLE и RENAME TABLE и атомарные запросы EXCHANGE TABLES. Движок Atomic используется по умолчанию.

CREATE DATABASE test [ENGINE = Atomic];

Каждая таблица в базе данных Atomic имеет уникальный UUID и хранит данные в папке /clickhouse_path/store/xxx/xxxyyyyy-yyyy-yyyy-yyyy-yyyyyyyyyyyy/, где xxxyyyyy-yyyy-yyyy-yyyy-yyyyyyyyyyyy - это UUID таблицы.

Replicated.

Движок основан на движке Atomic. Он поддерживает репликацию метаданных через журнал DDL, записываемый в ZooKeeper и выполняемый на всех репликах для данной базы данных.

На одном сервере ClickHouse может одновременно работать и обновляться несколько реплицированных баз данных. Но не может существовать нескольких реплик одной и той же реплицированной базы данных.

CREATE DATABASE testdb ENGINE = Replicated('zoo_path', 'shard_name', 'replica_name') [SETTINGS ...]

Lazy.

Сохраняет таблицы только в оперативной памяти expiration_time_in_seconds через несколько секунд после последнего доступа. Может использоваться только с таблицами *Log.

Он оптимизирован для хранения множества небольших таблиц *Log, для которых обычно существует большой временной интервал между обращениями.

CREATE DATABASE testlazy ENGINE = Lazy(expiration_time_in_seconds);

PostgreSQL.

Позволяет подключаться к БД на удаленном сервере PostgreSQL. Поддерживает операции чтения и записи (запросы SELECT и INSERT) для обмена данными между ClickHouse и PostgreSQL.

Позволяет в реальном времени получать от удаленного сервера PostgreSQL информацию о таблицах БД и их структуре с помощью запросов SHOW TABLES и DESCRIBE TABLE.

Поддерживает операции изменения структуры таблиц (ALTER TABLE ... ADD|DROP COLUMN). Если параметр use_table_cache (см. ниже раздел Параметры движка) установлен в значение 1, структура таблицы кешируется, и изменения в структуре не отслеживаются, но будут обновлены, если выполнить команды DETACH и ATTACH.

CREATE DATABASE test_database
ENGINE = PostgreSQL('host:port', 'database', 'user', 'password'[, `schema`, `use_table_cache`]);

Полезные ссылки.

Atomic: https://clickhouse.com/docs/ru/engines/database-engines/atomic

Lazy: https://clickhouse.com/docs/ru/engines/database-engines/lazy

PostgreSQL: https://clickhouse.com/docs/ru/engines/database-engines/postgresql

MySQL: https://clickhouse.com/docs/ru/engines/database-engines/mysql

Replicated: https://clickhouse.com/docs/ru/engines/database-engines/replicated