Ваш под Kubernetes постоянно завершается OOMKilled. Вот как SRE на самом деле разбираются в причинах.
Это перевод оригинальной статьи Your Kubernetes Pod Keeps Getting OOMKilled. Here’s How SREs Actually Debug It.
Перевод сделан специально для телеграм-канала Мониторим ИТ. Подписывайтесь! Там еще больше полезных постов о мониторинге.
Практическое руководство по исследованию утечек памяти в Kubernetes с помощью pmap, eBPF и эфемерных контейнеров.
ChatGPTОбычно всё начинается с типового оповещения Kubernetes посреди ночи:
Под получил статус OOMKilled.
Вы открываете Grafana и сразу узнаёте эту картину.
Потребление памяти медленно растёт в течение нескольких часов.
Под аварийно завершается.
Kubernetes завершает процесс.
Контейнер перезапускается.
Затем всё повторяется.
kubectl top podsпоказывает, какой под аварийно завершается.
О том, почему это происходит, команда почти ничего не говорит.
Хуже всего то, что эти цифры часто не имеют никакого смысла.
Судя по показателям, ваш под использует 1 ГБ памяти.
Лимит составляет 1,5 ГБ.
Kubernetes всё равно завершает его.
В прежнем мире Linux отладить это было легко:
Подключиться к машине по SSH.
Запустить top.
Исследовать память с помощью pmap.
Найти утечку.
Но современная инфраструктура изменила правила.
Теперь ваше приложение работает внутри контейнера distroless с жёсткими ограничениями, без оболочки, без инструментов отладки и без возможности исследовать происходящее внутри процесса.
Так как же отладить утечку памяти в среде, спроектированной так, чтобы исключить отладку?
В этом руководстве подробно рассматриваются конкретные методы, которые SRE используют для исследования утечек памяти в Kubernetes с помощью внутренних механизмов Linux, pmap, smem, эфемерных контейнеров и eBPF.
🚪 1. Современное препятствие: как попасть внутрь с помощью эфемерных контейнеров
Если вы подозреваете утечку памяти, а ваше приложение работает в минимальном или бездистрибутивном образе, ваша первая попытка закончится ошибкой:
$ kubectl exec -it my-leaky-pod -- bash error: Internal error occurred: error executing command in container: failed to exec in container: failed to start exec "bash": executable file not found in $PATH
Вы не можете отладить то, чего не видите.
Современное решение этой проблемы в облачной среде — эфемерные контейнеры (Ephemeral Containers).
Эфемерный контейнер позволяет подключить временную среду отладки к работающему поду Kubernetes без пересборки образа приложения или перезапуска рабочих нагрузок в продакшене.
Что ещё важнее, флаг --target позволяет отладочному контейнеру использовать то же пространство имён процессов, что и целевой контейнер.
Это означает, что вы можете исследовать процессы, использование памяти и поведение системы изнутри, даже если исходный контейнер полностью построен на distroless.
Другими словами, вы получаете полностью оснащённую среду для устранения неполадок внутри контейнера, который изначально не был рассчитан на отладку.
Давайте добавим лёгкий набор инструментов BusyBox или Ubuntu в под, в котором происходит сбой:
kubectl debug -it my-leaky-pod \ --image=nicolaka/netshoot \ --target=my-app-container \ --profile=sysadmin
Примечание: образ nicolaka/netshoot известен большим количеством инструментов для отладки сети и системы. Флаг --profile=sysadmin здесь критически важен; без него у вас не будет полномочия SYS_PTRACE, необходимого для запуска pmap с доступом к пространству памяти другого процесса.
Теперь у вас есть оболочка с правами root. Вы «внутри».
🕵️♂️ 2. Шаг 1: определяем подозреваемого с помощью top
Теперь, когда мы используем общее пространство имён процессов, можно запустить наш первый классический инструмент: top.
Поскольку мы находимся внутри контейнера, картина немного отличается от той, которую можно увидеть на физической машине. Обычно вы не увидите тысячи фоновых процессов-демонов.
1. Введите top в отладочной оболочке.
2. Нажмите Shift + M, чтобы отсортировать вывод по использованию памяти (%MEM).
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
1 root 20 0 15.213g 2.144g 15104 S 5.0 13.4 15:23.41 node server.js
42 root 20 0 2500 1400 1200 S 0.0 0.0 0:00.01 shЛовушка PID 1
Обратите внимание: команда, вызывающая проблему (node server.js), выполняется с PID 1.
В Docker и Kubernetes процессу точки входа почти всегда присваивается PID 1. Это крайне важно отметить, поскольку все последующие инструменты будут работать именно с этим идентификатором процесса.
Теперь мы точно знаем, у кого происходит утечка памяти (PID 1), но пока не знаем, какой именно тип памяти утекает.
ChatGPT🗺️ 3. Шаг 2: подробное исследование с помощью pmap
pmap — это сокращение от Process Memory Map («карта памяти процесса»).
Этот инструмент исследует структуры данных ядра, которые отображают виртуальную память на физическую память для заданного процесса.
Чтобы увидеть, какую именно память удерживает PID 1, используем флаг расширенного вывода (-x):
pmap -x 1
Вывод может оказаться сложным для восприятия: тысячи строк с разделяемыми библиотеками, кучей и стеком:
Address Kbytes RSS Dirty Mode Mapping 0000000000400000 4 4 0 r-x-- node 00000000018a4000 116 116 116 rw--- [ anon ] ... 00007f8b90000000 131072 84000 84000 rw--- [ anon ] 00007f8b98000000 131072 120000 120000 rw--- [ anon ] ... total kB: 2450324 2195000 2195000
Что действительно важно в pmap
Вас интересуют только три колонки:
- RSS → Физическая оперативная память, используемая в данный момент
- Dirty → Память, которую нельзя высвободить
- Mapping → То, чему принадлежит память
И одно отображение памяти важнее всего остального:
[ anon ]
Анонимная память обычно означает динамически выделенную память кучи.
Если эти блоки продолжают расти со временем, вы нашли утечку.
Поиск утечки: блоки [ anon ]
При поиске классической утечки памяти приложения (особенно в языках со сборкой мусора или в привязках к C/C++) нужно искать отображения [ anon ] (анонимные).
Анонимная память не связана с файлом на диске; она представляет собой динамически выделенную память (malloc()).
Если вы видите огромный блок [ anon ], содержащий сотни мегабайт Dirty RSS, или если количество блоков [ anon ] стабильно растёт со временем, вы однозначно нашли утечку памяти в куче.
Если [ anon ] продолжает расти, вы нашли утечку.🔄 4. Шаг 3: автоматизация создания дампов и сравнения
Посмотреть на вывод pmap один раз полезно. Наблюдение за ним в течение некоторого времени доказывает наличие утечки.
Вместо того чтобы вводить команду вручную, давайте автоматизируем сохранение дампа памяти каждые 10 секунд в файл внутри нашего отладочного контейнера:
while true; do pmap -x 1 >> /tmp/pmap_dumps.txt; echo "---" >> /tmp/pmap_dumps.txt; sleep 10; done
Через несколько минут можно использовать стандартные инструменты обработки текста Linux, чтобы точно определить, для каких адресов памяти вырос объём RSS.
Другой вариант — сделать два снимка с интервалом в 10 минут:
pmap -x 1 > /tmp/snap1.txt # wait 10 minutes pmap -x 1 > /tmp/snap2.txt diff /tmp/snap1.txt /tmp/snap2.txt
Если diff показывает значительное увеличение блоков [ anon ], у вас есть доказательство утечки памяти приложения на уровне ОС.
🔭 5. За пределами pmap: расширенный набор инструментов
Хотя top и pmap — базовые инструменты, современная платформенная инженерия предлагает более продвинутые инструменты для сложных пограничных случаев.
Ловушка разделяемой памяти и smem
top показывает RSS.
Если несколько подов на узле используют одну и ту же динамически подключаемую библиотеку, метрика RSS учитывает эту память несколько раз, из-за чего под выглядит «тяжелее», чем он есть на самом деле.
Если вы подозреваете, что ошибки расчёта разделяемой памяти приводят к ложным OOM, добавьте smem.
Он рассчитывает PSS (Proportional Set Size — пропорциональный размер резидентной памяти), который корректно распределяет объём разделяемых библиотек между использующими их процессами.
Магия eBPF (BCC memleak.py)
pmap показывает блоки, но не сообщает, где в коде была выделена эта память.
ChatGPTeBPF произвёл революцию в этой области.
Используя инструменты BPF Compiler Collection (BCC), в частности memleak.py, вы можете отслеживать системные вызовы malloc() и free() непосредственно на уровне ядра без дополнительных накладных расходов для приложения.
# Running memleak via an eBPF privileged container /usr/share/bcc/tools/memleak -p 1
Этот инструмент выведет точные трассировки стека в пользовательском пространстве для операций, которые выделили память, но так и не освободили её, указывая разработчикам прямо на ответственную за это строку кода.
Профилирование с учётом языка программирования
В конце концов поиск на уровне ОС должен закончиться, и должен начаться поиск на уровне приложения. Как только вы подтвердили утечку [ anon ], передайте эстафету профилировщикам соответствующего языка:
- Go:
pprof(откройте доступ кnet/http/pprofдля динамического профилирования кучи). - Java:
jcmdили создание дампа кучи.hprofпри OOM. - Node.js: Node Inspector и снимки кучи V8.
Источник истины: cgroups
Если top, pmap и smem запутывают вас в вопросах разделяемых библиотек и различий между RSS и виртуальной памятью, обратитесь напрямую к окончательному источнику истины, который использует kubelet в Kubernetes:
cat /sys/fs/cgroup/memory/memory.usage_in_bytes cat /sys/fs/cgroup/memory/memory.stat
Файл .stat точно покажет, сколько памяти приходится на rss, а сколько — на cache (кэш страниц). Если постоянно растёт значение в строке rss, в вашем приложении происходит утечка памяти.
🏁 Заключение
Kubernetes скрывает инфраструктуру за абстракциями, но когда срабатывает OOMKiller, нужно приоткрыть завесу и исследовать уровень операционной системы.
Освоив эфемерные контейнеры (kubectl debug), вы возвращаете себе возможность использовать базовые инструменты, такие как top и pmap.
Дополняя их инструментом smem для точного расчёта PSS и eBPF для глубокого анализа трассировок стека, ваша платформенная команда переходит от подхода «перезапустить под и надеяться» к точечному реагированию на инциденты.
Какую самую сложную утечку памяти в продакшене вам приходилось отлаживать? Было бы интересно услышать истории из вашей практики.
Если вы работаете с платформами Kubernetes или отладкой в продакшене, подпишитесь, чтобы получать больше подробных материалов о внутренних механизмах Linux, наблюдаемости и инструментах SRE.
Подписывайтесь на телеграм-канал Мониторим ИТ, там еще больше полезной информации о мониторинге!