@it255ru

Что такое инфраструктура как код?

2023-04-25T08:04:34.054Z

Инфраструктура как код (IaC) — это подход к созданию и настройке инфраструктуры аналогичный процессу разработки ПО. То есть продумывается архитектура, прописываются процессы, устанавливается взаимодействие инфраструктурных элементов между собой. Всё это описывается в специальных форматах, предназначенных для описания иерархических систем: yaml, json, xml и аналогичные им форматы.

Философия IaC основывается на принципах «единого источника правды», согласно которому — исполнение одного и тот же кода формирует одну и ту же исполняемую среду. Благодаря такому подходу достигается единообразие элементов инфраструктуры и их ожидаемое поведение, а также идемпотентность, как свойство системы принимать одно и то же состояние при одинаковых условиях вызова.

Ключевое в IaC — это то, что все взаимодействия с инфраструктурой осуществляются через конфигурационные файлы системой, а не системными администраторами или девопсами в ручном режиме. Человеческий фактор максимально исключается из условий взаимодействий с системой.

Из главных преимуществ использования IaC можно отметить следующие:

нет уникальных конфигураций серверов, они не превращаются в «серверы снежинки», а значит нет проблем с их поддержкой и обслуживанием;
тестовые и продакшн среды теперь одинаковы, приложения себя ведут идентично везде;
быстрая доставка и масштабирование приложений из тестовых сред в продакшн.

Сейчас IaC — это одна из доминирующих концепций в DevOps. Она стала так популярна в первую очередь благодаря повышению скорости разработки, тестирования и возможности внедрения непрерывного развертывания (CI/CD). Сама концепция IaC проста и прозрачна, а многие инструменты работы с ней имеют невысокий порог вхождения, например — Ansible (Linux) или Octopus deploy (Windows).

Инфраструктура как код позволяет управлять виртуальными машинами на программном уровне. Это исключает необходимость ручной настройки и обновлений для отдельных компонентов оборудования. Инфраструктура становится чрезвычайно "эластичной", то есть воспроизводимой и масштабируемой. Одни оператор может выполнять развертывание и управление как одной, так и 1000 машинами, используя один и тот же набор кода. Среди гарантированных преимуществ инфраструктуры как кода — скорость, экономичность и уменьшение риска.

Чем больше проектов, тем больше однотипной инфраструктуры приходится поднимать. Поскольку проекты зачастую высоконагруженные, то мы применяем микросервисную архитектуру. Поэтому в одном проекте содержится еще много-много маленьких подпроектов.

Каждое приложение работает в каком-то окружении. Давайте посмотрим, из чего это все состоит. У нас как минимум должна быть операционная система, ее нужно сконфигурировать, есть какие-то сторонние приложения, которые тоже нужно сконфигурировать, само приложение должно получить конфигурации, но чтобы весь продукт заработал, должно запуститься само приложение, которое во всей этой системе функционирует. Есть еще сеть, которую тоже нужно настраивать, но про сеть мы сегодня говорить не будем, потому что у нас разные заказчики, разные сетевые устройства. Мы пытались тоже автоматизировать конфигурирование сети, но поскольку устройства разные, никакого особо толку от этого не было, больше тратили ресурсов на это. Но операционные системы, сторонние приложения и передачу конфигурационных параметров в сами приложения мы автоматизировали.

Два подхода как вы можете конфигурировать сервера:

руками — если вы конфигурируете их руками, у вас соответственно может получиться такая ситуация, что у вас production настроен одним образом, тест другим, на тесте все зеленое, тесты зеленые. Вы деплоите на production, а там не стоит какой-то фреймворк — у вас ничего не работает.
Другой пример: три Application сервера настроены руками. Один Application сервер настроили одним образом, другой Application сервер другим образом. Сервера могут работать по-разному.
Еще пример: была ситуация, когда у нас один Stage сервер полностью перестал работать. Запустили создание нового сервера используя и через 30 сервер был готов.
Еще пример: сервер просто перестал работать. Если настраивали руками, то нужно искать человека, который знает как его настраивать, нужно поднимать документацию. Как мы знаем, документация вряд ли бывает актуальной. Это большие проблемы.
И, самое главное, — это аудит, то есть грубо говоря, у вас есть десять администраторов, каждый из них что-то руками настраивает, то не особо понятно корректно они это настроили или некорректно, и как вообще понять, нужно ли делать какие-то настройки, могли что-то лишнее поставить, открыть какие-то ненужные порты.
Есть альтернативный вариант — это как раз то, про что мы сегодня говорим — это конфигурирование из кода. То есть у нас есть git репозиторий, в котором вся инфраструктура хранится. Там хранятся все скрипты, с помощью которых мы будем это настраивать. Поскольку это все в git, мы получаем все преимущества от управления кодом, как в разработке, то есть мы можем делать ревью, аудит, историю изменений, кто сделал, почему сделал, комментарии, можем откатываться. Чтобы работать с кодом нужно использовать конвейер непрерывной сборки — конвейер развертывания. Чтобы какая-то система именно вносила изменения в сервера, то есть не человек что-то руками делал, а исключительно делала это система.

В качестве системы, которая вносит изменения, мы используем Ansible. Поскольку у нас нет огромного количества серверов, он нам вполне подходит.

Если у вас там 100-200 серверов, то у вас будут небольшие проблемы, потому что он (т.е. Ansible) все-таки соединяется с каждым и по очереди их настраивает — это проблема. Лучше другие средства использовать, которые не пушат (push), а пулят (pull). Но для нашей истории, когда у нас много проектов, но серверов не больше 20 — нам это вполне подходит.

Очень важный момент — если вы катите инфраструктуру через какие-то скрипты, через код, то если у вас все же остаются ручные манипуляции серверами, то это потенциальная уязвимость. Потому что допустим, вы на тестовый сервер поставили java, написали роль ELK, накатили ее. Деплой в тест прошел успешно. Деплоите в production, а там java нет. А java в скрипте вы не указали — деплой в production упал. Поэтому нужно забрать права со всех серверов у администраторов, чтобы они руками туда не залезали и все изменения вносили через git. Весь этот конвейер мы сами проходили. Здесь есть одно но — не надо сильно закручивать гайки. То есть нужно внедрять такой процесс постепенно. Потому что он все еще необкатанный. В нашем случае мы оставили доступ до всех систем у самого главного руководителя администраторов на случай непредвиденных инцидентов. Доступ выдан с условием, что он не будет ничего руками настраивать.

Выводы

Во-первых, мы получили документацию, то есть когда приходит менеджер и меня спрашивает: на каком порту у нас слушает база данных, я открываю Ansible скрипт в git репозитории, говорю: “Вот смотри, вот на таком-то порту”. Какие у нас здесь настройки? Все это видно в git репозитории. Это можно аудировать, показывать менеджерам и так далее. Это 100% достоверная информация. Документация устаревает. А в данном случае ничего не устаревает.

Важный момент, про который мы не говорили. Про него косвенно скажу. Есть команды разработки, которым локально тоже нужно поднимать RabbitMQ, ELK, чтобы протестироварь различные идеи. Если они будут делать руками, то поднятие ELK может занять больше часа. При использовании подхода инфраструктура как код разработчик поднимает виртуалку, нажимает кнопку, и у него устанавливается ELK. Если разработчик сломал ELK, то он может удалиль, запустить снова установку ELK на виртуалку.

Как мы уже говорили, это все дешевле только, когда у вас либо много проектов, либо много сред, либо много машин. Если у вас такого нет, то, соответственно, это не дешевле, это дороже. В нашей перспективе в наших проектах это получилось так, что становится дешевле со временем. Поэтому здесь как плюсы так и минусы.

Быстрое восстановление после аварии. Если вы упали, вам нужно искать человека, который может эту машину настроить, который знает, как ее настроить, который помнит, как ее настроить. В данном случае все настройки и скрипты развертывания находятся в git. Даже если человек уволился, перешел в другой проект — все находится в git, все в комментариях, все видно: почему он открывал такой порт, почему ставил такие-то настройки и так далее. Вы все можете легко восстановить.

Количество ошибок снизилось, потому что у нас появились разные барьеры, локальные среды для отслеживания, для разработки и плюс code review. Это тоже немаловажно, потому что разработчики просматривают то, что они делают. Таким образом, они еще продолжают обучаться. Возросла сложность, потому что это, соответственно, новая система, это конвейеры, людям нужно обучаться. Это не то, что как обычно привыкли: прочитали статью и по статье сделали. Здесь немножко другое. Но тем не менее со временем это достаточно легко осваивается. Если полностью посмотреть на освоение, то это где-то три-четыре месяца.

Kubernetes. Cобеседование

2023-04-25T08:02:14.480Z

https://habr.com/ru/company/southbridge/blog/713884/

Что такое Kubernetes?
Расскажите об основных компонентах kubernetes
Чем полезна оркестровка контейнеров?
Как связаны Kubernetes и Docker?
Что такое node в Kubernetes?
Что такое pod в Kubernetes?
Что такое Kubernetes deployment?
Опишите набор действий необходимых для запуска deployment?
Объясните разницу между pod и deployment
Что такое service?
что такое namespace
что такое controller-manager
какие типы controller-manager вы знаете?(endpoints controller, service accounts controller, namespace controller, node controller, token controller, and replication controller)
для чего etcd в kubernetes?
что такое clusterIP?
что такое NodePort?
что такое kubelet?
что такое kube-proxy?

Какие компоненты мастер-узла (Control Plane) Kubernetes и каково их назначение?
Каковы компоненты рабочего узла (worker node) и их назначение?
В чем разница между Init- и Sidecar-контейнерами?
В чем разница между Deployment и StatefulSet?
Перечислите различные типы сервисов и для чего они используются.

Какие компоненты мастер-узла (Control Plane) Kubernetes и каково их назначение?

компоненты мастер-узла (Control Plane) Kubernetes

Узлы Control Plane Kubernetes являются “мозгом” кластера k8s. Узлы Control Plane управляют pod’ами в кластере и рабочими узлами, которые участвуют в кластере.

Control Plane Kubernetes состоит из четырех компонентов в кластере on-prem и пяти в кластерах cloud/hybrid Kubernetes. Как администраторы кластера, мы хотели бы иметь по крайней мере три узла Control Plane в производственной среде по соображениям отказоустойчивости.

Kube-api-server — API-сервер Kubernetes проверяет и настраивает данные для API-объектов, включая pod’ы, сервисы, контроллеры репликации и другие. API-сервер обслуживает REST-операции и предоставляет фронтэнд для общего состояния кластера, через которое взаимодействуют все остальные компоненты.

Kube-controller-manager — Kubernetes controller manager - демон, который реализует основные контуры управления, поставляемые с Kubernetes. В робототехнике и автоматизации контур управления - это непрерывный контур, регулирующий состояние системы. Примерами контроллеров, которые сегодня поставляются с Kubernetes, являются контроллеры replication, endpoints, namespace и serviceaccounts.

Kube-scheduler — Планировщик Kubernetes - это процесс Control Plane, который назначает pod’ы узлам. Планировщик определяет, какие узлы являются допустимыми местами размещения для каждого pod’а в очереди планирования в соответствии с ограничениями и доступными ресурсами. Затем планировщик ранжирует каждый допустимый узел и привязывает pod к подходящему узлу. Планировщиков может быть несколько.

Etcd — распределенное целостное хранилище ключей и данных с открытым исходным кодом, используемое для совместной конфигурации, обнаружения сервисов и координации планировщика распределенных систем или кластеров машин. В Control Plane Kubernetes Etcd используется для хранения и репликации всех состояний кластера k8s.

Cloud-controller-manager (используется в облачных провайдерах) — Cloud-controller-manager обеспечивает интерфейс между кластером Kubernetes и облачными API-сервисами. Диспетчер облачных контроллеров позволяет кластеру Kubernetes обеспечивать, отслеживать и удалять облачные ресурсы, необходимые для рабочих операций кластера.

В сценарии, при котором большинство узлов Control Plane не работает, кластер не сможет обслуживать API-запросы, поэтому кластер будет недоступен. Хотя, если рабочие узлы исправны, pod’ы будут в рабочем состоянии, но не смогут быть перераспределены.

Каковы компоненты рабочего узла (worker node) и их назначение?

Рабочие узлы (worker nodes) отвечают за размещение прикладных pod’ов в кластере. Хотя прикладные pod’ы можно размещать в узлах Control Plane, наилучшей практикой является размещение pod’ов на рабочих узлах по соображениям безопасности.

Рабочие узлы содержат компоненты, которые позволяют им выполнять запросы Control Plane.

Kube-proxy — kube-proxy отвечает за поддержание сетевых правил на ваших узлах. Сетевые правила позволяют осуществлять сетевую связь с вашими pod’ами как внутри, так и за пределами вашего кластера.

Kubelet — Kubelet является агентом, который запускается на каждом у зле. Он отвечает за создание pod’ов в соответствии с предоставленной спецификацией YAML, отправку на API-сервер состояния работоспособности pod’ов и предоставление информации о состоянии узла, такой как сеть, дисковое пространство и многое другое.

В чем разница между Init- и Sidecar-контейнерами?

Самый простой pod — это pod, состоящий из одного контейнера. Этот контейнер обеспечивает основные функции приложения, но что, если вы хотите расширить существующую функциональность, не изменяя и не усложняя основной контейнер?

По этой причине pod’ы могут включать в себя несколько контейнеров. Существует шаблон проектирования контейнера, который полезен для различных сценариев, но строительные блоки для этих шаблонов проектирования реализуются с помощью Init-контейнера и sidecar-контейнера.

Init-контейнер — всегда запускается перед Sidecar-контейнером и основным контейнером приложения. Init-контейнер должен быть запущен до успешного завершения, прежде чем смогут начать работу остальные контейнеры. Причиной использования Init-контейнера могут быть разнообразные применения. Например, его можно использовать для проверки наличия зависимостей приложения, настройки основной среды или среды контейнера Sidecar-контейнера, а также многого другого.

Sidecar-контейнер — запускается параллельно основному контейнеру приложения. Существуют различные причины для использования сайдкар контейнеров. Например, в Istio Sidecar-контейнер используется в качестве прокси-сервера для управления входящим трафиком на основной контейнер, его также можно использовать для логгирования, целей мониторинга и многого другого.

Пример контейнеров для Istio для инициализации среды и перехвата контейнерного трафика:

apiVersion: v1
kind: Pod
metadata:
name: example
spec:
# init container section where you can setup your init containers
 initContainers:
 - name: istio-init
   image: istio/proxyv2:1.11.2
 containers:
 - name: hello
   image: alpine
# our sidecar container which will intercept the pod network tarffic
 - name: istio-proxy
   image: istio/proxyv2:1.11.2
   volumeMounts:
   - mountPath: /etc/certs
     name: certs
 volumes:
 - name: certs
   secret:
     secretName: istio-certs

В чем разница между Deployment и StatefulSet?

Один из самых распространенных вопросов, с которым мы столкнемся на собеседовании. Чтобы ответить на этот вопрос, нам нужно будет рассмотреть каждый ресурс и понять их различия.

Deployment — является самым простым и наиболее часто используемым ресурсом для развертывания приложений в кластере Kubernetes. Deployment обычно используются для приложений без состояния, что означает, что данные, находящиеся в pod’е, будут удалены вместе с pod’ом. Если мы используем постоянное хранилище с Deployment,, у нас будет одинPersistence volume claim для всех pod’ов, которые принимают участие в развертывании. Deployment порождает ресурс ReplicaSet, через который идут переключения между разными версиями нашего приложения. Pod’ы, принадлежащие Deployment всегда именуются по следующей схеме: <deployment-name>-<replicaset-id>-<pod-id>.

StatefulSet — StatefulSet не использует ReplicaSet в качестве вторичного контроллера, но он управляет pod’ами самостоятельно. Pod’ы StatefulSet’а именуются по следующему шаблону: <Statefulset-name>-0, <Statefulset-name>-1. Соглашение об именовании используется для сетевых идентификаторов и управления обновлением. StatefulSet требует headless-сервис, позволяя обеспечить идентифицкацию в сети и разрешение DNS имен для pod’ов, участвующих в StatefulSet. Каждая реплика в развертывании StatefulSet получает собственную persistent volume clain, так что каждый pod будет иметь свое собственное состояние.

Наконец, эмпирическое правило заключается в том, что приложения без состояния должны разворачиваться через Deployment. Deployment включают в себя другой контроллер, называемый ReplicaSet, для упрощения обновлений и откатов. StatefulSet был создан на основе потребностей сообщества и обычно используется для приложений с состоянием таких как, например, баз данных, где определение других реплик в кластере имеет решающее значение, а обновления должны выполняться корректно.

Перечислите различные типы сервисов и для чего они используются?

Сервис Kubernetes — это логическая абстракция группы pod’ов, выбранных селектором. Service используется для настройки политики, с помощью которой можно получить доступ к нижележащим pod’ам.

В вашем интервью вас, вероятно, спросят о четырех наиболее распространенных типах сервисов, описанными далее:

ClusterIP — ClusterIP является типом сервиса по умолчанию и наиболее распространенным сервисом в экосистеме Kubernetes. Сервис типа ClusterIP имеет внутрикластерный IP-адрес и доступен только в рамках кластера.

LoadBalancer — тип сервиса LoadBalancer используется для обеспечения доступа внешнего трафика путем выделения loadbalancer. Чтобы использовать этот тип сервиса, необходима поддерживающая это платформа, которая сможет распределять loadbalancer. Loadbalancer будет создан асинхронно, и информация о балансировщике нагрузки будет доступна в сервисе только тогда, когда он будет доступен и присвоен сервису. Тип службы loadbalancer также имеет ClusterIP и выделяет NodePort для доступа к сервису.

NodePort — тип сервиса NodePort обычно используется, когда сервису предоставляется доступ к внешнему трафику, а тип Service LoadBalancer недоступен. С типом Service NodePort вы выбираете порт (в пределах допустимого диапазона от 30000 до 32767), который каждый узел в кластере откроет для приема трафика и переадресации на сервис. Тип службы NodePort также имеет ClusterIP, который позволяет сервису быть доступным из кластера.

Headless — тип сервиса Headless используется, когда требуется прямая связь с pod’ом. В приложениях с состоянием, например, баз данных вторичные pod’ы должны напрямую взаимодействовать с первичными pod’ами для репликации данных между репликами. Headless позволяет DNS разрешать pod’ы и получать к ним доступ по имени pod’а. Headless - это сервис, который настроен иным образом, чем ClusterIP и не имеет отдельного внутрикластерного IP адреса. Для доступа к pod’у через Headless-сервис необходимо будет воспользоваться следующим доменным именем: <pod-name>.<service-name>.<namespace>.svc.cluster.local.

Linux. Собеседование

2023-02-16T15:18:41.950Z

Linux. Собеседование

Что такое LA? В каких единицах измеряется?

LA (load average) - параметр, определяющий среднюю нагрузку на систему за период времени (1 мин, 5 минут, 15 минут). Изменяется в количестве задач на одно ядро процессора. На нагрузку системы также влияет количество задач ввода-вывода и задержка сети. Также влияние на расчета LA оказывает:

Технология Hyper-Threading, которая делит одно физическое ядро на 2 логических,
Технология Turbo Bust, которая позволяет разгонять тактовую частоту процессора и работать на частоте выше заявленной, т.е. выше номинальной частоты (время на обработку одной задачи уменьшается).

Что будет если на сервере LA = 200?
Вероятно, что на сервере будет наблюдаться замедленная работа сервисов, но если параметр LA равен количеству ядер в системе или количеству потоков в системе, то данная нагрузка является нормальной.

Почему при высоких показателях значения LA на сервере может не наблюдаться проблем (консоль ssh отзывается, сервисы работают в обычном режиме)?

На параметр нагрузки LA влияет также и ожидание ввода-вывода (параметр wa в утилите top) в дисков и задержка сети. Данные параметры могут не влиять на работу основных сервисов в системе, но учитываются при расчете общей нагрузки на систему.

uptime - load average

We can get the load average from commands like top or uptime.

If load > # of CPUs, it may mean CPU saturation.

$ uptime
 16:48:25 up 32 min,  2 users,  load average: 0.58, 1.13, 2.46

From left to right, these numbers show us the average load over the last 1 minute, the last 5 minutes, and the last 15 minutes. In other words, the above output indicates:

load average over the last 1 minute: 0.58
load average over the last 5 minutes: 1.13
load average over the last 15 minutes: 2.46

Assuming 1 cpu machine, it means:

load average over the last 1 minute: 0.58 => The CPU idled for 42% of the time
load average over the last 5 minutes: 1.13 => .13 processes were waiting for the CPU
load average over the last 15 minutes: 2.46 => On average, 1.46 processes were waiting for the CPU

Actually, if the machine has 2 CPUs, then it would mean:

load average over the last 1 minute: 0.58 => The CPU idled for 142% of the time
load average over the last 5 minutes: 1.13 => .87 processes were waiting for the CPU
load average over the last 15 minutes: 2.46 => On average, 0.46 processes were waiting for the CPU

Что такое системный вызов, какие они бывают?

Системный вызов - обращение программы к ядру операционной системы для выполнения какой-либо операции.

В Unix, Unix-like и других POSIX-совместимых операционных системах популярными системными вызовами являются:
- open,
- read,
- write,
- close,
- wait,
- exec,
- fork,
- exit,
- kill.

Что такое сигнал в Unix, зачем они нужны и разница между 9 и 15 сигналами?

Сигнал - в Unix-like операционных системах - асинхронное (в случайное время) уведомление процесса для обработки какого-либо события. Один из основных способов взаимодействия между процессами.

Посылка сигналов от одного процесса к другому обычно осуществляется при помощи системного вызова *kill*. Его первый параметр – PID процесса, которому посылается сигнал; второй параметр – номер сигнала.
kill(1111, SIGTERM);

Стандарт POSIX определяет 28 сигналов. Некоторые из них:

Что такое inode? Какая информация там хранится?

Inode (индексный дескриптор) - структура данных, в которой хранятся метаданные файла и перечислены блоки с данными файла. Хранит всю информацию, кроме имени файла и данных. Каждый файл в данном каталоге является записью с именем файла и номером индекса. Вся остальная информация о файле извлекается из таблицы индексов путем ссылки на номер индекса. Номера inodes уникальны на уровне раздела. Каждый раздел как собственная таблица индексов. Если у вас закончились inode, вы не можете создавать новые файлы, даже если у вас есть свободное место на данном разделе.

Inodes хранит метаданные о файле, к которому он относится. Эти метаданные содержат всю информацию об указанном файле.
- Размер.
- Разрешение.
- Владелец/группа.
- Расположение жесткого диска.
- Дата/время.
- Любая другая необходимая информация.

Что такое hard link? В чем разница между hard link и soft link? Примеры их практического применения.

Hard link:
Ссылка на файл в файловой системе с использованием такого же inode идентификатора, как у файла, на который ссылаемся.
Создадим файл *realFile*.

touch realFile

Создадим hard link командой `ln <целевой_файл> <файл_ссылка>`:

ln realFile hardLink

Проверим, что inode у файла *realFile* и hard ссылке *hardLink* имеют одинаковый идентификатор.

$ ls -li
итого 0
2359720 -rw-r--r-- 2 rmntrvn rmntrvn 0 апр 25 23:24 hardLink
2359720 -rw-r--r-- 2 rmntrvn rmntrvn 0 апр 25 23:24 realFile

Как видно realFile и hardLink имеют одинаковый идентификатор inode.

Soft link:
Создадим soft ссылку на файл *realFile*.

ln -s realFile softLink

Проверим, что чистовой идентификатор *softLink* отличается от числового идентификатора *realFile*.

$ ls -li
итого 0
2359720 -rw-r--r— 2 rmntrvn rmntrvn 0 апр 25 23:24 hardLink
2359720 -rw-r--r— 2 rmntrvn rmntrvn 0 апр 25 23:24 realFile
2366763 lrwxrwxrwx 1 rmntrvn rmntrvn 8 апр 25 23:29 softLink -> realFile

Некоторые нюансы:
- Soft ссылки используют различные номера inode, чем основные файлы.
- Soft ссылки становятся полезными, если исходный файл был удален.
- Soft ссылки могут быть созданы из каталогов.
- Soft ссылка может быть создана на пересечении файловых систем.

- Hard ссылка может размещаться только на том же логическом разделе, что и оригинальный файл. Это связано с независимой идентификацией файлов на разных разделах.
- Создание жестких ссылок не поддерживается для папок — только для файлов.
- Файловая система должна поддерживать работу с hard ссылками.

What are an Inode and PID?

An inode is a file structure that stores metadata for files in Linux. The metadata includes file size, permissions needed to access the file, user and group ID, creation timestamp, and the path to the file.

An inode number is a unique number or integer given to each file on a Linux system.

$ ls -li ravi.txt 

1594567 -rwxrwxr-x 1 tecmint tecmint 0 Oct 28 10:58 ravi.txt

1594567 is the inode number and the -i flag shows the inode of the ravi.txt file.

A PID (Process ID) is a unique ID given to each running process on a Linux system. We can use the pidof command to find the process ID of any running program.

$ pidof firefox

40982

Какие состояния процессов существуют? Что значит состояние процесса D?

Linux Process is a type of process that can be in a number of different states. The process enters these states from start till end. Process states in Linux are as follows:

New/Ready: In this state, a new process is created and is ready to run.
Running: In this state, the process is being executed.
Blocked/Wait: In this state, the process is waiting for input from the user and if doesn't have resources to run such as memory, file locks, input, then it can remain in a waiting or blocked state.
Terminated/Completed: In this state, the process has completed the execution or terminated by the OS.
Zombie: In this state, the process is terminated but information regarding the process still exists and is available in the process table

Что такое процесс-зомби и процесс-сирота? Можно ли самостоятельно сделать зомби?

Зомби-процесс, также называемый в Linux несуществующим или мертвым процессом, представляет собой процесс, который завершил выполнение, но его запись остается в таблице процессов. Обычно это происходит из-за отсутствия соответствия между родительским и дочерним процессами. Этот процесс происходит для дочернего процесса, поскольку родительскому процессу необходимо прочитать состояние дочернего процесса. После завершения с помощью системного вызова wait этот процесс удаляется из таблицы процессов.

Процесс-зомби - дочерний процесс в Unix-системе, завершивший своё выполнение, но ещё присутствующий в списке процессов операционной системы, чтобы дать родительскому процессу считать код завершения.

Удаление зомби возлагается на родительский процесс или системный вызов `wait()` также может это выполнить, поэтому перед ее вызовом не нужно проверять, продолжает ли выполняться требуемый дочерний процесс. Если родительский процесс не удалит своих потомков, то они останутся в состоянии зомби.

Убить зомби-процесс невозможно. Чтобы убить зомби-процесс нужно найти родительский процесс и завершить его или перезапустить. Найти зомби-процессы и их родителей можно следующей командой:

ps ajx | grep -w Z

PID'ы процессов родителей в 3 колонке. Убить процесс следующей командой:

kill -9 <PID процесса родителя>

Процесс-сирота — в семействе операционных систем UNIX вспомогательный процесс, чей основной процесс (или связь с ним) был завершен нештатно (не подав сигнала на завершение работы).

Отличие в том, что процесс-сирота (orphan process) всё еще активен. Его родительский процесс был по какой-либо причине прерван, и сирота теперь переходит под руководство init, чей ID процесса равен 1. PPID orphan процесса получит значение 1. Пользователь также может создать подобный процесс, отсоединив его от терминала. Сиротские процессы используют много ресурсов, их легко найти с помощью top или htop.

В отличии от процесса-сироты, зомби-процесс неактивен, но контролируется родительским процессом, пока тот не решит, что статус выхода дочерних процессов больше не нужен. Он не использует ресурсы и не может быть запланирован для выполнения. Иногда родительский процесс удерживает дочерний процесс в состоянии зомби, чтобы гарантировать, что будущие дочерние процессы не получат тот же PID. Если вы уничтожите родителя зомби-процесса, зомби-процесс тоже умрет. Для этого найдите родительский PID (PPID) зомби и отправьте ему сигнал SIGCHLD (17): kill -17 ppid.

Что такое файловый дескриптор? Какая информация там хранится?

Файловый дескриптор - неотрицательное целое число, которое используется в интерфейсе между пространством пользователя и пространством ядра (kernel) для идентификации ресурсов файла / сокета. Когда создаётся новый поток ввода-вывода, ядро возвращает процессу, создавшему поток ввода-вывода, его файловый дескриптор.

Что такое buffer/cache память? Для чего нужна?

buff/cache память - рассчитанная память, которая зарезервирована, но может быть освобождена при необходимости и используется для быстрого доступа программами к данным, которые находятся в оперативной памяти (быстрой памяти).

buffers — буферы в памяти — страницы памяти, зарезервированные системой для выделения их процессам, когда они затребуют этого, так же известна как heap-memory;
cached — файлы, которые недавно были использованы системой/процессами и хранящиеся в памяти на случай если вскоре они снова потребуются.

Представлен вывод команды `free`.

$ free -m
total used free shared buff/cache available
Mem: 6930 3598 843 183 2489 2919
Swap: 15999 4 15995

Почему доступной (available) памяти сейчас 2919, если свободной (free) памяти 843?

- Total. Эта цифра представляет всю существующую память.
- Used вычисление общего значения оперативной памяти системы за вычетом выделенной свободной, разделяемой, буферной и кэш-памяти.

used = total - free - buff/cache

- Free – свободная память в системе.
- Shared – память, используемая (преимущественно) в tmpfs
- Buffer, и Cache идентифицируют память, используемую для нужд ядра / операционной системы. Буфер и кеш складываются вместе, а сумма указывается в разделе «buff/cache».
- Available – примерное количество оперативной памяти, доступное для запуска новых приложений без использования ими раздела подкачки. В отличие от поля free, это поле принимает в расчёт страницу cache и также то, что не вся рекуперируемая (пригодная для повторного использования) память будет возвращена для рекуперации из-за того, что элементы используются в данный момент.

Порядок загрузки дистрибутива Linux.

1. Включение компьютера кнопкой.
2. Загрузить BIOS / UEFI из NVRAM.
3. Собрать сведения об аппаратуре.
4. Выбрать устройства для запуска (диск, сеть).
5. Идентифицировать системный раздел EFI.
6. Загрузить BIOS / UEFI из NVRAM.
7. Определить какое ядро загрузить.
8. Загрузить ядро.
9. Создать структуры данных ядра.
10. Запустить init / systemd как PID 1.
11. Выполнить сценарии запуска.
12. Запустить систему.

What’s Run level 0?
The run level 0 denotes system halt. It means the system can be powered off without any activity.

What do you mean by a run level?
In Unix-based OSes, a Run level signifies the state of the computer after boot. Runlevel is previously set on various Linux distributions. There are seven Run levels, starting from zero to six. Run levels determine the programs to be executed after the operating system boots up. System admins assign a default run level as per their requirements. You can find out your computer’s current run level using the /sbin/runlevel command.

What is the name and path of the main system log?

By default, the main system log is '/var/log/messages'. This file contains all the messages and the script written by the user. By default all scripts are saved in this file. This is the standard system log file, which contains messages from all system software, non-kernel boot issues, and messages that go to 'dmesg'. dmesg is a system file that is written upon system boot.

What are the different layers of Linux?

Answer:

Below are the different layers of Linux as following:

Hardware’s – Innermost layer consists of physical devices like RAM, CPU, etc. There might be driver software to communicate with devices in some OS.
Kernel – Kernel is a heart of an OS with hides the complexities of the underlying hardware and provides a high-level abstraction to upper layers. There are different types of kernels like a microkernel, Monolithic Kernel, etc. Linux kernel is a Monolithic type.
Shell – Shell is a program running on top of the Kernel, which acts as a primary method of interaction between user and kernel. Simply saying it is a program that can run other programs. Nowadays GUI replaces shell to a large extent. Shell accepts commands and passes them for execution.
Utility Programs(Utilities) – These programs or software running on a top layer of OS help users with day-to-day generic activities like schedule a cron job or a specific task like create text documents.

What are file permissions in Linux? Name different types of file systems in Linux.

There are three owners in the Linux System i.e., user, group, and others. These owners have three types of permissions defined as listed below:

Read (r): It allows the user to open and read the file or list the directory.
Write (w): It allows the user to open and modify the file. One can also add new files to the directory.
Execute (x): It allows the user to execute or run the file. One can also lookup a specific file within a directory.

What is a “/proc” file system?

Proc file system is a pseudo or virtual file system that provides an interface to the kernel data structure. It generally includes useful information about processes that are running currently. It can also be used to change some kernel parameters at runtime or during execution. It is also regarded as a control and information center for the kernel. All files under this directory are named virtual files.

Как в Linux найти, кто использует файл?

Lsof используется файловой системой, чтобы определить, кто использует какие-либо файлы в этой файловой системе. Вы можете запустить команду lsof в файловой системе Linux, и выходные данные идентифицируют владельца и информацию о процессах, использующих файл, как показано в следующем листинге выходных данных.

Список всех открытых в Linux файлов

$ lsof /dev/null

COMMAND    PID    USER   FD   TYPE DEVICE SIZE/OFF NODE NAME
systemd   1480 tecmint    0r   CHR    1,3      0t0    6 /dev/null
sh        1501 tecmint    0r   CHR    1,3      0t0    6 /dev/null

Чтобы вывести список файлов, открытых для конкретного пользователя, выполните следующую команду:

Список файлов, открытых конкретным пользователем (при использовании в вашей системе замените tecmint действительным именем пользователя)

$ lsof -u tecmint
COMMAND    PID    USER   FD      TYPE             DEVICE  SIZE/OFF       NODE NAME
systemd   1480 tecmint  cwd       DIR                8,3      4096          2 /
systemd   1480 tecmint  rtd       DIR                8,3      4096          2 /
systemd   1480 tecmint  txt       REG                8,3   1595792    3147496 /lib/systemd/systemd

Еще одно важный случай применения команды lsof - определение процесса, использующего определенный порт. Например, чтобы определить, какой процесс использует порт 80, можно воспользоваться следующим вариантом запуска команды lsof.

Определение процесса, прослушивающего порт

$ sudo lsof -i TCP:80

COMMAND  PID   USER   FD   TYPE DEVICE SIZE/OFF NODE NAME
httpd    903   root    4u  IPv6  20222      0t0  TCP *:http (LISTEN)
httpd   1320 apache    4u  IPv6  20222      0t0  TCP *:http (LISTEN)

https://github.com/mxssl/sre-interview-prep-guide/blob/master/README.md

https://www.brendangregg.com/USEmethod/use-linux.html

https://www.bogotobogo.com/DevOps/DevOps-Sys-Admin-Interview-Questions-Linux-Monitoring-System-Application-Performance-Tuning-Tools.php

Explain ulimit VS umask.

ulimit is a Linux built-in command that offers excellent control over available resources to shell or start processes. If needed, the user can choose to limit to a specific range by customizing the limits.conf file. They could also update system settings in the sysctl.conf file.

Talking about umask, it refers to using a file creation mask. umask determines the permissions of a file or directory when the user creates one.

What is SELinux?

(One of the Red Hat Linux interview questions that you’ll most likely be asked).

SELinux is Security-Enhanced Linux. As the name suggests, it’s a Linux program with enhanced security features. It protects the server from compromised daemons and misconfigurations. In addition, SELinux is used to access control implementation for the Linux kernel.

It also sets limits and instructs server programs to access specific permitted files and security policies, defining the action to be taken.

Представлен вывод команды top. Что означает каждая запись в выводе?

   top - 21:29:24 up 14:18,  1 user,  load average: 0,78, 1,48,   1,10
   Tasks: 277 total,   3 running, 274 sleeping,   0 stopped,      0 zombie
   %Cpu(s): 12,4 us,  2,5 sy,  0,1 ni, 84,8 id,  0,1 wa,  0,0   hi,  0,1 si,  0,0 st
   KiB Mem :  7106404 total,   306972 free,  3127144 used,    3672288 buff/cache
   KiB Swap:  8191996 total,  8191996 free,        0 used.    3270520 avail Mem

top - название утилиты.

21:29:24 - текущее время системы.

up 14:18 - сколько часов:минут система работает с момента последнего запуска.

1 user - количество пользователей авторизованных в системе.

load average: 0,78, 1,48, 1,10 - параметр средней нагрузки на систему за период времени 1 минута, 5 минут, 15 минут.

277 total - всего процессов в системе.

3 running - количество процессов в работе.

274 sleeping - количество процессов в состоянии sleeping: ожидает какого-либо события или сигнала.

0 stopped - количество приостановленных процессов сигналом STOP или выполнением трассировки.

0 zombie - количество зомби-процессов, которые завершили своё выполнение, но присутствующие в системе, чтобы дать родительскому процессу считать свой код завершения.

Параметр
us (user) - Использование процессора пользовательским процессами
sy (system) - Использование процессора системным процессами
ni (nice) - Использование процессора процессами с измененным приоритетом с помощью команды nice
id (idle) - Простой процессора. Можно сказать, что это свободные ресурсы
wa (IO-wait) - Говорит о простое, связанным с вводом/выводом
hi (hardware interrupts) - Показывает сколько процессорного времени было потрачено на обслуживание аппаратного прерывания
si (software interrupts) - Показывает сколько процессорного времени было потрачено на обслуживание софтверного прерывания
st (stolen by the hypervisor) - Показывает сколько процессорного времени было «украдено» гипервизором

KiB Mem - количество оперативной памяти в кибибайтах (кратно 1024):
7106404 total -- всего доступно оперативной памяти в системе,
306972 free -- свободно оперативной памяти для использования,
3127144 used -- использовано оперативной памяти,
3672288 buff/cache -- буферизовано/закешировано оперативной памяти.

KiB Swap - количество swap-памяти в кибибайтах (кратно 1024), которые выделено на диске:
8191996 total - всего выделено swap-памяти,
8191996 free - свободно swap-памяти
0 used - использовано swap-памяти,
3270520 avail Mem - доступно для использования swap-памяти.

Как в утилите top в Linux посмотреть нагрузку на каждое ядро процессора?

В утилите top нажать `1`, чтобы отобразить все ядра в системе.

Как в утилите top в Linux посмотреть какой командой был запущен процесс?

В утилите top нажать `c`, чтобы отобразить команды, которыми были запущены процессы.

Где хранятся имена файлов/директорий?

- Inodes не содержат имён файлов, только другие метаданные файла.
- Каталоги Unix представляют собой списки ассоциативных структур, каждая из которых содержит одно имя файла и один номер индекса.
- Драйвер файловой системы должен найти каталог, ищущий определенное имя файла, а затем преобразовать имя файла в правильный соответствующий номер индекса.

Таким образом имя файла/директории хранится в информационной структуре директорий.

Как удалить файл с именем `-rf`?

rm ./-rf

Как посмотреть описание дискриптора? Как посмотреть время последней модификации файла?

Посмотреть полную информацию по дискриптору возможно командой stat <path_to_file>.
Время модификации:
stat --format=%y dira

Для чего нужна переменная окружения PATH?

Переменная окружения PATH содержит абсолютные пути директорий, в которых производится поиск исполняемых файлов при вводе команд

Как посмотреть нагрузку на диски?

Установить утилиту `sysstat`, проверить нагрузку на диски `iostat -xtc`.

Что такое файл в понятиях Unix-like операционных системах?

Файлы - это объекты, в которые мы записываем информацию и наши данные, исполняемые файлы, но кроме этих привычных нам понятий здесь есть файлы специального назначения - файлы устройств, файлы туннелей, сокетов и многое другое.

Типы файлов в Linux:
- Обычные файлы, для хранения информации;
- Специальные файлы - для устройств и туннелей;
- Директории.

Что такое RAID? Какие массивы бывают?

RAID (Redundant Array of Independent Disks) - избыточный массив независимых дисков, технология виртуализации данных для объединения нескольких физических дисковых устройств в логический модуль для повышения отказоустойчивости и производительности.

В зависимости от количества дисков и класса отказоустойчивости существуют следующие основные типы RAID:
RAID 0:
RAID 1:
RAID 5:
RAID 6:
RAID 10:

При каком количестве одновременно вышедших из строя дисков обеспечивает работоспособность RAID 6?

2 диска.

В чем разница между объявлением переменной `export VAR="VALUE"` и `VAR="VALUE"` в bash?

При объявлении переменной через export - переменная будет доступна в любых других процессах, при обычном объявлении переменной - переменная будет доступна только в запущенном процессе.

Как остановить выполнение скрипта в bash при возникновении ошибки в команде?

Команда set -e завершит скрипт с ошибкой, в случае, если в нижеследующем bash коде будет обнаружена ошибка. По-умолчанию bash скрипт продолжает работу, если в ходе выполнения возникла ошибка.

Что в bash скрипте означает команда `set -euo pipefail`?

Команда set устанавливает аттрибуты оболочки с опеределенных опций.
Опция -e - означает, что скрипт будет остановлен, когда произойдет ошибка в ходе его выполнения.
Опция -u - означает, что скрипт будет остановлен, если в ходе скрипта, будет обнаружена переменная, которая не определена.
Опция -o pipefail - означает, что скрипт будет остановлен, если в ходе пайплайна команд будет выявлена ошибка.

Как активировать debug режим в bash?

Команда set -x в начале скрипта активирует вывод в консоль debug информации.

Что значит $@ в bash?

$@ - все параметры переданные скрипту.

Какой код сигнала будет выполнен при исполнении команды kill <PID>?

Сигнал SIGTERM (код 15) - это сигнал по-умолчанию отправляемый при вызове команды kill. Это указывает процессу на завершение работы и обычно считается сигналом для использования при чистом завершении работы.

Как выполнить фильтрацию вывода команды, чтобы на экран были выведены только ошибки (STDERR), игнорируя STDOUT?

cmd 2>&1 >/dev/null | grep pattern

Какую команду необходимо выполнить, чтобы посмотреть какие пользователи вошли в систему в систему?

Команда w покажет список пользователей, которые вошли на сервер.

Какой файл необходимо отредактировать, чтобы отключить ssh аутентификацию по паролю?

Необходимо редактировать файл /etc/ssh/sshd_config, отвечающий за конфигурацию сервиса ssh.

В каком файле находится информация о смонтированных каталогах в файловую систсему?

Файл /etc/fstab содержит информацию о смонтированных каталогах в файловую систему.

Что выведет команда cat a и почему?

mkdir /tmp/abc
cd /tmp/abc
ls >a 2>b
cat a

`cat a` выведет
a
b

Обработка команды идёт справа налево. Сначала создается файл *b*, потом создается файл *a*, команда `ls` отображает список файлов в текущей директории (файлы *a* и *b* уже созданы) в одну колонну и перенаправляет стандартный поток вывода (`>`) в файл *a*, а стандартный поток ошибок `2` в файл *b*.

В bash-скрипте указан аттрибут оболочки `set -x`. В одной из команд происходит ошибка и скрипт завершает свою работу. Как сделать, чтобы при возникновении ошибки в определенной команде скрипт продолжил свою работу?

1 вариант: указать || true после выполнения команды с ошибкой.
<command with error> || true

2 вариант: до выполнения данной команды указать `set +e` для игнорирования ошибок, начиная со следующей строки и после выполнения команды указать `set -e` для завершения работы скрипта в случае ошибки, начиная со следующей строки.
sh
set -e
<command 1>
<command 2>
set +e
<command 3 wih error>
set -e

Why is the tar command used?

The tar command is used for extracting or creating an archived file. If you wish to extract all of the files from the sample.tar.gz package, use the following command:

$ tar -xvzf sample.tar.gz

How to find logs older than seven days and remove them?

find /path/ -type f -mtime +7 -name ‘*.gz’ -execdir rm — ‘{}’ \;

Details:

find: the UNIX command for finding files/directories/links etc.

/path/: the directory path where you are searching for old logs

-type f: specifying to check only for files.

-name ‘*.gz’: will find for the files that end with “.gz”.

-mtime +7: only consider the ones with modification time older than 7 days.

-execdir … \;: for each such result found, execute the following command.

rm — ‘{}’: remove the file; the {} part is where the output from previous command will be given as input.

What is cron job and how to set it?

cron is a kind of a daemon that executes scripts or programs at specific time intervals.

These commands are called cron jobs.

This is like a scheduler for system admins and developers. Many use cases are present for which we can set cron jobs like log rotation,

emailing users to trigger any update for automatic data backup at any specified timings.

find the standard cron job writing style:-

* * * * * script1

please find the details below for all the description for every *:-

# +—————- minute (0 – 59)

# | +————- hour (0 – 23)

# | | +———- day of month (1 – 31)

# | | | +——- month (1 – 12)

# | | | | +—- day of week (0 – 6) (Sunday=0)

# | | | | |

* * * * * command to be executed

if you want to save the output of the cron job, you can execute the below command.

Timing Execute Path to script Output

* * * * * /usr/bin/scripts /var/www/html/crontest/cron.sh > /dev/null 2>&1

How to copy the files in Linux?

cp command

we can use cp command to copy any data from the current directory to a different directory.

For example:-the command cp test.txt /home/users/files would create a copy of test.txt at “/home/users/files”

How to move the files in Linux?

mv command

mv command can be used to move files from one folder to another; This is also used to rename the files.

This works as cp command only. We need to type mv, the file’s name, and the destination’s directory.

For example: mv file.txt /home/users/Docs.

What is sudo command?

sudo stands for “SuperUser Do”, this command enables you to perform tasks that require administrative or root permissions.

However, it is not recommended to use sudo command because most of the tasks would be performed as a particular user.

Which command is used to check disk space and disk usage?

df command

df command is used to check the disk space, shown in percentage and KBs.

If you want to see the report in megabytes, type df -m.

du command

this is used to check Disk Usage.

However, the disk usage summary will show disk block numbers instead of the usual size format.

If you want to see it in bytes, kilobytes, and megabytes, add the -h argument to the command line.

How to check first few and last few lines of any linux file?

The head command is used to view the first lines of any text file. By default, it will show the first ten lines,

but you can change this number to your liking.

For example, if you only want to show the first five lines.

head -n 5 filename.ext.

tail command

This one has a similar function to the head command, but instead of showing the first lines,

the tail command will display the last ten lines of a text file.

tail -n filename.ext.

10. How to check the difference between two Linux files?

diff command

the diff command compares the contents of two files line by line.

After analyzing the files, it will output the lines that do not match.

Programmers often use this command when they need to make program alterations instead of rewriting the entire source code.The simplest form of this command

diff file1.ext file2.ext

Which command is used to execute a shell file?

First Set execute permission on your script using chmod command:

chmod +x script-name-here.sh

To run your script:

./script-name-here.sh

Another option to execute shell script:

sh script-name-here.sh

What is interactive and non-interactive shell?

Interactive Shell

/bin/bash and /bin/sh

Non-interactive shell

/sbin/nologin

What is the absolute and relative path?

Absolute path is the full path of the directory. It always starts with “/” .

Example:

cd  /var/tmp/abrt/

Relative path is necessary from current location to reach particular directory doesn’t start with “/”.

Example:

cd .. ,   cd –

How will you pass and access arguments to a script in Linux?

For pass arguments in script “scriptname arg1 arg2 arg3 …”

For access arguments in script can be accessed inside the script as “$1 , $2 .. $n”

https://www.mygreatlearning.com/blog/shell-scripting-interview-questions/

How to create multiple text files and directories?

To create multiple text file touch file name {} command is used.

Example:

Suppose we want create 4 files then we type:

#touch filename{1..4}

To create multiple directory mkdir filename {} command is used.

Example:

Suppose we want to create 4 directory, then we type:

mkdir filename {1..4}

What are file permissions in Linux? Name different types of file systems in Linux.

There are three owners in the Linux System i.e., user, group, and others. These owners have three types of permissions defined as listed below:

Read (r): It allows the user to open and read the file or list the directory.
Write (w): It allows the user to open and modify the file. One can also add new files to the directory.
Execute (x): It allows the user to execute or run the file. One can also lookup a specific file within a directory.

What is LVM and why is it required?

LVM (Logical Volume Management) is basically a tool that provides logical volume management for the Linux kernel. It is being introduced simply to make physical storage device management easier. It also includes allocating disks, striping, mirroring, resizing logical volumes. Its main advantages are increased abstraction, flexibility, and control. It simply allows for flexible disk space management. It is especially required to resize the size of the file system online. In Linux, the size of the LVM partition can be extended using “lvextend” command and can be reduced using “lvreduce” commands, respectively.

What do you mean by the daemons?

Daemons also referred to as the background process, is a long-running Linux program that runs in the background. They do not have any controlling terminal, therefore, they run in the background. These are the processes that are generally started when the system is bootstrapped and terminate or end only when the system is shut down. It is simply the way of extending the functionality of the base OS. It provides and offers several functions that are not available in OS. Its main purpose is to handle periodic requests and then forward the requests to the appropriate programs for execution

Name the first process that is started by the kernel in Linux and what is its process id?

The first process started by the kernel in Linux is “init” and its process id is 1

Linux. Networking

26. Why /etc/resolv.conf and /etc/hosts files are used?

/etc/resolv.conf: It is used to configure DNS name servers as it contains the details of the nameserver i.e., details of your DNS server. The DNS server is then used to resolve the hostname of the IP address.

/etc/hosts: It is used to map or translate any hostname or domain name to its relevant IP address.

27. What are the advantages of using NIC teaming?

NIC (Network Interface Card) teaming has several advantages as given below:

Load Balancing
Failover
Increases uptime

28. What do you mean by Network bonding?

Network Bonding, also known as NIC Teaming, is a type of bonding that is used to connect multiple network interfaces into a single interface. It usually improves performance and redundancy simply by increasing network throughput and bandwidth.

29. What are different network bonding modes used in Linux?

Different network bonding modes used in Linux are listed below:

Mode-0 (balance-rr): It is the default mode and is based on round-robin policy. It offers features like fault tolerance and load balancing.
Mode-1 (active-backup): It is based on an active-backup policy. In this, only one node responds or works at the time of failure of other nodes.
Mode-2 (balance-xor): It sets an XOR (exclusive-or) mode for providing load balancing and fault tolerance.
Mode-3 (broadcast): It is based on broadcast policy. It sets a broadcast mode for providing fault tolerance and can be used only for specific purposes.
Mode-4 (802.3ad): It is based on IEEE 802.3ad standard also known as Dynamic Link Aggregation mode. It sets an IEEE 802.3ad dynamic link aggregation mode and creates aggregation groups that share the same speed and duplex settings.
Mode-5 (balance-tlb): It is also known as Adaptive TLB (Transmit Load Balancing). It sets TLB mode for fault tolerance and load balancing. In this mode, traffic will be loaded based on each slave of the network.
Mode-6 (balance-alb): It is also known as Adaptive Load Balancing. It sets ALB mode for fault tolerance and load balancing. It doesn’t need any special switch support.

Name default ports used for DNS, SMTP, FTP, SSH, DHCP and squid.

Default ports used for various services are as follows:

Name three standard streams in Linux.

Standard streams are basically I/O (Input and Output) communication channels between a program and its environment in Linux. Input and output in the Linux environment are distributed across three standard streams. Three standard streams in Linux are as follows:

Standard Input (stdin)
Standard Output (stdout)
Standard Error (stderr)

Linux Commands

34. What is netstat command?

netstat (Network statics) command is generally a networking tool being used for troubleshooting and configuration and used to display all network connections on a system. It simply provides a way to check whether various aspects of TCP/IP are working and what connections are present.

35. What is the ping command?

Linux ping (Packet Internet Groper) command is a command that is used to check connection status between source and destination. In simple words, this command is used to check whether a network is available and if the host is reachable. It can also be used to troubleshoot different connectivity issues, verify connectivity at an IP -level to a second TCP/IP device, and name resolution. One can use this command to test both the computer name and IP address of the computer.

36. Which command is used to check the default run level?

The command used to check the default run level is “/etc/inittab”.

37. Which command is used to check the size of file or directory?

The command used to check the size of the file or directory is “du”. Here “du” stands for disk usage that is used to check information of disk usage of files and directories on a machine. It is also used to display files and directory sizes in a recursive manner.

Example:
$ du -sh /var/log/*
1.8M /var/log/anaconda
384K /var/log/audit
4.0K /var/log/boot.log
0 /var/log/chrony
4.0K /var/log/cron
4.0K /var/log/maillog
64K /var/log/messages

38. Which command is used to count the number of characters in a file?

The command that is used to count the number of characters in a file in Linux is “wc”. Here “wc” stands for word count. It is used to count the number of lines, words, and characters in a text file.

39. What is the function of grep command?

Grep (Global regular expression print) is a command that is used to the global search for a string of characters in a specified file. The text search pattern is generally known as a regular expression. It simply makes use of pattern-based searching.

Syntax: grep [options] pattern [files]
Example: $ grep -c "linux" interview.txt

The above command will usually print the total count of the word “Linux” in the file “interview.txt”.

40. Explain working of env command.

“env” command is basically a shell command that is used to print a list of current environmental variables. Here, “env” stands for the environment. It can also run another process in another environment without any modification of the current environment. It allows you to run programs in a modified environment. It is generally used by shell scripts to launch the correct interpreter. It can also be useful for checking if wrong environment variables prevent the application from starting during troubleshooting.

Example:

$env
PHYTHON_PIP_VERSION=9.0L1
HOME=/root
DB_NAME=test
PATH=/usr/local/bin:/usr/local/sbin
LAND=C.UTF=8
PYTHON_VERSION=3.4.6
PWD=/
DB_URI=mongodb://database:27017/test

41. What is the pwd command?

“pwd” command is basically a command that is used to print the complete path of the current working directory starting from the root (/). Here, “pwd” stands for Print Working Directory. It is considered one of the most basic and most used commands in Linux. This command is usually a built-in shell command and is also available in different shells such as bash, ksh, zsh, bourne shell, etc.

42. Name the command that is used to check all the listening ports and services of your machine.

# netstat -ntlp

43. Which command is used to check the memory status?

The command used mostly to check memory status in Linux is “free”. Other commands that can be used are given below:

“cat” command: It can be used to show or display Linux memory information. (cat/proc/meminfo)
“vmstat” command: It can be used to report statistics of virtual memory.
“top” command: It can be used to check the usage of memory.
“htop” command: It can be used to find the memory load of each process.

44. What is pipe?

In Linux, a pipe is basically a form of redirection that is used to send the output of one command to another command for further processing. It simply takes the output from one command and uses it as an input for another. It provides asynchronous execution of commands with help of buffered I/O routines.

45. What are Linux directory commands?

There are basically five Linux directory commands that are used to work with files and directories as given below:

pwd: It stands for “print working directory”. This command is generally used to display the path of the present or current working directory.
Syntax: $ pwd
cd: It stands for “change directory”. This command is generally used to change the present working directory to the directory that we want to work on.
Syntax: $ cd <path to new directory>
Is: It stands for “list”. This command is generally used to show the full list of content of files and directories in the present working directory.
Syntax: $ ls
mkdir: It stands for “make directory”. This command generally allows users to create directories in Linux.
Syntax: $ mkdir <name (and path if required) of new directory>
rmdir: It stands for “remove directory”. This command is used to remove/delete each directory that is specified on the command line.
Syntax: $ rmdir <name (and path if required) of directory>

46. What do you mean by unmask?

Umask, also known as user file-creation mask, is a Linux command that allows you to set up default permissions for new files and folders that you create. In Linux OS, umask command is used to set default file and folder permission. It is also used by other commands in Linux like mkdir, tee, touch, etc. that create files and directories.

Syntax: umask [-p] [-S] [mask]

Where,
[mask]: It represents the permission masks that you are applying.
[-S]: It displays the current mask as a symbolic value.
[-p]: It displays the current mask along with umask command thus allowing it to be copied and pasted as a future input.

47. Name the command used to review boot messages.

The command that is used to review boot messages is the “dmesg” command.

How to Run Multiple Commands in Single Command?

To run multiple commands one after the other in a single command, you can use either the semi-colon ';', double ampersand '&&', or '||' symbols.

X Y – This runs commands X and Y regardless of the success of X.
X && Y – This runs Y if and only if X runs successfully.
X || Y – This runs Y if and only if X failed.

Run Multiple Linux Commands

What is the Grep Command?

Grep is a command line tool for searching and matching text files or lines in a text file. It takes options and parameters which are used to manipulate or enhance the search output.

It takes the following syntax:

$ grep [options] pattern [files]

The following command counts the number of occurrences of the string ‘Unix‘ in file1.txt.

$ grep -c "Unix" file1.txt

How do Change the Permissions of a File or Directory?

The chmod command is the command that modifies the permissions of a file or directory.

It follows the syntax shown.

# chmod [OPTIONS] [permissions] file

For example. To assign octal permissions 755 (all permissions to the owner and read and write permissions only for the group members and everyone else) to a file called file1.txt, run the command.

# chmod 755 file1.txt

What are Hidden Files in Linux?

Hidden files are files that are preceded by a dot or period. They mostly contain configuration files that hold important data or settings. To view hidden files, use the ls command with the -la option.

$ ls -la

List Hidden Files in Linux

What is an Alias?

As the name suggests, aliases are like custom shortcuts used to represent a command (or set of commands) executed with or without custom options.

$ alias

List Linux Aliases

What are the Different Vim Modes?

The vim editor provides the following main modes:

Normal mode / Command mode – This is the default mode when you open a new file or an existing one. In this mode, you can run commands such as undo, redo, and paste.
Insert mode – This mode allows you to type in the text.
Visual mode – This mode lets you select text so that you can perform other tasks with it such as cop, cut or paste.

What is the Redirection Operator?

Redirection is the process of sending the output of the first command to another file. In addition, it’s also used to direct an output as an input to another process.

In Linux, redirection is achieved using either the ">" (greater-than symbol) or the "|" (pipe) operator which sends the standard output of one command to another command as standard input.

What command would you use for editing, searching, and replacing text in Linux?

Answer:

Editing:

You can use the cd command followed by the name of the text editor, like vi, with which you need to edit the file.

Searching:

You can search a file in Linux by using the command:

find –iname “filename”

For searching and printing text in a file in Linux, you can use the command grep.

Replacing:

This procedure involves using the Stream Editor (sed). You need to use the command:

sed -i 's/old-text/new-text/g' input.txt

Enter the text that needs to be replaced in place of the old-text and the new text that needs to be added in place of the new-text.

How to reduce or shrink the size of the LVM partition?

Follow these steps:
unmount the file system for reducing.
Check the file system after unmount.
Reduce the file system.
Reduce the Logical Volume size than Current size.
Recheck the file system for error.
Remount the file-system back to stage.

What are the uses of head and tail commands?

Answer: The head command is used for printing the first n lines of a file onto the terminal:

head 7 test.txt

By default (i.e., when you don’t specify a number), ten lines are printed.

The tail command prints the last n lines of a file. By default, n is ten unless specified. We can specify more than one file, in which case the output is displayed along with the file name.

tail 15 test.txt

Linux.Networking

How to check and verify the status of the bond interface?

To check if bonding is enabled, check if the /etc/modprobe. conf has the bonding module loaded in it and then see if the ifcfg-bondZ, ifcfg-ethX and ifcfg-ethY etc. have the correct entries. To check if the bonding is working fine, check /var/log/messages. If you ever wanted to check the status of a bonded interface configure in Linux (esp RHEL), you can check the status by running the following command [root@serverxyz bin]# cat /proc/net/bonding/bond0. i.e. assuming the name of your bond interface is bond0.

What are the different modes of Network Bonding in Linux?

Linux network Bonding is a creation of a single bonded interface by combining 2 or more Ethernet interfaces. This helps in high availability of your network interface and offers performance improvements on your data traffic flow. Bonding is also referred as nic trunking or teaming.
Different modes of bonding:
Mode 0 (balance-rr) This mode transmits packets in a sequential order from the first available slave through the last
Mode 1 (active-backup)
Mode 2 (balance-xor)
Mode 3 (broadcast)
Mode 4 (802.3ad)
Mode 5 (balance-tlb)
Mode 6 (balance-alb)

What will the following command do: $ grep “[^aeiou]” myfile

Answer: The command will match all lines that do not contain a vowel from the file ‘myfile’.

Do you know how to make changes to a large file without opening it?

Answer: For this, the sed command is used. For example, we want to replace the word ‘John’ with ‘Sam’. We can give the command as:

sed ‘s/John/Sam’ myfile.txt

44. What is the fork() system call? How is it different from vfork()?

Answer: The fork() call creates a child process from an existing (parent) process. In the process, the kernel places a copy of the parent process’s address space into the child process. vfork() call is faster as it does not do the above.

45. Can you explain the page fault and kinds of page faults?.

Answer: It is a situation when a process tries to refer to a page. But the page is not there in the main memory. The two types are validity fault (whether the page is valid or not) and protection fault (whether it can be accessed).

Differentiate between the absolute and relative path.

Answer: The absolute path is the complete path of a file or directory starting from its root directory. For example, /users/local/system

A relative path is the path from the current user directory and is not the complete path. It is the present working directory (PWD).

Linux.Security

Please explain the checking for Rootkit infections in Linux.

Answer: A Rootkit is an advanced form of malware that can yield a range of security issues and in many cases go undetected by average antivirus programs. Hence, advanced anti-spyware tools need to be used for checking Rootkit infections in Linux. One such is the rkhunter.

Rkhunter can be installed from the software repository by following the instructions of your distribution’s package management. Debian and Ubuntu users can use the (sudo) apt-get install rkhunter command while Red Hat-based distributions can use either the dnf or yum command.

A few other notable security tools available for checking rootkit infections in Linux are:

Chkrootkit
ClamAV
LMD (Linux Malware Detect)
Lynis

How will you setup Password Aging in Linux?

Answer: The chage command allows the system administrators in Linux to enforce password aging. The command is used to change the number of days between mandatory password resets. The /etc/login.defs file is responsible for handling system-wide configuration. It can be edited for:

PASS_MAX_DAYS – Defines the maximum number of days a password may be used.
PASS_MIN_DAYS – Defines the minimum number of days allowed between password changes.
PASS_WARN_AGE – Defines the number of days warning is given before a password expires.

How does Ctrl+Alt+Del key combination work in LINUX?

Answer: The Ctrl+Alt+Del key combination works in LINUX, just like it works in Windows. This key combination helps in restarting the system. However, in LINUX, there is no confirmation message displayed earlier to the restart, and the reboot occurs immediately.

How does Ctrl+Alt+F1(F2) key combination work in LINUX?

How can you enhance the security of the password file in Linux?

Linux keeps user account information in a text file called /etc/passwd. This file also store one way encrypted password. This file is accessed by several tools to get user information, so file need to world-readable. This is a security risk. To minimize the security risk you can use shadow password format. This method save account information in regular file /etc/passwd. However, the password is stored as a single "x" character (not actually stored in this file). A second file, called "/etc/shadow", contains encrypted password as well as other information such as account or password expiration values, etc. ...

Which account is created on Linux installation?

- With the installation of Linux, a super user account is created called as ‘root’.

Which daemon tracks events on your system?

- The syslogd daemon tracks the system information and saves it to specified log files.

Which command would you use if you want to remove the password assigned to a group?

- gpasswd – r removes the password from the group.
- Here, the gpasswd changes the password of the group and when it is accompanied by –r, the password gets removed.

You wish to print a file ‘draft’ with 60 lines to a page. What command would you use?

- The command that I would use is: pr -l60 draft
- The default page length when using pr is 66 lines.
- The -l option specifies a different length.

Which file would you examine to determine the levels of messages written to system log files?

- kernel.h

You are logged on as a regular user. Without logging off and logging on as root, you are required to create a new user account immediately. How would you do it?

- This can be achieved by issuing the su command.
- This will prompt you for the password of the root account.
- Providing the password, logs you in as root. Now, you can perform any administrative duties.

You are required to restore the file memo.ben. It was backed up in the tar file MyBackup.tar. Which command would you use to do it?

- The command that we would use is: tar xf MyBackup.tar memo.ben
- It uses the x switch to extract a file.

What is partial backup?

- When you select only a portion of your file hierarchy or a single partition to back up, it is called partial backup.

What is the fastest way to enter a series of commands from the command-line?

- Write the commands, each separated by a semi-colon. Press enter after the last command.
- The semi-colon would inform the shell that multiple commands are being entered at the command line, to be executed serially.

Which command is used to check the number of files and disk space used and the each user’s defined quota?

repquota command is used to check the status of the user’s quota along with the disk space and number of files used.

This command gives a summary of the user’s quota that how much space and files are left for the user. Every user has a defined quota in Linux. This is done mainly for the security, as some users have only limited access to files. This provides a security to the files from unwanted access. The quota can be given to a single user or to a group of users.

How secured is Linux? Explain.

Security is the most important aspect of an operating system. Due to its unique authentication module, Linux is considered as more secured than other operating systems. Linux consists of PAM. PAM is Pluggable Authentication Modules. It provides a layer between applications and actual authentication mechanism. It is a library of loadable modules which are called by the application for authentication. It also allows the administrator to control when a user can log in. All PAM applications are configured in the directory "/etc/pam.d" or in a file "/etc/pam.conf". PAM is controlled using the configuration file or the configuration directory.

Can Linux computer be made a router so that several machines may share a single Internet connection? How?

Yes a Linux machine can be made a router. This is called "IP Masquerade." IP Masquerade is a networking function in Linux similar to the one-to-many (1: Many) NAT (Network Address Translation) servers found in many commercial firewalls and network routers. The IP Masquerade feature allows other "internal" computers connected to this Linux box (via PPP, Ethernet, etc.) to also reach the Internet as well. Linux IP Masquerading allows this functionality even if the internal computers do not have IP addresses.
The IP masquerading can be done by the following steps:

1. The Linux PC must have an internet connection and a connection to LAN. Typically, the Linux PC has two network interfaces-an Ethernet card for the LAN and a dial-up PPP connection to the Internet (through an ISP).

2. All other systems on your LAN use the Linux PC as the default gateway for TCP/IP networking. Use the same ISP-provided DNS addresses on all systems.

3. Enable IP forwarding in the kernel. By default the IP forwarding is not enabled. To ensure that IP forwarding is enabled when you reboot your system, place this command in the /etc/rc.d/rc.local file.

4. Run /sbin/iptables-the IP packet filter administration program-to set up the rules that enable the Linux PC to masquerade for your LAN.

What is the minimum number of partitions that you need to install Linux?

Minimum 2 partitions are needed for installing Linux. The one is "/ or root" which contains all the files and the other is swap. Linux file system is function specific which means that files and folders are organized according to their functionality. For example, all executables are in one folder, all devices in another, all libraries in another and so on. "/ or root" is the base of this file system. All the other folders are under this one. "/" can be consider as "C:". Swap is a partition that will be used as virtual memory. If there is no more available RAM a Linux computer will use an area of the hard disk, called swap, to temporarily store data. In other words it is a way of expanding your computers RAM.

Which command is used to review boot messages?

dmesg command is used to review boot messages. This command will display system messages contained in the kernel ring buffer. We can use this command immediately after booting to see boot messages. A ring buffer is a buffer of fixed size for which any new data added to it overwrites the oldest data in it.

Its basic syntax is:dmesg [options]

Invoking dmesg without any of its options causes it to write all the kernel messages to standard output. This usually produces far too many lines to fit into the display screen all at once and thus only the final messages are visible. However, the output can be redirected to the less command through the use of a pipe, thereby allowing the startup messages to be viewed on one screen at a time
dmesg | less

Which utility is used to make automate rotation of a log?

logrotate command is used to make automate rotation of log.

Syntax of the command is:logrotate [-dv] [-f|] [-s|] config_file+

It allows automatic rotation, compression, removal, and mailing of log files. This command is mainly used for rotating and compressing log files. This job is done every day when a log file becomes too large. This command can also be run by giving on command line. We can done force rotation by giving –f option with this command in command line. This command is also used for mailing. We can give –m option for mailing with this command. This option takes two arguments one is subject and other is recipient name.

Which commands are used to set a processor-intensive job to use less CPU time?

nice command is used for changing priority of the jobs.

Syntax:nice [OPTION] [COMMAND [ARG]...]

Range of priority goes from -20 (highest priority) to 19 (lowest). Priority is given to a job so that the most important job is executed first by the kernel and then the other least important jobs. This takes less CPU times as the jobs are scheduled and are given priorities so the CPU executes fast. The priority is given by numbers like -20 describe the highest priority and 19 describe the least priority.

Which daemon is responsible for tracking events on Linux system?

syslogd is responsible for tracking system information and save it to the desired log files. It provides two system utilities which provide system logging and kernel message trapping. Internet and UNIX domain sockets support enable this utility package to support both local and remote logging. Every logged message contains at least a time and a hostname field, normally a program name field, too. So to track these information this daemon is used.

syslogd mainly reacts to the set of signals given by the user.

These are the signals given to syslogd:

- SIGHUP: This lets syslogd perform a re-initialization. All open files are closed, the configuration file (default is /etc/syslog.conf) will be reread and the syslog facility is started again.

- SIGTERM: The syslogd will die.

- SIGINT, SIGQUIT: If debugging is enabled these are ignored, otherwise syslogd will die.

- SIGUSR1: Switch debugging on/off. This option can only be used if syslogd is started with the - d debug option.

- SIGCHLD: Wait for Childs if some were born, because of waiting messages.

What is the minimum number of partitions that you need to install Linux?
Answer:
Minimum 2 partitions are needed for installing Linux

3. Is there any relation between modprobe.conf file and network devices?
Answer:
Yes, this file assigns a kernel module to each network device.
For Example:-
[root@localhost ~]# cat /etc/modprobe.conf
alias eth0 b44
Here, b44 is the kernel module for network device eth0.
We can confirm whether this module “b44” is present or not by the following command
[root@localhost ~]# lsmod |grep b44
b44 29005 0

How do you limit memory usage for commands?
Answer:
ulimit -Sv 1000 # 1000 KBs = 1 MB
ulimit -Sv unlimited # Remove limit

What is du -s * | sort -k1,1rn | head command used for?
Answer:
This command shows top disk users in current dir.

41. How to exit from vi editors?
Answer:
The following commands are used to exit from vi editors.
:wq saves the current work and exits the VI.
:q! exits the VI without saving current work.

42. How to delete information from a file in vi?
Answer:
The following commands are used to delete information from vi editors.
x deletes a current character.
dd deletes the current line.

strace

The strace is the tool that helps in debugging issues by tracing system calls executed by a program.

Here are the samples of strace command:

# Slow the target command and print details for each syscall:
strace command

# Slow the target PID and print details for each syscall:
strace -p PID

# Slow the target PID and any newly created child process, printing syscall details:
strace -fp PID

# Slow the target PID and record syscalls, printing a summary:
strace -cp PID

# Slow the target PID and trace open() syscalls only:
strace -eopen -p PID

# Slow the target PID and trace open() and stat() syscalls only:
strace -eopen,stat -p PID

# Slow the target PID and trace connect() and accept() syscalls only:
strace -econnect,accept -p PID

# Slow the target command and see what other programs it launches (slow them too!):
strace -qfeexecve command

# Slow the target PID and print time-since-epoch with (distorted) microsecond resolution:
strace -ttt -p PID

# Slow the target PID and print syscall durations with (distorted) microsecond resolution:
strace -T -p PID

The strace command allows us to trace the system calls made by a program. This is useful for debugging, or simply to find out what a program is doing. By default, strace writes its output to stderr, but we can change this using the -o filename option - from The Linux Programming Interface.

$ strace date
execve("/bin/date", ["date"], [/* 118 vars */]) = 0
brk(0)                                  = 0x18b5000
access("/etc/ld.so.nohwcap", F_OK)      = -1 ENOENT (No such file or directory)
mmap(NULL, 8192, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS, -1, 0) = 0x7f809a459000
access("/etc/ld.so.preload", R_OK)      = -1 ENOENT (No such file or directory)
open("/etc/ld.so.cache", O_RDONLY|O_CLOEXEC) = 3
fstat(3, {st_mode=S_IFREG|0644, st_size=154081, ...}) = 0
...
close(1)                                = 0
munmap(0x7f809a458000, 4096)            = 0
close(2)                                = 0
exit_group(0)                           = ?
+++ exited with 0 +++

Each system call is displayed in the form of a function call, with both input and out- put arguments shown in parentheses.

After the closing parenthesis of the traced call, strace prints an equal sign ( = ), fol- lowed by the return value of the system call. If the system call failed, the symbolic errno value is also displayed. Thus, we see ENOENT displayed for the failure of the access() call above.

Even for a simple program, the output produced by strace is made voluminous by the system calls executed by the C run-time startup code and the loading of shared libraries. For a complex program, the strace output can be extremely long.

For these reasons, it is sometimes useful to selectively filter the output of strace.

$ strace date 2>&1 | grep open
open("/etc/ld.so.cache", O_RDONLY|O_CLOEXEC) = 3
open("/lib/x86_64-linux-gnu/libc.so.6", O_RDONLY|O_CLOEXEC) = 3
open("/usr/lib/locale/locale-archive", O_RDONLY|O_CLOEXEC) = 3
open("/etc/localtime", O_RDONLY|O_CLOEXEC) = 3

Another method is to use the -e option to select the events to be traced. For example, we can use the following command to trace open() and close() system calls:

$ strace -e trace=open,close date
open("/etc/ld.so.cache", O_RDONLY|O_CLOEXEC) = 3
close(3)                                = 0
open("/lib/x86_64-linux-gnu/libc.so.6", O_RDONLY|O_CLOEXEC) = 3
close(3)                                = 0
open("/usr/lib/locale/locale-archive", O_RDONLY|O_CLOEXEC) = 3
close(3)                                = 0
open("/etc/localtime", O_RDONLY|O_CLOEXEC) = 3
close(3)                                = 0
Sun Nov 29 14:40:08 PST 2015
close(1)                                = 0
close(2)                                = 0
+++ exited with 0 +++

dmesg

The dmesg command displays all messages from the kernel ring buffer which is a data structure that records messages related to the operation of the kernel. A ring buffer is a special kind of buffer that is always a constant size, removing the oldest messages when new messages come in.

We can use dmesg command to check why a process was killed. That happens if the process was consuming too much memory, and the kernel "Out of Memory" (OOM) killer will automatically kill the offending process.

$ dmesg | less
[   54.125380] Out of memory: Kill process 8320 (stress-ng-brk) score 324 or sacrifice child
[   54.125382] Killed process 8320 (stress-ng-brk) total-vm:1309660kB, anon-rss:1287796kB, file-rss:76kB
[   54.522906] gmain invoked oom-killer: gfp_mask=0x24201ca, order=0, oom_score_adj=0
[   54.522908] gmain cpuset=accounts-daemon.service mems_allowed=0
...

Дебаг

Инструмент dmesg
Демон syslog
Инструмент journald
Утилита strace
Утилита tcpdump

https://www.nightwolf.in/nightwolf-cotribution/linux_L3/

https://www.nightwolf.in/nightwolf-cotribution/linux_L2/

https://www.nightwolf.in/nightwolf-cotribution/linux_L1/

https://opensource.com/article/17/2/linux-boot-and-startup

https://awstip.com/sre-devops-interview-questions-linux-troubleshooting-1b8ffe82c16

https://www.golinuxhub.com/2018/06/scenario-based-interview-question-beginner-experience-linux/

Бесплатные ресурсы для изучения PYTHON

2022-12-29T07:52:48.108Z

Список, что изучать, где тренироваться и как действовать дальше.
Но главное - практика. Сделайте собственную программу, пробуйте на практике полученные знания и если что, гуглите.

Телеграм каналы c книгами

@pythonbooks
@pythonknigi
@pythonbooksarchive
@pythonlib
@pythonknigi_backup
@pythonbookarchive

Книги бесплатно
- https://fr.be1lib.org/ # нужен VPN
- https://automatetheboringstuff.com/

Телеграм каналы с курсами

https://t.me/+iTL2SbuBL1M2ZDgy
https://t.me/sl1vakerA
https://t.me/+9qArPpoG_5s2MTEy
https://t.me/archive_cmd

Онлайн IDE python (ТОП компиляторов)

- https://pythontutor.com/
- https://replit.com/
- http://pythonfiddle.com/
- https://www.pythonanywhere.com/
- https://www.online-python.com/

Шпаргалки (cheatsheet)

- https://github.com/aspittel/coding-cheat-sheets
- https://zerotomastery.io/cheatsheets/python-cheat-sheet
- https://github.com/wilfredinni/python-cheatsheet
- https://github.com/crazyguitar/pysheeet/blob/master/docs/notes/python-basic.rst

Design patterns and idioms

https://github.com/faif/python-patterns

Контейнеризация приложений: что это такое и когда стоит использовать

2022-10-07T11:46:01.927Z

Контейнеризация «позволяет писать приложения один раз и запускать их где угодно». (IBM)

Что такое контейнер и чем эта технология удобна для разработчиков приложений

Контейнер приложения — экземпляр исполняемого программного обеспечения (ПО), который объединяет двоичный код приложения вместе со всеми связанными файлами конфигурации, библиотеками, зависимостями и средой выполнения.

Смысл и главное преимущество технологии в том, что контейнер абстрагирует приложение от операционной системы хоста, то есть остается автономным, благодаря чему становится легко переносимым — способным работать на любой платформе.

Эта автономность отражена в самом названии: словно груз в таре на контейнеровозе, отделенный от самого судна, но перемещающийся на нем, все необходимое для разработки, доставки и развертывания приложения располагается в контейнере, но обособлено от среды, в которой фактически работает.

Контейнеры используют не только для изоляции различных программных процессов, но и для контроля ресурсов, за которые эти процессы могут конкурировать. Это, например, объем памяти или ресурсы процессора.

Уже существующие приложения можно переупаковать в контейнеры, например, посредством технологии Docker, и они будут эффективнее использовать вычислительные ресурсы. Этот процесс называется контейнеризацией. Потребность в ней может возникнуть, когда надо быстро и без повторной сборки приложения переместить его из одной вычислительной среды в другую, где развернуть легко и согласованно.

В качестве упражнения попробуйте выполнить без контейнеров процесс миграции ПО на с одной ОС на другую:
1. Развернуть на ВМ Centos 8 steam - MongoDB 4.4
2. Создать базу с одной коллекцией и одним документом с любым содержимым
3. Перенести на Ubuntu 22.04 - MongoDB и базу (Спойлер - MongoDB 4.4 не получится установить из-за openssl 3й версии. Требуется первая версия. Которую можно поставить, но процесс очень не простой и точно не рекомендуемый даже для среды разработки.)

Еще одно применение технологии — использовать контейнер, содержащий экземпляр другого дистрибутива ОС, что позволяет запускать одновременно несколько контейнеров с приложениями, требующими разных дистрибутивов. Такие контейнеры называют системными и применяют их для традиционных приложений: все конфигурации, инструменты (различное вспомогательное ПО) и монолитная архитектура приложения находятся в одном контейнере.

Например, на сервере с Ubuntu Linux запущены контейнеры с приложениями, которым требуется Alpine Linux, а также другие контейнеры с приложениями, которым необходима определенная версия Debian.

Чтобы лучше понять, чем хороши контейнеры, стоит сравнить их с виртуальными машинами.

В чем разница между контейнерами и виртуальными машинами

1. Виртуальные машины — абстракция на уровне физического оборудования, превращает один сервер в несколько

На каждой виртуальной машине (ВМ) отдельная гостевая операционная система работает поверх операционной системы хоста с виртуализированным доступом к базовому оборудованию. Виртуальные машины с разными ОС могут работать на одном физическом сервере: ВМ UNIX может работать вместе с ВМ Linux и так далее. Микроядро и система виртуализации, которые создают и запускают виртуальные машины, называются гипервизорами или мониторами ВМ. Это то, что находится между оборудованием и ВМ и необходимо для виртуализации сервера, а также для изоляции операционных систем друг от друга

2. Контейнеры — абстракция на уровне приложения, объединяет код и зависимости

Контейнеры устанавливаются поверх физического сервера и его ОС, например Linux или Windows. Каждый контейнер отделяет свое содержимое от операционной системы. Контейнеры «легкие» — весят всего мегабайты и запускаются за секунды, ведь они берут лишь небольшую часть памяти при совместном использовании ОС.

Виртуальные машины могут запускать любое ядро операционной системы независимо от основной операционной системы, контейнер должен быть совместим с ядром ОС сервера.

Как и ВМ, контейнеры позволяют упаковывать приложение вместе с библиотеками и другими зависимостями, обеспечивая изолированные среды для запуска программных сервисов. Они отделяют приложения друг от друга. Это означает, что не придется беспокоиться о конфликтующих зависимостях или конфликте ресурсов, ведь можно установить лимиты ресурсов для каждого контейнера. Важно отметить, что это дополнительный уровень безопасности, поскольку приложения не работают в операционной системе сервера.

Безопасность контейнеров

При запуске контейнеров надо учитывать, что есть некоторый риск запустить их с неполной изоляцией, тогда какой-то вредоносный код из сети может получить доступ к памяти сервера.

Здесь нужно использовать решения, повышающие безопасность контейнеров:

Добиться изолированности процессов с помощью принципа «каждый контейнер — для решения только одной задачи», его еще формулируют как «одно приложение — один контейнер».
Не загружать готовые к использованию контейнеры из ненадежных источников, а в особых случаях использовать исключительно собственные непубличные репозитории с контейнерами (Container Registry), которые интегрируются в CI/CD-среды.
Использовать внутренние функции сервиса контейнеризации по поиску уязвимостей во всем вспомогательном ПО — такое тестирование тоже легко автоматизируется в CI/CD-средах и позволяет исключить развертывание уязвимых контейнеров в продакшене.

Для чего подходит и не подходит контейнеризация

Контейнеризация не подходит: если для работы приложения требуется другая ОС, а не та, что установлена на сервере.

Контейнеризация подходит:

для упрощения процесса развертывания и сопровождения приложений;
для запуска небезопасного или непроверенного кода с целью тестирования или отладки — для этого контейнеры подходят в 99% случаев;
для запуска приложений, требующих другого дистрибутива ОС (системные контейнеры);
для передачи отдельных компонентов приложения между членами команды в ходе цикла «разработка — тестирование — внедрение» и быстрого внесения изменений;
для микросервисов, которые можно разрабатывать и обновлять независимо;
для горизонтально масштабируемых приложений — когда запускается несколько одинаковых контейнеров на текущих ресурсах без увеличения стоимости этих ресурсов. В отличие от вертикального масштабирования, где увеличение количества ядер CPU, объемов RAM, размера HDD на сервере стоит денег;
для модернизации и миграции существующих приложений в более современные среды.

Docker - устройство и принципы работы

2022-10-07T11:17:37.307Z

Прежде чем рассказывать про Docker, нужно сказать несколько слов о технологии контейнеризации.

Контейнеры — это способ стандартизации развертки приложения и отделения его от общей инфраструктуры. Экземпляр приложения запускается в изолированной среде, не влияющей на основную операционную систему.

Разработчикам не нужно задумываться, в каком окружении будет работать их приложение, будут ли там нужные настройки и зависимости. Они просто создают приложение, упаковывают все зависимости и настройки в некоторый единый образ. Затем этот образ можно запускать на других системах, не беспокоясь, что приложение не запустится.

Что такое Docker?

Docker — популярная технология контейнеризации, появившаяся в 2013 году. Тогда одноименная компания предложила способ виртуализации ОС, при котором код приложения, среда запуска, библиотеки и зависимости упаковываются в единую «капсулу» — контейнер Docker.

Одной из реализаций идеи о разделении ресурсов стали Croot jail и операция Chroot, которые появились в 1979 году в UNIX версии 7. С помощью Chroot jail процесс и его дочерние элементы изолировались от основной ОС. Docker фактически можно считать продолжением этой идеи. Но корневой процесс мог выходить из chroot, а механизмов безопасности на тот момент еще не придумали.

Спустя 20 лет появился FreeBSD Jail — механизм виртуализации, позволяющий внутри одной ОС использовать несколько изолированных систем, которые назвали тюрьмами. Далее технологии контейнеризации развивались стремительно. В 2001 году появился Linux VServer, который использовал chroot-подобную утилиту и применялся для безопасного разделения ресурсов. Каждый раздел назывался «контекстом безопасности», а виртуализированная система внутри него — виртуальным частным сервером.

В 2005 году представили OpenVZ с виртуализацией на уровне ОС, благодаря которой усовершенствовалась технология изоляции. Но был и серьезный недостаток: у контейнеров и хоста была одна архитектура и версия ядра. Если требовалась другая, возникали проблемы.

В 2007 году компания Google представила функцию CGroups, ограничивающую использование ресурсов (CPU, ROM, дисковый ввод-вывод, сеть и т. д.) на уровне групп процессов. Спустя год выпустили Linux Containers (LXC), который имел много общего с OpenVZ и Linux-VServer, но использовал механизмы namespaces и CGroups из Linux-ядра вместо сторонних механизмов, внедряемых в ядро с помощью патчей.

В 2013 году компания Cloud Foundry создала Warden. Новая утилитапредназначалась для запуска приложений, которые получают все свои зависимости от частей ПО, называемых buildpacks. Контейнеры Warden обычно имеют два слоя: слой только для чтения с корневой файловой системой ОС и неперсистентный слой чтения/записи самого приложения и его зависимостей. В 2013 году на рынке появился и Docker.

Для чего вообще нужен docker контейнер?

Обычно, во время разработки, для каждого проекта вы настраиваете своё окружение. Но вот произошла такая ситуация: что-то случилось с вашим компьютером и приходится переустанавливать операционную систему(ОС). Соответственно, чтобы запустить ваш проект, необходимо настраивать окружение заново. Бывает ещё гигантское количество ситуаций, которые сводятся к одной проблеме - настройка окружения для разработки. Так вот Docker - коробка, которую достаточно единожды настроить под проект, чтобы в дальнейшем не было проблем с эксплуатацией/расширением сервиса.

Благодаря контейнеризации и использованию Docker разработчики больше не задумываются о том, в какой среде будет функционировать их приложение и будут ли в этой в среде необходимые для тестирования опции и зависимости. Достаточно упаковать приложение со всеми зависимостями и процессами в контейнер, чтобы запускать в любых системах: Linux, Windows и macOS. Платформа Docker позволила отделить приложения от инфраструктуры. Контейнеры не зависят от базовой инфраструктуры, их можно легко перемещать между облачной и локальной инфраструктурами.

Чем контейнеризация отличается от виртуализации?

Виртуализация напоминает отдельный компьютер со своим оборудованием и ОС, внутри которого можно запустить еще одну ОС. А контейнеризация предполагает, что виртуальная среда запускается из ядра ОС, не предусматривает виртуализации оборудования и снижает потребление ресурсов.

Если цель виртуалки — полностью воспроизвести устройство компьютера, то основная цель Docker — создать среду для одного приложения. Виртуальная среда контейнера запускается внутри операционной системы. Ей не нужно виртуализировать оборудование — она использует его через ОС. Поэтому контейнеры Docker потребляют меньше ресурсов, быстрее развёртываются, проще масштабируются и меньше весят.

Оба способа изолируют приложение от основной операционной системы, но если на виртуалку можно поставить любую ОС, то Docker ориентирован на ядро Linux.

Docker и виртуальные машины не очень хорошо сочетаются друг с другом. Да, иногда в продакшене сервер нарезают на виртуалки и в них запускают контейнеры. Но такая схема, с двойной виртуализацией, приводит к избыточному расходу ресурсов. Её часто критикуют, и, надо признаться, по делу. Если в компании всё же сложилась такая практика, вместо гипервизора можно поставить Kubernetes, который будет устанавливать приложения напрямую на железо.

Давайте рассмотрим особенности контейнеров.

Особенности контейнеров

Важнейшая особенность контейнеров — их сравнительно короткий жизненный цикл. Любой контейнер можно остановить, перезапустить или уничтожить, если это необходимо. Данные, которые содержатся в контейнере, при этом тоже пропадут. Так выработалось правило проектирования приложений: не хранить важные данные в контейнере. Такой подход называют Stateless.
Объем контейнеров измеряется в мегабайтах, поскольку в них упаковывают лишь те процессы и зависимости ОС, которые необходимы для выполнения кода. Легковесные контейнеры быстро запускаются и экономят место на диске.
Один контейнер соответствует одному запущенному процессу. Отключение отдельного контейнера для отладки или обновления никак не помешает нормальной работе всего приложения.
Контейнеризация обеспечивает надежную изоляцию процессов и повышает уровень безопасности систем. Приложения, которые работают внутри контейнера, не имеют доступа к основной ОС и не могут на неё влиять.
Благодаря контейнерам можно автоматизировать развертывание приложений на разных хостах.
Использование контейнеров позволяет перейти с монолита на микросервисную архитектуру. За счет этого ускоряется разработка новой функциональности, поскольку нет опасений, что изменения в одной компоненте затронут всю остальную систему.
С точки зрения эффективности контейнеры котируются выше виртуальных машин. На одинаковом оборудовании можно запустить большое количество контейнеров, тогда как ВМ будет в разы меньше. Это важно при использовании облачной инфраструктуры — потребуется меньше ресурсов.

Преимущества использования Docker

Какие преимущества Docker приносит компаниям и разработчикам?

Гибкость и адаптивность. Благодаря Docker можно легко запускать контейнер в облачной инфраструктуре и на любом локальном устройстве. Можно создать базовые шаблоны контейнеров и использовать повторно бесконечное число раз. Бесшовная переносимость и простота развертывания — важные преимущества этой технологии.
Меньше ошибок и несовпадений окружений. В контейнерах Docker содержится всё, что требуется для запуска приложения, поэтому перенос приложений из одной среды в другую не вызывает затруднений. Исчезает проблема, когда у разработчиков всё функционирует как надо, а на боевом сервере — нет.
Скорость развертывания. Так как настраивать окружение для разработки, тестирования и боевого режима больше не нужно, время развертывания сокращается в несколько раз.
Рост универсальности. Docker позволяет использовать любые языки программирования и стек технологий на сервере, избавляя от проблемы несовместимости разных библиотек и технологий.
Комьюнити и поддержка. Существует огромная библиотека контейнеров с открытым исходным кодом. Можно скачать нужный образ для конкретной задачи или обратиться за помощью к большому комьюнити разработчиков, которые используют Docker.
Непрерывность работы. С учетом инструментов управления трафиком можно построить процесс обновления приложения так, чтобы обновление одних контейнеров не влияло на работоспособность системы и оказание услуг пользователям.
Упрощение администрирования. С помощью Docker легче перенести контейнер с одного хоста на другой, запустить сразу несколько образов, обновить группы контейнеров и откатиться к старой версии.
Повышение уровня безопасности. Контейнеры в Docker частично изолированы друг от друга на уровне процессов и ОС, поэтому запуск большого количества контейнеров на одной машине не несет рисков.
Экономическая эффективность. Контейнеры легковесны и производительны, а благодаря использованию Docker можно эффективнее управлять имеющимися ресурсами и сократить расходы компании.
Современный подход. Отказ от монолитной архитектуры в пользу микросервисной позволяет более гибко развивать продукт, добавлять в него новые функции.

Основные компоненты Docker

Dockerfile. Текстовый файл с последовательно расположенными инструкциями для создания образа Docker. Файл создаётся по принципу «одна строка — одна команда».

Daemon. Фоновая служба на хосте, которая отвечает за создание, запуск и уничтожение контейнеров.

Image. Неизменяемый файл (образ), из которого можно неограниченное количество раз развернуть контейнер.

Client. Утилита командной строки в Docker для управления демоном. Любое взаимодействие с контейнером проходит через Daemon.

Container. Запущенное приложение, которое развернули из образа.

Registry. Служба в Docker, выполняющая функции репозитория (хранилища). Позволяет следить за версиями образов, создавать приватные репозитории.

Docker Hub. Популярный публичный репозиторий, используемый по умолчанию в Docker. Обеспечивает интеграцию с GitHub и BitBucket.

Docker Desktop. Приложение, позволяющее локально собирать, выполнять и тестировать контейнеры. Работает на Windows и macOS.

Docker volumes. Тома для постоянного хранения информации. По умолчанию в Docker папки хранилищ создаются на хост-машине, но предусмотрена и возможность подключения удаленных хранилищ. Использование томов позволяет лучшим образом настроить хранение данных.

Как устроен образ Docker

Базовый образ — главный элемент контейнеризации в Docker. В нем содержатся процессы и зависимости, необходимые для нормальной работы приложения. Разработчики предпочитают скачивать готовые образы из репозиториев, а не создавать их с нуля, так как уже есть огромное количество готовых компонент для самых разных задачи. Например, в Docker Hub уже загружено свыше 100 000 образов.

Образ — это неизменяемые слои, которые доступны только для чтения. А контейнер — это тот же самый образ, у которого «сверху» есть еще один слой для записи. Контейнер использует его, когда ему нужно сохранить информацию в процессе своей работы: логи, временные файлы и так далее. Если контейнер уничтожится, то этот слой и вся информация на нем тоже пропадут. А когда из этого же образа создастся новый контейнер, слой для записи у него будет новый и пустой.

На базовый образ в Docker один за другим накладываются доступные только для чтения слои, которые образуются после любых изменений в образе. Каждый новый слой — это актуальная версия образа. Получается, что финальный образ — это объединение всех слоев в один. Каждый слой образа сохраняется, чтобы при необходимости быстро откатываться назад. Такое решение экономит пространство диска и сокращает время сборки контейнера.

Если образ — это набор доступных только для чтения слоев, то контейнер представляет собой тот же образ, но с еще одним слоем сверху — с возможностью записи. Информация записывается в контейнер, а когда он уничтожается, верхний слой и содержащиеся в нем данные пропадают. В случае необходимости создается новый (чистый) контейнер из старого образа.

Когда к Docker-образу добавляется слой для записи, получается Docker-контейнер

В Dockerfile записываются команды и опции создания образа, а также некоторые настройки будущего контейнера, такие как порты, переменные окружения и другие опции.

Каждая команда записанная в dockerfile создаёт свой слой. Чем больше слоёв, тем дольше будет собираться образ и дольше загружаться контейнер. Финальный Docker-образ — это объединение всех слоев в один. Благодаря такому подходу можно переиспользовать уже готовые образа для создания новых образов.

В любом образе Docker хранится Docker manifest. Это JSON-файл, содержащий информацию об образе: ссылки на каждый существующий слой, данные об их размере, хеш, а также сведения о платформе, на которой он будет работать.

Теория создания образа Docker

Развертывать образ можно любое количество раз на любом хосте. Для создания образа используется один из двух способов: интерактивный или через Dockerfile.
Для работы с контейнерами Docker предоставляет всего несколько основных команд: docker run/stop/restart.

Интерактивный — простой способ, при котором разработчик сам изменяет среду окружения во время запуска контейнера. После запуска Docker в сессии терминала запустите оболочку контейнера (bash) командой docker run image_name: tag_name. Имя тега можно не указывать, тогда задействуется текущая версия образа.

Вариант с Dockerfile сложнее. Вы уже знаете, что каждому образу присваивается свой Dockerfile. После указания нужных команд в Dockerfile, исключите в .dockerignore все файлы, не используемые в сборке. Затем создайте образ командой docker image build, присвойте ему имя и тег.

Но как же быть, если мы хотим, скажем, запускать базы данных или иные приложения в контейнере, для которых важна целостность данных? Docker предлагает два решения:

Монтирование папки с хоста к контейнеру. Такое решение отлично подходит для разработки и отладки приложения, когда вносимые изменения на хосте сразу отражаются в контейнере. Конечно, для продакшна такой подход не годится.
Создание специальных томов для хранения данных — Docker volume. DV — это обычные каталоги хоста, которые могут быть смонтированы как отдельные файловые системы (bind mounting) внутри контейнера.

Docker-контейнеры могут не только хранить информацию в специальных томах, но и использовать их совместно с другими контейнерами. Всеми процессами коммуникации между контейнерами управляет демон Docker. Именно он создает и запускает контейнеры.

По умолчанию демон Docker использует собственный драйвер Docker runc, который тесно связан со следующими механизмами ядра:

Cgroups (контрольные группы) — механизм управления ресурсами, используемыми контейнером (процессор, оперативная память и т.д.). С помощью cgroups Docker также реализует возможность остановки контейнеров — docker pause (freezing и unfreezing).
Namespaces (пространства имен) — механизм изоляции контейнеров, гарантирующий, что файловая система, имя хоста, пользователи, сетевая среда и процессы любого контейнера полностью отделены от остальной части системы.

Ещё одна технология, которую Docker использует для хранения слоев в контейнере — файловая система с каскадно-объединенным монтированием (Union File System – UnionFS). Как видите Docker умело использует уже хорошо работающие технологии, и в этом его сила.

Сами по себе контейнеры не эфемерны, более того Docker их не скрывает и вы можете совершенно спокойно заглянуть в них. Они располагаются здесь: /var/lib/docker/containers. Обращаться к контейнеру как к набору файлов бывает полезно, когда вам нужно прочитать логи контейнера.

Dockerfile — это конфигурационный файл с инструкциями по созданию Docker-образов. Почти каждая команда инструкции создаёт новый слой в образе. Это нужно для дальнейшего использования уже готовых слоев.

Например, мы изменили последнюю инструкцию в Dockerfile и собрали образ заново. Docker не будет заново всё пересобирать. Он возьмет все предшествующие слои и переиспользует их. Вот как образно выглядит соотношение инструкций в Dockerfile со слоями в Docker-образе:

Существуют определенные правила и логика заполнения Dockerfile. Разберем базовые инструкции на примере Dockerfile с иллюстрации выше.

1. FROM

Любой код или набор инструкций выполняется сверху вниз. Поэтому Dockerfile всегда начинается с открывающей инструкции FROM, которая говорит демону Docker, какой образ для основы нужно взять. Если образа локально нет — он будет скачан с Docker hub.

2. RUN

Далее идет инструкция RUN с определенной командой. В нашем случае мы использовали команду mkdir -p для создания папки /app. Инструкций RUN может быть неограниченное количество, но стоит помнить, что каждая инструкция создает свой слой, поэтому хорошей практикой является запись цепочки команд через &&: RUN comand_1 && comand_2 && comand_3.

3. WORKDIR

Есть инструкции логически связанные между собой. Инструкция WORKDIR устанавливает активный рабочий каталог. Все последующие команды, такие как COPY, RUN, CMD и некоторые другие будут выполнены из рабочего каталога, установленного через WORKDIR.

4. COPY

С инструкцией COPY всё просто. Первым аргументом указывается папка для копирования, а вторым аргументом — папка в контейнере куда будут помещены файлы из копируемой директории. В нашем случае, из текущего каталога (“.” — каталог, в котором находится пользователь, “..” — каталог выше относительно “.”.), в котором находится пользователь, был скопирован файл requirements.txt и помещен в папку /app в контейнере.

5. RUN

Инструкцию RUN мы рассмотрели ранее. Тут лишь хотим обратить ваше внимание на её поведение в сочетании с инструкцией WORKDIR. Ранее инструкция COPY перенесла файл requirements.txt в контейнер. Кстати, в качестве финального пути мы могли указать “.”, так как инструкция WORKDIR установила в качестве рабочей директории контейнера папку /app. И теперь команда RUN будет выполнена именно из директории /app.

6. CMD

Финальной инструкцией в любом Dockerfile является CMD или ENTRYPOINT. В отличие от других инструкций CMD может быть только одна и она может быть переопределена при старте контейнера командой docker run. Инструкция CMD наследует условия установленные инструкцией WORKDIR.

Не все инструкции указанные в Dockerfile непосредственно исполняются при сборке образа и запуске контейнера. Например, инструкция EXPOSE лишь говорит демону Docker, что мы намереваемся пробросить указанный нами порт наружу контейнера — EXPOSE 80. В этом примере мы хотим пробросить порт 80 изнутри контейнера наружу.

Однако после запуска контейнера «постучаться» на 80 порт к нему мы не сможем. Так как для подтверждения инструкции EXPOSE используется ключ -P команды docker run. Если требуется прокинуть порт и переназначить его снаружи — используется следующая команда: docker run -p 80:80 --name test_cont -d.

Сервисы для работы с контейнерами

Использование образов и контейнеров позволяет организовывать сложную архитектуру приложений. Чем сложнее проект, тем труднее им управлять. Есть сервисы, позволяющие упростить и автоматизировать работу с контейнерами.

Docker Compose

В составе Docker есть инструмент, который позволяет централизованно запускать большое количество сервисов: Docker Compose. Документирование и конфигурирование сервисов приложения осуществляется с помощью текстового YAML-файла. Команда docker‑compose up развертывает сервисы приложений и создает из образа новые контейнеры, а также сети, тома и все конфигурации, указанные в файле Docker Compose.

На этапе тестирования разработчикам приходится создавать изолированные среды, а потом уничтожать их. Docker Compose позволяет создать и уничтожить среду путем ввода нескольких команд. К участию в проекте можно привлекать и сторонних пользователей.

Yandex Container Registry

Поддерживает управление через интерфейс консоли, командной строки (CLI) и командной строки Docker на основе Docker Registry HTTP API V2, работу через API.

Доступны контейнеры с ОС Linux и Windows, которые можно запускать локально или на виртуальных машинах Yandex Compute Cloud.

Оркестрация

Когда контейнеров становится слишком много, ими трудно управлять. На помощь приходят системы оркестрации.

Docker Swarm

Стандартная система оркестрации контейнеров, достаточная для решения базовых задач. Позволяет быстро создать из нескольких хостов с контейнерами последовательный кластер Swarm, считая все кластерные хосты единым контейнерным пространством. В Docker-кластере должна быть как минимум одна управляющая нода (manager).

Kubernetes

Платформа для автоматизации работы с контейнерами на Ubuntu, CentOS и других ОС Linux. Позволяет централизованно группировать контейнеры, балансировать нагрузку, активировать сервисы из сотен приложений одновременно. Kubernetes предоставляет пользователям больше возможностей по сравнению со Swarm, но и настраивать его сложнее.»

OpenShift

OpenShift — это открытая и расширяемая платформа приложений-контейнеров, которая позволяет использовать Docker и Kubernetes на предприятии.

OpenShift включает Kubernetes для оркестрации контейнеров и управления ими. Здесь добавлены инструменты для разработчиков и операций, позволяющие:

быстро разрабатывать приложения;
легко развертывать и масштабировать решения;
обслуживать жизненный цикл команд и приложений в долгосрочной перспективе.

Существует несколько доступных версий OpenShift: платформа контейнеров OpenShift и OKD (прежнее название OpenShift Origin).

Как Docker помогает на практике?

Приведу несколько примеров использования Docker, которые хорошо иллюстрируют его преимущества.

Разработка приложений с зависимостями

Обычно, чтобы установить какую-то библиотеку или базу данных, разработчику нужно прочитать инструкцию на сайте. Он её скачивает, устанавливает, настраивает и запускает. А когда нужно перейти на другую зависимость — удаляет. И так приходится возиться с каждой зависимостью.

Docker предоставляет альтернативный путь. Вендоры библиотек, фреймворков и баз данных практически каждый день публикуют на Docker Hub свой софт в виде Docker image. Образ можно скачать и развернуть через Docker, поработать с ним, запушить, а потом остановить или удалить, и в операционной системе не останется никаких следов.

Единый интерфейс управления исключает необходимость индивидуальных команд. Достаточно выучить команды Docker: как скачивать образы, запускать контейнеры, пробрасывать, останавливать и удалять порты. С Docker можно запустить сколько угодно одинаковых баз внутри одной операционки. Благодаря изоляции, если что-то пойдёт не так, ошибки не затронут операционную систему и ничего не сломают.

Автоматизация тестирования

Чтобы запустить автотесты, требуются определённые зависимости, например базы данных, брокеры сообщений и тому подобное. Их необходимо предварительно установить и сконфигурировать на сервере сборки. В этом месте иногда возникают проблемы: если при настройке упустить какую-то деталь, то можно испортить данные или что-то поломать. Гораздо безопаснее автоматически развернуть зависимости в виде контейнера прямо на сервере. Это позволяет быстро прогнать тесты, а после — бесследно удалить контейнеры.

Даже если тесты «сломают» какие-то данные, они удалятся вместе с контейнером. Кроме того, сам сервер с Docker, на котором запускаются автотесты, станет универсальным. Ведь благодаря контейнеризации на нём можно будет запускать что угодно. А значит, вы сэкономите на железе и настройке системы.

Публикация приложения

После тестирования проект упаковывают в образ и публикуют, передают клиентам или инфраструктурным инженерам.

Docker упрощает дальнейшее развёртывание приложения. SRE не нужно думать, какие зависимости установить, ведь всё уже упаковано в образ. Для них это чёрный ящик, который они обновляют единообразно и автоматически через одни и те же команды.

Среда для деплоя тоже становится универсальной, потому что всегда имеет дело только с контейнерами. Сегодня в ней развернули один контейнер, завтра — другой. При этом в контейнерах могут быть упакованы совершенно не похожие друг на друга приложения.

Минусы Docker

Как известно, за удовольствие приходится платить. И Docker — не исключение.

Высокое потребление ресурсов. Docker создаёт дополнительную логическую прослойку и потребляет дополнительные ресурсы. Поэтому вы должны определить, что для вас более важно — ресурсы или удобства. Если ресурсов с запасом, можно смело ставить Docker — будете удобно обновлять и версионировать приложения, не боясь испортить операционную систему. Если же ресурсы в дефиците, то лучше использовать классическую схему установки приложений.

Для больших приложений нужен оркестратор. Docker подходит для запуска нескольких контейнеров. В стандартной поставке Docker Compose есть механизм, который позволяет управлять их запуском с помощью конфигурационного файла YAML. Но этот механизм простой, он не потянет приложение, включающее 50–100 сервисов. У Docker не хватит механизмов управления и распределения ресурсов, резервирования и отказоустойчивости, чтобы реализовывать разные схемы обновления контейнеров.

В больших приложениях с микросервисной архитектурой используют оркестраторы Kubernetes или OpenShift. Единицей управления в Kubernetes является контейнер Docker, но на голом Docker прод практически никто не держит. Когда-то в России были такие компании — они рассказывали о своём травмирующем опыте на конференциях :)

Kubernetes — это мощный слой абстракции над железом, альтернатива гипервизорам у виртуалок. Он позволяет настраивать политики безопасности, реализует различные схемы обновления и позволяет гибко управлять ресурсами.

Проблемы с установкой на Windows и macOS. Как я сказал ранее, Docker создавался под Linux. На других операционках он не поддерживает некоторые типы сетей. В большинстве случаев никто этого не заметит, но об этом ограничении нужно помнить. Также на некоторых устройствах возникает конфликт с Virtual Box при установке Docker на Windows.

Аналоги Docker

Docker стал стандартом де-факто в мире контейнеров. Часто, когда говорят про контейнеры, подразумевают именно Docker-контейнеры. Но это не единственная реализация технологии контейнеризации, есть и другие:

PodManИмеет интерфейс командной строки, который очень похож на команды Docker. Основное отличие от докера заключается в том, что у Podman нет отдельного демона, это самостоятельная утилита. Podman используется как инструмент управления контейнерами по умолчанию в дистрибутиве Fedora Linux.
LXCСистема виртуализации на уровне ОС, а не самостоятельная платформа, как Docker. Она создает отдельное виртуальное окружение с собственным пространством процессов и сетевым стеком, в котором все контейнеры используют один экземпляр ядра ОС. LXC часто рассматривается как среднее между chroot и полноценной виртуальной машиной.
rktДвижок, который изначально был ориентирован на современные облачные приложения. В 2019 году разработка прекратилась, и движок переведен в архив. Возможно, еще можно встретить проекты, где он используется. Но в новых разработках rkt уже не стоит выбирать.

Docker подходит для облаков

Докер-контейнеры можно запускать не только на своих серверах, но и в облаке. Во-первых, это позволит не заниматься выбором, покупкой и настройкой серверов. Во-вторых, у облачных провайдеров разработано много готовых сервисов, которые позволяют получить дополнительные преимущества.

Как изучать Docker

Я рекомендую изучать Docker по книгам, сайтам и закреплять прочитанное на практике.

Книги. Есть две хорошие книги — Using Docker и Docker in Action. Правда, они немного устарели (опубликованы в 2018–2019 годах), поэтому там может быть неактуальная информация. Надеюсь, скоро будет переиздание.

Сайт docker.com — основной сайт Docker. На нём есть справочники и референсы по Docker, Docker-файлам, образам и Docker Compose. Читаете книгу, проверяете на сайте актуальность команд и изучаете примеры.

Упражнения.

Установите Docker на рабочий компьютер. Возьмите готовый Docker image с Docker Hub с базой данных и запустите на его основе контейнер. Это можно сделать по инструкции, которую производитель image выкладывает на Docker Hub. Затем подключитесь к запущенной БД каким-нибудь клиентом и убедитесь, что всё работает.
Напишите простенький сервис REST API и Docker-файл для упаковки сервиса в образ, подглядывая в референсы или книгу. Ваша задача — разобраться в теории, получить Docker image и проставить теги.
Из полученного ранее образа создайте и запустите контейнер. Вам придётся разобраться с параметрами команды Docker run, настройками портов, передачей переменных окружению, монтированием и основными параметрами. Также стоит научиться подключаться к контейнеру, выполнять bash-команды и смотреть логи приложения.
Усложните тестовый сервис, научив его работать с базой данных. Затем разверните контейнеры с сервисом и базой данных и соедините их внутренней сетью. Простое и в то же время очень полезное упражнение, на котором очень часто возникают затруднения на собеседованиях.
Переходим к Docker Compose. Посмотрите, как написать YAML и создать группу контейнеров, как соединять их в сеть и работать с маунтами.
Опубликуйте свой Docker image в Docker Hub. На одном аккаунте можно бесплатно публиковать только один образ, но есть GitLab, где нет таких ограничений. Правда, он устроен немного сложнее, новичок может запутаться. Ещё в том же GitLab можно создать приватный registry-режим и публиковать проекты без ограничений.

Docker. Запускаем скрипт Bash внутри контейнера.

2021-07-27T06:39:18.233Z

Мы создадим небольшое приложение на bash, обернем его в образ и запустим.

В первую очередь эта статья будет полезна тем, кто уже знаком с контейнерами или Docker.

Требования

Все что требуется от сервера, чтобы запустить Docker – более-менее современная ОС Linux с ядром не ниже 3.8.

Для того чтобы выполнить необходимые действия, вам понадобятся:

установленная ОС Centos 7 с пользователем, который может выполнять команды sudo, и фаерволом;

По умолчанию для выполнения команды docker необходимо иметь root-привилегии. Однако команду можно выполнять и без добавления sudo, если работать от имени пользователя, который находится в группе "docker".

В данном руководстве предполагается, что сервер настроен так, чтобы выполнять команду docker можно без использования sudo.

Для такой настройки вам нужно ввести:

$ sudo usermod -aG docker ${USER}

Текущий пользователь будет добавлен в группу "docker". Для того чтобы изменения вступили в силу, выполните команду:

$ su - ${USER}

Есть много способов гарантировать, что изменения вступят в силу, однако самый безопасный способ - перезагрузить компьютер. После перезагрузки вы должны теперь иметь возможность использовать докер со своим "обычным" пользователем (обратите внимание, что sudo не используется):

$ docker run hello-world

Шаг 1. Установка Docker

Для начала необходимо установить Docker Engine

Следующим этапом устанавливаем Docker Compose

Для того чтобы посмотреть версию Docker Engine и Tools, введите:

$ docker info && docker version

Если нужно удалить все пакеты Docker, которые, возможно, были установлены ранее:

$ apt-get remove docker docker-engine docker.io

А затем уже перейти к установке самого Docker.

Создадим структуру нашего проекта.

У меня есть каталог, содержащий только два файла, Dockerfile и sayhello.sh:

.
├── Dockerfile
└── sayhello.sh

sayhello.sh содержит просто вывод сообщения в терминал.

#!/bin/sh
echo "hello from $HOSTNAME"

Если вы используете ОС Alpine то можете сразу запустить контейнер
docker run -it --rm -v $(pwd):/src alpine /project/hello.sh

Dockerfile содержит организацию рабочего пространства внутри нашего контейнера.

# Для начала укажем базовый образ
# centos — это название официального репозитория Docker, 
# предоставляющего базовую версию популярной ОС семейства Linux
FROM centos:7
# Устанавливаем рабочую директорию для проекта в контейнере 
WORKDIR /project
# |ВАЖНЫЙ МОМЕНТ| копируем содержимое папки, где находится Dockerfile,  
# в рабочую директорию контейнера
COPY . /project
# команда для запуска приложения
# Главное предназначение CMD — это сообщить контейнеру какие команды 
# нужно выполнить при старте
CMD ["sayhello.sh"]

Теперь можно создать образ. Команда docker build занимается сложной задачей создания образа на основе Dockerfile

Перед тем, как запустите команду сами (не забудьте точку в конце)

Команда docker build довольно проста: она принимает опциональный тег с флагом -t и путь до директории, в которой лежит Dockerfile.

$ docker build \
--build-arg ARTIFACTORY_USERNAME=timothy.mugayi \
--build-arg ARTIFACTORY_SECRET_TOKEN=AP284233QnYX9Ckrdr7pUEY1F \
--build-arg LICENSE_URL='https://source.com/license.txt' \
--no-cache  -t helloworld:latest.

Это создаст образ Docker с опциональными аргументами сборки. Docker будет по умолчанию кэшировать результаты для первой сборки Dockerfile или последующих сборок, основанных на слоях, добавленных к образу через команду run в Dockerfile, что позволит этим сборкам работать быстрее. Если вам это не нужно, можете добавить аргумент “no-cache”, как это сделано в примере выше.

Заметка: команды Docker могут быть выполнены по имени или по ID контейнера. <CONTAINER> допускает подстановку либо ID контейнера, либо его имени.

Dockerfile успешно построен:

kurtpeek@Sophiemaries-MacBook-Pro ~/d/s/trybash> docker build --tag trybash .
Sending build context to Docker daemon 3.072 kB
Step 1/3 : FROM alpine
 ---> 665ffb03bfae
Step 2/3 : COPY sayhello.sh sayhello.sh
 ---> Using cache
 ---> fe41f2497715
Step 3/3 : CMD sayhello.sh
 ---> Using cache
 ---> dfcc26c78541
Successfully built dfcc26c78541

Если все прошло хорошо, то образ готов! Запустите docker images и увидите свой образ в списке.

Последний шаг — запустить образ и проверить его работоспособность (замените username на свой):

$ docker run

Поздравляю! Вы успешно создали свой первый образ Докера!

link: https://devopscube.com/run-scripts-docker-arguments/

(LFCS) 6. Storage Management - 13%

2021-06-18T12:55:43.097Z

Linux Foundation Certified System Administrator (LFCS)

1. Essential Commands - 25%
2. Operation of Running Systems - 20%
3. User and Group Management - 10%
4. Networking - 12%
5. Service Configuration - 20%
6. Storage Management - 13%

6.1 List, create, delete, and modify physical storage partitions
6.2 Manage and configure LVM storage
6.3 Create and configure encrypted storage
6.4 Configure systems to mount file systems at or during boot
6.5 Configure and manage swap space
6.6 Create and manage RAID devices
6.7 Configure systems to mount file systems on demand
6.8 Create, manage and diagnose advanced file system permissions
6.9 Setup user and group disk quotas for filesystems
6.10 Create and configure file systems

6.1 List, create, delete, and modify physical storage partitions

lsblk lists all available disk devices plus available partitions
fdisk it is used to manage disk partition in MBR modality

E.g. fdisk /dev/sdaThis will open an interactive menu that will permit to show current status of partitions or create a delete new partitions

gdisk it is used to manage disk partition in GPT modality

E.g. gdisk /dev/sda

Destroy all MBR partition on a disk

gdisk /dev/sda -> x (expert) -> z (zap)

Convert MBT to GPT

gdisk /dev/sda -> W -> Y

6.2 Manage and configure LVM storage

Before create a Logical Volume must be created in sequence a physical volume and after a volume group
A physical volume is a partition that can be part of volume group. Inside a volume group can be created logical volume
The advance of logical volume is that their dimension can be managed easly
If more space is need a volume group can be extended as well

Physical Volume

pvcreate /dev/sdb1To create a physical volume with partition sbd1
pvs lists available physical volumes
pvdisplay /dev/sdb1 shows info of a physical volume

Volume Group

vgcreate vgname /dev/sdb1To create a volume group called vgname and add the sdb1 physical volume to it
vgs lists available volume groups
vgdisplay vgname shows info of a volume group
vgextend vgname /dev/sdc3 extends a volume group adding a new physical volume /dev/sdc3

Logical volume

lvcreate -n volumename -L 10G vgnameTo create a logical volume called volumename of size 10GB on volume group vgname
lvcreate -n volumename -l 100%FREE vgnameTo create a logical volume called volumename with all available space on volume group vgname
lvs list available logical volumes
lvdisplay shows info of all logical volumes
lvdisplay vgname/volumename shows info of a logical volume volumename contained in vgname volume group
Before use a logical volume, a file system must be created on it
blkid /dev/vgname/volumename shows the UUID of a formatted volume group
lvextend -L +1G -r vgname/volumename extends the logical volume volumename of one giga

-r is used to resize file system

lvreduce -L -1G -r vgname/volumename reduce the logical volume volumename of one giga

6.3 Create and configure encrypted storage

To use encrypted storage a kernel module must be loaded

sudo modprobe dm_crypt Loads kernel module dm_crypt
echo dm_crypt >> /etc/modules-load.d/dm_crypt.conf to load dm_crypt module automatically when system will be restarted
lsmod lists all loaded kernel modules

yum -y install cryptsetup install software used to manage encrypted storage

Encrypt

cryptsetup luksFormat /dev/vgname/volumename encrypts a logical volume volumename contained in vgname volume group

A password must be provided
When confirmation will be required insert a capital YES
NOTE: this command can be used with physical volume as well

cryptsetup open --type luks /dev/vgname/volumename namenewdeviceIt open encrypted volume and associate it to a new device called namenewdevice

Password must be provided

mkfs.ext4 /dev/mapper/namenewdeviceIt creates a file system in namenewdeviceNow new the new device can be mounted

Close device

Unmount device
cryptsetup close namenewdeviceclose namenewdevice

Automount

echo "passwd" >> /root/key Insert a string that will be used that will be used as authentication key to open device
chmod 400 /root/key reduces permission on key file
cryptsetup luksAddKey /dev/mapper/namenewdevice /root/key add key to encrypted device called namenewdevice
Edit /etc/crypttab and add below row:

namenewdevice /dev/vgname/volumename /root/key

Add below row to /etc/fstab

/dev/mapper/namenewdevice /mnt/mountpoint ext4 defaults 0 0

Reboot system or reload system manager

systemctl daemon-reload

The new encrypted volume will be mounted on /mnt/mountpoint

6.4 Configure systems to mount file systems at or during boot

Edit /etc/fstab adding a row similar to:

/dev/sdb1 /mnt/mountpoint ext4 defaults 0 0

Mount device sdb1 to mountpoint.
Device is formatted using ext4 filesystem.
Default mount options are used
0 0 -> Dump (bkp) and fsck.

First 0 means no backup required
Second 0 means no fsck required in case of not correct umount. To enable fsck insert 2 because number indicate the check order, and 1 is given to operating system disk and two do data disks

mount shows mounted volumes
mount -a reloads /etc/fstab
mount -t type -o options device dir

It mounts a device formatted with file system type on directory dir using a list of options
options can be:

async -> I/O asincrono
auto -> Can be mounted using mount -a
default ->Equal to this list of options: async,auto,dev,exec,nouser,rw,suid
loop -> To mount an ISO image
noexec -> no exec
nouser -> A user cannot mount this volume
remount -> Mount volume also if it is already mounted
ro -> Read only
rw -> Read an write
relatime -> Modify file access time (atime) if file is changed or one time a day. Alternative, to reduce disk traffic, noatime can be used. This is useful with SSD to avoid not useful write.

SMB protocol

yum -y install samba-client cifs-utils it installs software need to manage CIFS/SMB protocol
smbclient -L targetIPIt lists all SMB shared directory available on a target IP

root password must be provided

mount -t cifs -o username=smbuser,password=1234pwd //192.168.0.10/share /media/sambaIt mounts a directory share, shared by server 192.168.0.10 on samba directory. User and password to authentication are provided
Permanent configuration

echo "username=smbuser" >> /media/smb/.smbconf
echo "password=1234pwd" >> /media/smb/.smbconf
chmod 600 /media/smb/.smbconf
In /etc/fstab insert:

//192.168.0.10/share /media/samba cifs credentials=/media/samba/.smbcredentials,defaults 0 0

NFS protocol

yum -y install nfs-utils it install software to manage NFS protocol
showmount -e targetIPIt lists all NFS shared directory available on a target IP
mount -t nfs -o defaults 192.168.0.10:/srv/nfs /media/nfsIt mounts a directory nfs, shared by server 192.168.0.10 on nfs directory
Permanent configuration

In /etc/fstab insert:

192.168.0.10:/srv/nfs /media/nfs nfs defaults 0 0

To user NFSv3 insert:

192.168.0.10:/srv/nfs /media/nfs nfs defaults,vers=3 0 0

6.5 Configure and manage swap space

To use a device as swap space:

mkswap /dev/sdb3
swapon -v /deb/sdb3
In /etc/fstab insert:

/dev/sdb3 swap swap defaults 0 0

6.6 Create and manage RAID devices

Concepts:

Parity disk. It is used to provide fault tolerance.
The spare device. It not take part of RAID and it is used only in case of a disk fault. In this case spare enter in the RAID and the content of lost disk is reconstructed and saved on it.
yum -y install mdadm installs software to manage RAID devices
RAID 0 - Striped - No spare

mdadm --create --verbose /dev/md0 --level=stripe --raid-devices=2 /dev/sdb1 /dev/sdc1

RAID 1 - Mirror

mdadm --create --verbose /dev/md0 --level=1 --raid-devices=2 /dev/sdb1 /dev/sdc1

RAID 5 - (1 parity + 1 spare)

mdadm --create --verbose /dev/md0 --level=5 --raid-devices=3 /dev/sdb1 /dev/sdc1 /dev/sdd1 --spare-devices=1 /dev/sde1

RAID 6 - (2 parity + 1 spare)

mdadm --create --verbose /dev/md0 --level=6 --raid-devices=4 /dev/sdb1 /dev/sdc1 /dev/sdd1 /dev/sde --spare-devices=1 /dev/sdf1

RAID 10 - (Stripe + Mirror + 1 spare)

mdadm --create --verbose /dev/md0 --level=10 --raid-devices=4 /dev/sd[b-e]1 --spare-devices=1 /dev/sdf1

mdadm --detail /dev/md0 shows status of RAID device
To use device md0, format it and use as a classical device

Monitoring RAID devices

mdadm --assemble --scan
mdadm --detail --scan >> /etc/mdadm.conf
echo "MAILADDR root" >> /etc/mdadm.conf
systemctl start mdmonitor
systemctl enable mdmonitor

Add disk

mdadm /dev/md0 --add /dev/sbc2
mdadm --grow --raid-devices=4 /dev/md0It adds a spare disk and after it grows array

Remove disk

mdadm /dev/md0 --fail /dev/sdc1 --remove /dev/sdc1mdadm --grow /dev/md0 --raid-devices=2It mark disk as failed and remove it. After the size of array must be adjusted

Delete RAID

Unmount device
mdadm --stop /dev/md0
mdadm --zero-superblock /dev/sbc2 It clean partition that, after, can be reused

References:

https://raid.wiki.kernel.org/index.php/A_guide_to_mdadm

6.7 Configure systems to mount file systems on demand

yum -y install autofs installs software need to manage automount

Automount NFS directory

Edit /etc/auto.master and insert:

/media /etc/nfs.misc --timeout=60

Edit /etc/nfs.misc and insert:

nfs -fstype=nfs 192.168.0.10:/srv/nfs

systemctl start autofs

6.8 Create, manage and diagnose advanced file system permissions

ACL Access control list

They must be supported by filesystem
With some old filesystem a mount option (e.g. acl) must be provided to enable ACL
getfacl file shows ACL applied to a file
setfacl -R -m g:sales:rx file set ACL on file

-R recursive, if file is a directory, ACL will be applied to all file inside it
-m modify
g:sales:rx group sales can read and execute

g group
u user
o other

setfacl -m u:dummy:- file remove all permissions of user dummy.
setfacl -m d:g:sales:rx directory set a default ACL to a directory. In this way all files created inside it will have same ACL as defaultThe default ACL is a specific type of permission assigned to a directory, that doesn’t change the permissions of the directory itself, but makes so that specified ACLs are set by default on all the files created inside of it
If an ACL is applied, when ls -la is executed an + is inserted after other permissions
setfacl -x u:test:w test remove ACL
setfacl -b file removes all ACL

Extended attributes

They are file properties
With some old filesystem a mount option (e.g. user_xattr) must be provided to enable extended attributes
Only root user can remove an attribute
chattr +i file add immutable attribute to a file. It cannot be deleted or removed
chattr -i file remove immutable attribute from a file.
lsattr file shows file's extended attributes

6.9 Setup user and group disk quotas for filesystems

Quota: space that can be used by an user on one specific filesystem

NOTE: To limit space in a directory it is better create a specific mount point with a specific partition

yum -y install quota installs software need to manage quota
usrquota,grpquota mount options must be inserted for filesystem to which enable quota (e.g. editing /etc/fstab)
After that options are inserted, remount partition to enable them
After remount execute quotacheck -mavug that check used blocks and inserted them in a tracking file

Two files will be created:

aquota.group
aquota.user

quotaon -a start quota system

Alternative:
quotaon -vu /mnt/mountpoint it starts only quota user for specific mountpoint
quotaon -vg /mnt/mountpoint it starts only quota group for specific mountpoint

quota -vu user shows user's quota
The quota is specified in blocks of 1K size and in number of inode that is the number of files that can be created
Hard limit: maxim value allowed
Soft limit: a limit that can be exceeded for a grace period. Default grace period is a week
When grace period is reached, soft limit become and hard limit
edquota -t Edit the grace period. Is an unique value for all system
edquota -u user edit user's quota

In each column can be insert a value for soft and hard limit for blocks and inode
NOTE: Normally soft and hard limits are configured equal to avoid confusion

repquota -aug It shows an overview of current quota for each users

6.10 Create and configure file systems

mkfs.ext4 /dev/sdb1 creates an filesystem ext4 on sdb1 partition
fsck.ext4 /dev/sdb1 checks the integrity of sdb1 filesystem

(LFCS) 5. Service Configuration - 20%

2021-06-18T12:46:51.467Z

Linux Foundation Certified System Administrator (LFCS)

1. Essential Commands - 25%
2. Operation of Running Systems - 20%
3. User and Group Management - 10%
4. Networking - 12%
5. Service Configuration - 20%

5.1 Configure a caching DNS server
5.2 Maintain a DNS zone
5.3 Configure email aliases
5.4 Configure SSH servers and clients
5.5 Restrict access to the HTTP proxy server
5.6 Configure an IMAP and IMAPS service
5.7 Query and modify the behavior of system services at various operating modes
5.8 Configure an HTTP server
5.9 Configure HTTP server log files
5.10 Configure a database server
5.11 Restrict access to a web page
5.12 Manage and configure containers
5.13 Manage and configure Virtual Machines

6. Storage Management - 13%

5.1 Configure a caching DNS server

Linux DNS server is bind

yum -y install bind bind-utils

Main configuration file /etc/named.conf
Most important configurations:

options {
        listen-on port 53 { 127.0.0.1; 192.168.0.0/24; };
		...
        allow-query        { localhost; 192.168.0.0/24; };
        allow-query-cache  { localhost; 192.168.0.0/24; };
		...
        recursion yes;
        forwarders {
                8.8.8.8;
                8.8.4.4;
        };
		...
};

zone "test.com." IN {
        type master;
        file "/var/named/test.com.zone";
};

zone "0.168.192.in-addr.arpa" IN {
        type master;
        file "/var/named/rev.test.com.zone";
};

listen-on port 53 tell on which network interfaces and port to accept client queries.
allow-query defines the networks from which clients can post DNS requests.
allow-query-cache defines the addresses/networks from which clients are allowed to issue queries that access the local cache.
forwarders specifies the name servers to which DNS requests should be forwarded if they cannot be resolved directly.
zone contains domain configuration. After zone, specify the name of the domain to administer.

file specifies the file where zone data for the domain is located.

zone "0.168.192.in-addr.arpa" is the configuration for reverse zone or reverse lookup. A reverse zone allows DNS to convert from an address to a name.

0.168.192 must be substituted with the first three octets of whatever network addresses range are managed

systemctl start named start bind server

References:

5.2 Maintain a DNS zone

/var/named/test.com.zone

$TTL 3H
@       IN SOA  dns root.test.com. (
                                        0       ; serial
                                        1D      ; refresh
                                        1H      ; retry
                                        1W      ; expire
                                        3H )    ; minimum
        IN NS   dns
        IN MX   10 email

dns     IN A    192.168.0.29
email   IN A    192.168.0.29
web     IN A    192.168.0.29
www.web IN CNAME web

Line 2: This is where the SOA (start of authority) control record begins.

@ means that zone name will be extracted from the corresponding entry in /etc/named.conf (in this example test.com.)
dns is the name of authoritative server for the zone
root.test.com. an e-mail address of the person in charge of this name server. Because the @ sign already has a special meaning, . is entered here instead. For root@test.com the entry must readroot.test.com.

Line 8: The IN NS specifies the name server responsible for this domain (authoritative server)
Line 9: The MX record specifies the mail server that accepts, processes, and forwards e-mails for this domain
Last lines: These are the actual address records where one or more IP addresses are assigned to hostnames.

CNAMES maps a name on another name

/var/named/rev.test.com.zone contents:

$TTL 3H
@       IN SOA  dns.test.com. root.test.com. (
                                        0       ; serial
                                        1D      ; refresh
                                        1H      ; retry
                                        1W      ; expire
                                        3H )    ; minimum
        IN NS   dns.test.com.

29      IN PTR  dns.test.com.

Line 2: The configuration file should activate reverse lookup for the network 192.168.1.0. Given that the zone is called 1.168.192.in-addr.arpa, should not be added to the hostnames. Therefore, all hostnames are entered in their complete form—with their domain and with a . at the end. The remaining entries correspond to those described for the test.com. zone
Line 8: This line specifies the name server responsible for this zone. This time, however, the name is entered in its complete form with the domain and a . at the end.
Line 10: This is the pointer record hinting at the IP addresses on the respective hosts. Only the last part of the IP address is entered at the beginning of the line, without the . at the end.

NOTE: Examples of configuration files are contained in /usr/share/doc/bind-9.9.4/sample

bind directory name depends by installed version

To check name resolution is possible to use host

host name_to_resolve dns_server_ip
E.g. host dns localhost
E.g of reverse zone host 192.168.0.29 localhost

References:

https://www.pks.mpg.de/~mueller/docs/suse10.1/suselinux-manual_en/manual/sec.dns.zonefile.html

5.3 Configure email aliases

To manage mail spool

yum -y install mailx
mailx reads the user's mail spool

Send an email to spool

echo "Test" | mail -s "Oggetto" rootroot is target user

To create an alias edit file /etc/aliases

Add line like root: user,rootThis create an alias for root and this means that email for root will be sent to user and root mail spool
root: user@test.comWhit this syntax will be added a classical email address

At the end of changes to /etc/aliases execute newaliases to apply changes

5.4 Configure SSH servers and clients

/etc/ssh/sshd_config ssh server configuration file

PermitRootLogin no Disable root login with ssh client
PasswordAuthenticaion no Disable login with password. This means that only login with public and private keys is allowed

/etc/ssh/ssh_config ssh client configuration file

ForwardX11 yes allows use of X11 Server with ssh

Server management

systemctl status sshd to control ssh server status
systemctl stop sshd stop ssh server
systemct start sshd start ssh server
systemctl restart sshd restart ssh server

It must be executed each time configuration file will be changed

systemctl disable sshd disable the ssh server start at boot
systemctl enable sshd enable the ssh server start at boot

Client commands

ssh 129.123.123.123 it try to connect current user to an ssh server located on 192.123.123.123
ssh root@129.123.123.123 it try to connect root user to an ssh server located on 192.123.123.123
ssh -X root@129.123.123.123

-X enable X11 forwarding. This means that graphical application can be started
NOTE: It must be allowed on client configuration file as well.

First time that an ssh connection is established with a server, the server will send a public key that it is used to verify its identity.
The server public key is stored in the user's home inside file.ssh/know_hosts

E.g. /home/user/.ssh/know_hosts

Authentication with public/private keys

On the ssh client machine a couple of ssh public/private keys can be generated using ssh-keygen
The keys will be stored in the user's home inside directory .ssh

id_rsa private key
id_rsa.pub public key

ssh-copy-id 123.123.123.123 it is used to copy current user public key to home directory of same user on ssh server. The key will be stored in the user's home inside file .ssh/authorized_keys
After that public key is copied on the server, user can use ssh client to login into the server without providing password

scp

Secure copy. It use ssh to copy file on a server
scp /test/source 123.123.123.123:/dest It will copy local file /test/source in /dest directory on the server 123.123.123.123
scp 123.123.123.123:/source /dest It will copy source file from server to local directory dest

5.5 Restrict access to the HTTP proxy server

To enable the use of a proxy server environment variable http_proxy must be configured

export http_proxy=http://127.0.0.1:3128/ use a local proxy listening on port 3128
export http_proxy=http://username:password@192.168.0.1:8080/ use a remote proxy on server 192.168.0.1, listening on port 8080 that require user and password

unset http_proxy Disable use of proxy
The keep configuration permanent for all user insert variable configuration in /etc/environment

5.6 Configure an IMAP and IMAPS service

Server used to manage IMAP protocol is dovecot

yum -y install dovecot

Basic configuration

/etc/dovecot/dovecot.conf

protocols = imap pop3This will enable imap and pop3 protocol

/etc/dovecot/conf.d/10-mail.conf

mail_location = maildir:~/MaildirThis indicate to server where is located mail file

/etc/dovecot/conf.d/10-ssl.conf

Nothing to change, default configuration will enable ssl version of protocols that are enable in dovecot.conf

5.7 Query and modify the behavior of system services at various operating modes

/usr/lib/systemd/system contain unit file .service used by systemctl to start various service
/etc/systemd/system can contain unit file that "override" the files contained in /usr/lib/systemd/system. If a unit file for a service is present in this directory, it will be used in substitution of file present in /usr.
The correct way to permanently alter a start property of a service is to copy original file from /usr/lib/systemd/system to /etc/systemd/system and modify copy
From the output of system status service it is possible to find from which file service was started

Loaded show the name of .service file used

Under [install] session, voice WantedBy indicates for which target service is required
When a service is enabled, a symbolic link to file .service of service will be created in /etc/systemd/system/targetname.target.wants where targetname is the name of target for which service is required
Some service properties can be changed at runtime

systemctl set-property httpd.service MemoryLimit=500MCommand will change property and will create a file in /etc/systemd/system for future boot
system status service will show

Loaded will show the name of .service file used
Drop-in will show the change in /etc/systemd

systemctl list-dependencies service It will show service dependencies

5.8 Configure an HTTP server

Used server: Apache HTTP Server
yum -y install httpd will install server
systemctl start httpd will start server
/etc/httpd/conf/httpd.conf is the principal configuration file

ServerName localhost contains the local server name.

NOTE: it must correspond to an IP. Simple solution is to modify /etc/hosts to insert a name-IP mapping

Virtual host can be created inserting a file .conf in /etc/httpd/conf.d/

E.g. /etc/httpd/conf.d/file.conf

The file structure can be copied from /usr/share/doc/httpd-2.4.6/httpd-vhosts.conf

NOTE: The version depends by server version installed

Normally as DocumentRoot, directory that will contain site's files, it will be used a directory in /var/www

5.9 Configure HTTP server log files

E.g.

ErrorLog /var/log/httpd/example.com_error_log
LogFormat %s %v combined
CustomLog /var/log/httpd/example.com_access_log combined

This will generate store Error log in /var/log/httpd/example.com_error_log
Plus will generate a log with a custom format in /var/log/httpd/example.com_access_log

Normally log are stored in /var/log/httpd
yum -y install httpd-manual will install httpd manuals
Manuals are in http format
In /usr/share/httpd/manual/vhosts are stored manual for vhost

5.10 Configure a database server

Used database: MariaDB
yum -y install mariadb mariadb-server will install database
systemctl start mariadb will start database
mysql -u root -p will connect to database as root database user

Default password is blank

mysql_secure_installation improves MariaDB security

It will permit to configure root password

5.11 Restrict access to a web page

Edit /etc/httpd/conf/httpd.conf and change

<Directory "/var/www">
	AllowOverride All

In subdirectory of /var/www where site pages are contained create a file .htaccess whit follow content:

Order Deny, Allow
Deny from 192.168.3.1

This will deny accesso to pages from IP 192.168.3.1 and allow access from all other IPs

Alternatively:

Order Allow, Deny
Allow from 192.168.3.1

This will allow access to pages from IP 192.168.3.1 and deny access from all other IPs

5.12 Manage and configure containers

Concepts:

Images: Read only template used to create container.
Container: Isolated application platform, it contains all the need to execute application

yum install docker It will install docker
systemctl start dockerIt start docker
docker version to test if docker is working properly
usermod -aG dockerroot user

This will enable user to use docker

docker search java

Search java image in docker hub

docker images

List local images

Run container, examples:

docker run busybox ls
docker run busybox echo "hello"
docker run centos:7 ping 127.0.0.1

docker run -i -t centos:7 bash

Run container with terminal
-i connects standard input to container
-t get pseudo terminal
NOTA: ctrl+p+q exit form terminal without terminate container execution

docker run -d centos:7 ping 127.0.0.1

Container will be executed in detached mode. This means that is in execution in background and not attached to Bash shell

docker ps -a

List all container
-a show container stopped as well

docker attach containername

Attach to container in detached mode

docker logs containername

Show logs of a container

docker run -d -P nginx

Map container ports to host ports
NOTE: firewalld must be enable and running

docker run -d -P --restart always nginx

This container will be restarted at bootstrap if the guest host will be restarted

docker update --restart=no containername

Disable auto restart at bootstrap

Stop container:

docker stop containername
docker kill containername forced stop

docker start name

Restart a stopped container

docker rm containername

Remove a container
NOTE: It must be stopped

docker rmi imageid

Remove local image

docker diff containername

List differences between container and original images. E.g. Some software can be installed in running container

docker commit containername

Create a new image using based on the content of current running container. E.g It will contain software that was installed in container

5.13 Manage and configure Virtual Machines

yum install qemu-kvm qemu-img libvirt virt-install libvirt-client this will install all tools need to manage and configure virtual machines
systemctl start libvirtd this will start daemon need to manage virtual enviroments

Manage storage volume

Concepts:

Storage Pool -> Container of storage volumes (e.g. directory, partitions)
Storage Volume -> virtual disk

Create a Storage Pool:

virsh pool-define-as spool dir - - - - "/media/vdisk/
virsh pool-build
virsh pool-start
virsh pool-autostart

In files /etc/libvirt/storage/*.xml you can find info about storage pool
Create a virtual disk

qemu-img create -f raw /media/vdisk/disk.img 1G size will be 1G

Manage Virtual Machines

If you what that root will be able to execute virtual machines, in /etc/libvirt/qemu.conf uncomment user=root and group=root and after restart libvirtd daemon with systemctl restart libvirtd
Create a Virtual Machine

virt-install --name=rhel7 --disk path=/mnt/personal-data/SPool1/SVol1.img,size=2 --vcpu=1 --ram=1024 --location=/run/media/dos/9e6f605a-f502-4e98-826e-e6376caea288/rhel-server-7.0-x86_64-dvd.iso --network bridge=virbr0 --graphics none --extra-args console=ttyS0
This will prepare a new virtual machine named rhel7 with 1 virtual cpu, 1G of RAM, and a virtual disk of 2G.
After creation, virtual machine will be booted for the first time ad a provided ISO image will be executed. Normally ISO will be an operating system installation disk
Virtual Machine is configured to not use graphical environment and plus a configuration to allow a connection from the local machine is set

Virtual Machine management

virsh list --allList all available virtual machines in any state
virsh start rhel7Start a virtual machine called rhel7
virsh shutdown rhel7Shutdown virtual machine called rhel7
virsh destroy rhel7Forced shutdown of a virtual machine called rhel7
virsh undefine rhel7Delete a virtual machine called rhel7
virsh console rhel7Establish a connection toward virtual machine called rhel7NOTE: console must be configured in virtual machinectrl+5 to exit
virsh autostart rhel7Set the virtual machine to re-start if hosting machine will be rebooted
virsh autostart --disable rhel7Disable autostart

Edit virtual machine

virsh dominfo rhel7It shows virtual machine information
virsh edit rhel7Edit configuration file of virtual machine called rhel7
virsh vcpucount rhel7It shows the number of virtual cpu

maximum config: Specifies the maximum number of virtual CPUs that can be made available for the virtual server after the next restart.
maximum live: Specifies the maximum number of virtual CPUs that can be made available for the running or paused virtual server. If you change maximum this can be different until virtual machine is rebooted
current config: Specifies the actual number of virtual CPUs which will be available for the virtual server with the next restart.
current live: Specifies the actual number of virtual CPUs which are available for the running or paused virtual server

virsh setvcpus --count 2 rhel7 --maximum --configIt sets the maximum number of virtual cpu in configuration file to 2.It require virtual machine reboot to be applied. After reboot maximum live will be aligned
virsh setvcpus --count 2 rhel7 --configIt sets the configure for virtual machine. This value its the value with which virtual machine will be booted
virsh setvcpu --count 2 rhel7Set the number of virtual cpu (current live).Number must be less or equal to maximum live.You cannot remove virtual CPUs from a running virtual server
virsh setmaxmem --size 2G rhel7It sets the maximum amount of virtual machine memoryVirtual machine must be off
virsh setmem --size 2G rhel7It sets the amount of virtual machine memoryVirtual machine must be running

References:

https://www.ibm.com/support/knowledgecenter/en/linuxonibm/com.ibm.linux.z.ldva/ldva_t_modifyingCPUNumber.html

(LFCS) 4. Networking - 12%

2021-06-18T10:42:06.448Z

Linux Foundation Certified System Administrator (LFCS)

1. Essential Commands - 25%
2. Operation of Running Systems - 20%
3. User and Group Management - 10%
4. Networking - 12%

4.1 Configure networking and hostname resolution statically or dynamically
4.2 Configure network services to start automatically at boot
4.3 Implement packet filtering
4.4 Start, stop, and check the status of network services
4.5 Statically route IP traffic
4.6 Synchronize time using other network peers

5. Service Configuration - 20%
6. Storage Management - 13%

4.1 Configure networking and hostname resolution statically or dynamically

ip addr showShow IP addresses configuration

ip a sShort syntax

nmtuiNetwork Manager Text User Interface - Graphical interface to manage network connections configuration

Manual means that IP will be configured manually
Automatic means that will be used DHCP protocol
NOTE: IP must be inserted with syntax IP/NETMASK (e.t. 192.168.0.2/24)

All network configuration will be stored in /etc/sysconfig/network-scripts
If there is need to change IP configuration of an interface without using nmtui remember to shutdown interface, change IP, restart interface

ip link set eth0 down Shutdown interface eth0
ip addr add 192.168.0.2/24 dev eth0 Assign IP 192.168.0.2/24 to interface eth0
ip link set eth0 up Restart interface eth0

The hostname can be changed editing /etc/hostname

hostname show current hostname
Alternative: hostnamectl set-hostname your-new-hostname set hostname equal to your-new-hostname
Reboot is required to see new hostname applied

In /etc/hosts is configured a name resolution that take precedence of DNS

It contains static DNS entry
It is possible add hostname to row for 127.0.0.1 resolution, or insert a static IP configured on principal interface equal to hostname

In /etc/resolv.conf there are configured DNS servers entry
It is possible to insert more than one nameserver as backup (primary and secondary)

4.2 Configure network services to start automatically at boot

Network Manager

Its purpose is to automatically detect, configure, and connect to a network whether wired or wireless such as VPN, DNS, static routes, addresses, etc which is why you'll see #Configured by NetworkManager in /etc/resolv.conf, for example. Although it will prefer wired connections, it will pick the best known wireless connection and whichever it deems to be the most reliable. It will also switch over to wired automatically if it's there. It's not necessary and many (including me) disable it as most would rather manage their own network settings and don't need it done for them.
systemctl stop NetworkManager.service
systemctl disable NetworkManager.service

Network

systemctl status network to check network configuration status
systemctl restart network to reload network configuration

References:

https://unix.stackexchange.com/questions/449186/what-is-the-usage-of-networkmanager-in-centos-rhel7

4.3 Implement packet filtering

The firewall is managed by Kernel
The kernel firewall functionality is Netfilter
Netfilter will process information that will enter and will exit from system

For this it has two tables of rules called chains:

INPUT that contains rules applied to packets that enter in the system
OUTPUT that contains rules applied to packets that leave the system

Another chain can be used if system is configured as router: FORWARD
Finally there are other two chains: PREROUTING, POSTROUTING

Picture show the order with which the various chains are valued. The arrows indicate the route of the packages:

Incoming packets are generated from the outside
Outgoing packets are either generated by an application or are packets in transit

The rules inside chains are evaluated in an orderly way.

When a rule match the other rules are skipped
If no rules match, default policy will be applied

Default policy:

ACCEPT: the packet will be accepted and it will continue its path through the chains
DROP: the packet will be rejected

The utility to manage firewall is iptables
iptables will create rules for chains that will be processed in an orderly way
firewalld is a service that use iptables to manage firewalls rules
firewall-cmd is the command to manage firewalld

Firewalld

firewalld is enabled by default in CentOS
It works with zone, public is default zone
The zone is applied to an interface

The idea is that we can have safe zone, e.g. bound to an internal interface, and unsafe zone, e.g. bound to external interfaces internet facing

firewall-cmd --list-all show current configuration

services -> service that are allowed to use interface
ports -> ports that are allowed to use interface

firewall-cmd --get-services shows the list of default services

The services are configured in /urs/lib/firewalld/services
/urs/lib/firewalld/services contains xml file with service configuration

firewall-cmd --add-service service add service to current configuration

NOTE: it isn't a permanent configuration

firewall-cmd --reload reload firewalld configuration

NOTE: If a service was added with previous command now it is disappeared

firewall-cmd --add-service service --permanent add service to configuration as permanent

NOTE: Now if firewalld configuration is reloaded service it is still present

firewall-cmd --add-port 4000-4005/tcp Open TCP ports from 4000 to 4005
firewall-cmd --permanent --direct --add-rule ipv4 filter OUTPUT 1 -p tcp -m tcp --dport 80 -j ACCEPT

Add a firewall rule using iptables syntax
This add permanently a rule as first in OUTPUT chain to allow connections to TCP destination port 80

iptables

The firewalld daemon can be substitute with iptables daemon (the configuration that was in place until recently)

systemctl stop firewalld
iptables -L

More verbose output iptables -L -v
Show configuration of iptables chains
Note that policies is set equal to ACCEPT for every chain. This means that no package will be rejected. This is equal to have a shut downed firewall

systemctl disable firewalld
yum -y install iptables-services
systemctl enable iptables

With this configuration rules must be inserted
iptables -P INPUT DROP

Set default policy to DROP for INPUT chain

iptables rules syntax:

iptables {-A|I} chain [-i/o interface][-s/d ipaddres] [-p tcp|upd|icmp [--dport|--sport nn…]] -j [LOG|ACCEPT|DROP|REJECTED]
{-A|I} chain

-A append as last rule
-I insert. This require a number after chain that indicate rule position

[-i/o interface]

E.g. -i eth0 - the package is received (input) on the interface eth0

[-s/d ipaddres]

-s Source address. ipaddres can be an address or a subnet
-d Destination address. ipaddres can be an address or a subnet

[-p tcp|upd|icmp [--dport|--sport nn…]]

-p protocol
--dport Destination port
--sport Source port

-j [LOG|ACCEPT|DROP|REJECTED]

ACCEPT accept packet
DROP silently rejected
REJECTED reject the packet with an ICMP error packet
LOG log packet. Evaluation of rules isn't blocked.

E.g.
iptables -A INPUT -i lo -j ACCEPT

Accept all inbound loopback traffic

iptables -A OUTPUT -o lo -j ACCEPT

Accept all outbound loopback traffic

iptable -A INPUT -p tcp --dport 22 -j ACCEPT

Accept all inbound traffic for tcp port 22

iptable -A OUTPUT -m state --state ESTABLISHED,RELATED -j ACCEPT

This is a rule that is used to ACCEPT all traffic generated as a response of an inbound connection that was accepted. E.g. if incoming traffic for web server on port 80 was accepted, this rule permits to response traffic to exit from system without inserting specific rules in OUTPUT chain

NOTE file /etc/services contains a list of well know ports with services name

References:

https://debian-handbook.info/browse/da-DK/stable/sect.firewall-packet-filtering.html

4.4 Start, stop, and check the status of network services

Network services are controlled as other daemon with systemctl command

systemctl status servicename

With netstat is it possible list internet port opened by a process

yum -y install net-tools
netstat -tln

Show TCP port opened by processes

4.5 Statically route IP traffic

ip route show

Print route
Alternative command route -n

ip route add 192.0.2.1 via 10.0.0.1 [dev interface]

Add route to 192.0.2.1 through 10.0.0.1. Optionally interface can be specified

To make route persistent, create a route-ifname file for the interface through which the subnet is accessed, e.g eth0:

vi /etc/sysconfig/network-scripts/route-eth0
Add line 192.0.2.1 via 10.0.0.101 dev eth0
service network restart to reload file

ip route add 192.0.2.0/24 via 10.0.0.1 [dev ifname]

Add a route to subnet 192.0.2.0/24

To configure system as route forward must be enabled

echo 1 > /proc/sys/net/ipv4/ip_forward
To make configuration persistent

echo net.ipv4.ip_forward = 1 > /etc/sysctl.d/ipv4.conf

References:

https://my.esecuredata.com/index.php?/knowledgebase/article/2/add-a-static-route-on-centos

4.6 Synchronize time using other network peers

In time synchronization the concept of Stratum define the accuracy of server time.
A server with Stratum 0 it is the most reliable
A server synchronized with a Stratum 0 become Stratum 1
Stratum 10 is reserved for local clock. This means that it is not utilizable
The upper limit for Stratum is 15
Stratum 16 is used to indicate that a device is unsynchronized
Remember that time synchronization between servers is a slowly process

CHRONYD

Default mechanism to synchronize time in CentOS
Configuration file /etc/chrony.conf
server parameters are servers that are used as source of synchronization
chronyc sources contact server and show them status
chronyc tracking show current status of system clock
NOTE: if some of the commands below doesn't work please refer to this bug https://bugzilla.redhat.com/show_bug.cgi?id=1574418

Simple solution: setenforce 0
Package selinux-policy-3.13.1-229 should resolve problem

NTP

The old method of synchronization. To enable it Chronyd must be disabled
Configuration file /etc/ntp.conf
server parameters are servers that are used as source of synchronization
ntpq -p check current status of synchronization

@it255ru

Что такое инфраструктура как код?

Kubernetes. Cобеседование

Какие компоненты мастер-узла (Control Plane) Kubernetes и каково их назначение?

Linux. Собеседование

Linux. Собеседование

What are an Inode and PID?

What is the name and path of the main system log?

What are the different layers of Linux?

What are file permissions in Linux? Name different types of file systems in Linux.

What is a “/proc” file system?

Как в Linux найти, кто использует файл?

Explain ulimit VS umask.

What is SELinux?

Why is the tar command used?

Which command is used to execute a shell file?

What is interactive and non-interactive shell?

What is the absolute and relative path?

How will you pass and access arguments to a script in Linux?

How to create multiple text files and directories?

What are file permissions in Linux? Name different types of file systems in Linux.

What is LVM and why is it required?

What do you mean by the daemons?

Name the first process that is started by the kernel in Linux and what is its process id?

Linux. Networking

26. Why /etc/resolv.conf and /etc/hosts files are used?

27. What are the advantages of using NIC teaming?

28. What do you mean by Network bonding?

29. What are different network bonding modes used in Linux?

Name default ports used for DNS, SMTP, FTP, SSH, DHCP and squid.

Name three standard streams in Linux.

Linux Commands

34. What is netstat command?

35. What is the ping command?

36. Which command is used to check the default run level?

37. Which command is used to check the size of file or directory?

38. Which command is used to count the number of characters in a file?

39. What is the function of grep command?

40. Explain working of env command.

41. What is the pwd command?

42. Name the command that is used to check all the listening ports and services of your machine.

43. Which command is used to check the memory status?

44. What is pipe?

45. What are Linux directory commands?

46. What do you mean by unmask?

47. Name the command used to review boot messages.

How to Run Multiple Commands in Single Command?

What is the Grep Command?

How do Change the Permissions of a File or Directory?

What are Hidden Files in Linux?

What is an Alias?

What are the Different Vim Modes?

What is the Redirection Operator?

What command would you use for editing, searching, and replacing text in Linux?

Linux.Networking

Linux.Security

Please explain the checking for Rootkit infections in Linux.

How will you setup Password Aging in Linux?

How does Ctrl+Alt+Del key combination work in LINUX?

Which account is created on Linux installation?

Which daemon tracks events on your system?

Which command would you use if you want to remove the password assigned to a group?

You wish to print a file ‘draft’ with 60 lines to a page. What command would you use?

Which file would you examine to determine the levels of messages written to system log files?

You are logged on as a regular user. Without logging off and logging on as root, you are required to create a new user account immediately. How would you do it?

You are required to restore the file memo.ben. It was backed up in the tar file MyBackup.tar. Which command would you use to do it?

What is partial backup?

What is the fastest way to enter a series of commands from the command-line?

Which command is used to check the number of files and disk space used and the each user’s defined quota?

How secured is Linux? Explain.

Can Linux computer be made a router so that several machines may share a single Internet connection? How?

What is the minimum number of partitions that you need to install Linux?

Which command is used to review boot messages?

Which utility is used to make automate rotation of a log?

Which commands are used to set a processor-intensive job to use less CPU time?

Which daemon is responsible for tracking events on Linux system?

Бесплатные ресурсы для изучения PYTHON

Оф. инструкция

PEP8

Интерактивные курсы