@cameda2

Service examples

2023-12-15T11:37:50.875Z

Примеры использования service.

Pod

cat <<EOF | kubectl apply -f -
apiVersion: v1
kind: Pod
metadata:
  name: cam-nginx
  namespace: default
  labels:
    app: nginx
    environment: prod
  annotations:
    author: cameda
spec:
  containers:
  - name: nginx
    image: nginx:latest
    imagePullPolicy: IfNotPresent
    ports:
    - containerPort: 80
    - containerPort: 443
    resources:
      requests:
        cpu: 300m
        memory: 300Mi
      limits:
        memory: 400Mi
  restartPolicy: Always
  hostname: nginx
  subdomain: web
EOF

Deployment

cat <<EOF | kubectl apply -f -
apiVersion: apps/v1
kind: Deployment
metadata:
  name: cameda-nginx
  namespace: default
  labels:
    app: nginx
    environment: prod
  annotations:
    author: cameda
spec:
  replicas: 2
  selector:
    matchLabels:
      app: nginx
  strategy: 
    rollingUpdate:
      maxSurge: 1
      maxUnavailable: 1
    type: RollingUpdate
  template:
    metadata:
      labels:
        app: nginx
    spec:
      containers:
      - name: nginx
        image: nginx:latest
        imagePullPolicy: IfNotPresent
        ports: 
        - name: http
          containerPort: 80
        resources: 
          requests: 
            cpu: 300m
            memory: 300Mi 
          limits: 
            memory: 400Mi
      restartPolicy: Always
      hostname: nginx
      subdomain: web
      dnsPolicy: ClusterFirst
      terminationGracePeriodSeconds: 90
EOF

Service NodePort

#Минимальный вариант.
cat <<EOF | kubectl apply -f -
apiVersion: v1
kind: Service
metadata:
  namespace: default
  name: nginx-service1
  labels:
    environment: prod
  annotations:
    author: cameda
spec:
  type: NodePort
  selector:
    app: nginx
  ports:
  - name: http
    protocol: TCP
    port: 80
EOF

#Указываем targetPort/nodePort.
cat <<EOF | kubectl apply -f -
apiVersion: v1
kind: Service
metadata:
  namespace: default
  name: nginx-service2
  labels:
    environment: prod
  annotations:
    author: cameda
spec:
  type: NodePort
  selector:
    app: nginx
  ports:
  - name: http
    protocol: TCP
    port: 80
    targetPort: 80
    nodePort: 30010
EOF

#Открываем два порта.
cat <<EOF | kubectl apply -f -
apiVersion: v1
kind: Service
metadata:
  namespace: default
  name: nginx-service3
  labels:
    environment: prod
  annotations:
    author: cameda
spec:
  type: NodePort
  selector:
    app: nginx
  ports:
  - name: http
    protocol: TCP
    port: 80
  - name: https
    protocol: TCP
    port: 443
EOF

#На подах видны адреса источников обращения. Также идёт привязка сессий.
cat <<EOF | kubectl apply -f -
apiVersion: v1
kind: Service
metadata:
  namespace: default
  name: nginx-service4
  labels:
    environment: prod
  annotations:
    author: cameda
spec:
  type: NodePort
  selector:
    app: nginx
  ports:
  - name: http
    protocol: TCP
    port: 80
    targetPort: 80
  externalTrafficPolicy: Local
  sessionAffinity: ClientIP
EOF

Service ClusterIP

#Минимальный вариант.
cat <<EOF | kubectl apply -f -
apiVersion: v1
kind: Service
metadata:
  namespace: default
  name: nginx-service5
  labels:
    environment: prod
  annotations:
    author: cameda
spec:
  type: ClusterIP
  selector:
    app: nginx
  ports:
  - name: http
    protocol: TCP
    port: 80
EOF

#Указываем targetPort.
cat <<EOF | kubectl apply -f -
apiVersion: v1
kind: Service
metadata:
  namespace: default
  name: nginx-service6
  labels:
    environment: prod
  annotations:
    author: cameda
spec:
  type: ClusterIP
  selector:
    app: nginx
  ports:
  - name: http
    protocol: TCP
    port: 80
    targetPort: 80
EOF

#Открываем два порта.
cat <<EOF | kubectl apply -f -
apiVersion: v1
kind: Service
metadata:
  namespace: default
  name: nginx-service7
  labels:
    environment: prod
  annotations:
    author: cameda
spec:
  type: ClusterIP
  selector:
    app: nginx
  ports:
  - name: http
    protocol: TCP
    port: 80
  - name: https
    protocol: TCP
    port: 443
EOF

Service LoadBalancer

#Простой сервис типа балансер.
cat <<EOF | kubectl apply -f -
apiVersion: v1
kind: Service
metadata:
  namespace: default
  name: nginx-service8
  labels:
    environment: prod
  annotations:
    author: cameda
spec:
  type: LoadBalancer
  selector:
    app: nginx
  ports:
  - name: http
    protocol: TCP
    port: 80
    targetPort: 80
EOF

#Внутренний балансировщик
cat <<EOF | kubectl apply -f -
apiVersion: v1
kind: Service
metadata:
  namespace: default
  name: nginx-service9
  annotations:
    # Тип балансировщика: внутренний.
    yandex.cloud/load-balancer-type: internal
  labels:
    environment: prod
  annotations:
    author: cameda
spec:
  type: LoadBalancer
  selector:
    app: nginx
  ports:
  - name: http
    protocol: TCP
    port: 80
    targetPort: 80
EOF

#Балансировщик с зарезервированным адресом, проброской адреса источника в под.
cat <<EOF | kubectl apply -f -
apiVersion: v1
kind: Service
metadata:
  namespace: default
  name: nginx-service10
  annotations:
    yandex.cloud/subnet-id: <subnet-id>
  labels:
    environment: prod
  annotations:
    author: cameda
spec:
  type: LoadBalancer
  selector:
    app: nginx
  ports:
  - name: http
    protocol: TCP
    port: 80
    targetPort: 80
  externalTrafficPolicy: Local
  loadBalancerIP: <заранее зарезервированный IP-адрес>
EOF

#Балансировщик с зарезервированным адресом, проброской адреса источника в под и привязкой сессий
cat <<EOF | kubectl apply -f -
apiVersion: v1
kind: Service
metadata:
  namespace: default
  name: nginx-service11
  annotations:
    yandex.cloud/subnet-id: <subnet-id>
  labels:
    environment: prod
  annotations:
    author: cameda
spec:
  type: LoadBalancer
  selector:
    app: nginx
  ports:
  - name: http
    protocol: TCP
    port: 80
    targetPort: 80
  - name: https
    protocol: TCP
    port: 443
    targetPort: 443
  externalTrafficPolicy: Local
  loadBalancerIP: <заранее зарезервированный IP-адрес>
  sessionAffinity: ClientIP
EOF

Orphaned pod pod_id found, but error not a directory occurred when trying to remove the volumes dir

2023-08-12T18:50:15.696Z

Воспроизводится на версиях Kubernetes до 1.24.

Это баг на стороне стораджа. Стреляет когда были проблемы с нодой, например, в результате нештатной перезагрузки.

Помогает удаление связанной с подом директории из /var/lib/kubelet/pods

Для примера можно использовать решение отсюда:
https://github.com/kubernetes/kubernetes/issues/105536?ysclid=ll6te4b7x91590084#issuecomment-1612347166

#!/bin/bash
while true
do
        tail /var/log/k8s-service.log | grep "orphaned pod" | awk '{print $18}' | cut -d\\ -f2 | cut -d\" -f2 | uniq | xargs -I % sh -c 'echo "deleting /var/lib/kubelet/pods/%"; rm -rf /var/lib/kubelet/pods/%;'
        sleep 1
done

Fairwinds. Polaris

2023-07-11T05:08:07.027Z

Данное ПО создано для анализа имеющихся ресурсов в кластере на предмет уязвимостей.

Установка.

helm repo add fairwinds-stable https://charts.fairwinds.com/stable
helm upgrade --install polaris fairwinds-stable/polaris --namespace polaris --create-namespace

# Быстрый вариант подключения через port-forward
kubectl port-forward --namespace polaris svc/polaris-dashboard 8080:80

Service.

kubectl describe svc polaris-dashboard -n polaris
Name:              polaris-dashboard
Namespace:         polaris
Labels:            app=polaris
                   app.kubernetes.io/component=dashboard
                   app.kubernetes.io/instance=polaris
                   app.kubernetes.io/managed-by=Helm
                   app.kubernetes.io/name=polaris
                   app.kubernetes.io/part-of=polaris
                   app.kubernetes.io/version=5.10.3
                   helm.sh/chart=polaris-5.10.3
Annotations:       meta.helm.sh/release-name: polaris
                   meta.helm.sh/release-namespace: polaris
Selector:          app.kubernetes.io/instance=polaris,app.kubernetes.io/name=polaris,app=polaris,component=dashboard
Type:              ClusterIP
IP Family Policy:  SingleStack
IP Families:       IPv4
IP:                10.21.28.186
IPs:               10.21.28.186
Port:              http-dashboard  80/TCP
TargetPort:        8080/TCP
Endpoints:         10.20.6.233:8080,10.20.7.86:8080
Session Affinity:  None
Events:            <none>

Ingress.

cat <<EOF | kubectl apply -f -
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: polaris
  namespace: polaris
  annotations:
    kubernetes.io/ingress.class: "nginx"
spec:
  rules:
    - host: polaris.prod.cameda1.tk
      http:
        paths:
        - path: /
          pathType: Prefix
          backend:
            service:
              name: polaris-dashboard
              port:
                number: 8080
EOF

Скрин приложения.

Скриншот Polaris

Полезные ссылки.

Установка в режиме дашборда: https://polaris.docs.fairwinds.com/dashboard/

Кратко про Polaris: https://github.com/FairwindsOps/polaris/tree/master

Download Kubernetes

2023-07-06T15:22:23.033Z

Скачать k8s последней версии можно использовав команду.

wget -q -O - https://get.k8s.io | bash
cd kubernetes

Компоненты кластера в скомпилированном виде лежат в директории server.

kubectl ktop. top для k8s

2023-07-06T10:18:54.617Z

Данный плагин предназначен для мониторинга нагрузки на нодах кластера.

Установка krew.

(
  set -x; cd "$(mktemp -d)" &&
  OS="$(uname | tr '[:upper:]' '[:lower:]')" &&
  ARCH="$(uname -m | sed -e 's/x86_64/amd64/' -e 's/\(arm\)\(64\)\?.*/\1\2/' -e 's/aarch64$/arm64/')" &&
  KREW="krew-${OS}_${ARCH}" &&
  curl -fsSLO "https://github.com/kubernetes-sigs/krew/releases/latest/download/${KREW}.tar.gz" &&
  tar zxvf "${KREW}.tar.gz" &&
  ./"${KREW}" install krew
)

export PATH="${KREW_ROOT:-$HOME/.krew}/bin:$PATH"

Установка ktop.

kubectl krew install ktop

Примеры использования.

kubectl ktop

Перемещение между блоками происходит с помощью Tab. Между элементами - с помощью стрелок.

Скриншот программы.

Полезные ссылки.

GitHUB проекта: https://github.com/vladimirvivien/ktop

Установка krew: https://krew.sigs.k8s.io/docs/user-guide/setup/install/

Список плагинов krew: https://krew.sigs.k8s.io/plugins/

Kyverno. failed to call webhook: service kyverno-svc not found

2023-07-05T07:52:31.530Z

Данная ошибка у меня появилась при попытке удаления namespace kuverno. В ns был под, созданный deployment, который не удалялся.

Поймал данную ошибку при попытке удалить namespace со всеми компонентами kyverno. Остался под, созданный с помощью deployment, который не удалялся. При этом самого deployment уже не было. Удаление finalizers в namespace тоже не помогло.

Помогло удалить ns удаление нескольких объектов.

kubectl delete validatingwebhookconfiguration kyverno-resource-validating-webhook-cfg
kubectl delete mutatingwebhookconfiguration kyverno-resource-mutating-webhook-cfg

Данное решение подсмотрел на сайте kyverno.io

Полезные ссылки.

Troubleshooting Kyverno: https://kyverno.io/docs/troubleshooting/

Kyverno. Policy label required.

2023-07-03T17:58:29.957Z

Пример политики и работы с Kyverno.

Обязательная установка labels на поды.

cat <<EOF | kubectl apply -f -
apiVersion: kyverno.io/v1
kind: ClusterPolicy
metadata:
  name: require-labels
spec:
  validationFailureAction: enforce
  rules:
  - name: check-for-labels
    match:
      any:
      - resources:
          kinds:
          - Pod
    validate:
      message: "label 'app.kubernetes.io/name' is required"
      pattern:
        metadata:
          labels:
            app.kubernetes.io/name: "?*"
EOF

Ошибка, вылетающая если создать под без нужного label.

Error from server: error when creating "STDIN": admission webhook "validate.kyverno.svc-fail" denied the request:

resource Pod/test/cam-nginx was blocked due to the following policies

require-labels:
  check-for-labels: 'validation error: label ''app.kubernetes.io/name'' is required.
    Rule check-for-labels failed at path /metadata/labels/app.kubernetes.io/name/'

Посмотреть политики Kyverno.

kubectl get clusterpolicy.kyverno.io

kubectl get clusterpolicy.kyverno.io | grep "enforce"
require-labels                   true         enforce   true

kubectl get clusterpolicy.kyverno.io -owide
NAME                             BACKGROUND   ACTION    FAILURE POLICY   READY
disallow-capabilities            true         audit     Fail             true
disallow-host-namespaces         true         audit     Fail             true
disallow-host-path               true         audit     Fail             true
disallow-host-ports              true         audit     Fail             true
disallow-host-process            true         audit     Fail             true
disallow-privileged-containers   true         audit     Fail             true
disallow-proc-mount              true         audit     Fail             true
disallow-selinux                 true         audit     Fail             true
require-labels                   true         enforce   Fail             true
restrict-apparmor-profiles       true         audit     Fail             true
restrict-seccomp                 true         audit     Fail             true
restrict-sysctls                 true         audit     Fail             true

Дескрайб сзданной политики.

kubectl describe clusterpolicy.kyverno.io require-labels
Name:         require-labels
Namespace:
Labels:       <none>
Annotations:  pod-policies.kyverno.io/autogen-controllers: DaemonSet,Deployment,Job,StatefulSet,CronJob
API Version:  kyverno.io/v1
Kind:         ClusterPolicy
Metadata:
  Creation Timestamp:  2023-07-03T17:08:33Z
  Generation:          2
  Managed Fields:
    API Version:  kyverno.io/v1
    Fields Type:  FieldsV1
    fieldsV1:
      f:metadata:
        f:annotations:
          .:
          f:kubectl.kubernetes.io/last-applied-configuration:
      f:spec:
        .:
        f:validationFailureAction:
    Manager:      kubectl-client-side-apply
    Operation:    Update
    Time:         2023-07-03T17:08:33Z
    API Version:  kyverno.io/v1
    Fields Type:  FieldsV1
    fieldsV1:
      f:spec:
        f:rules:
    Manager:      kyverno
    Operation:    Update
    Time:         2023-07-03T17:08:33Z
    API Version:  kyverno.io/v1
    Fields Type:  FieldsV1
    fieldsV1:
      f:status:
        .:
        f:ready:
    Manager:         kyverno
    Operation:       Update
    Subresource:     status
    Time:            2023-07-03T17:08:39Z
  Resource Version:  16764995
  UID:               3e5e1c5c-531f-421c-afc1-e93697305131
Spec:
  Background:      true
  Failure Policy:  Fail
  Rules:
    Exclude:
      Resources:
    Generate:
      Clone:
    Match:
      Any:
        Resources:
          Kinds:
            Pod
      Resources:
    Mutate:
    Name:  check-for-labels
    Validate:
      Message:  label 'app.kubernetes.io/name' is required
      Pattern:
        Metadata:
          Labels:
            app.kubernetes.io/name:  ?*
    Exclude:
      Resources:
    Generate:
      Clone:
    Match:
      Any:
        Resources:
          Kinds:
            DaemonSet
            Deployment
            Job
            StatefulSet
      Resources:
    Mutate:
    Name:  autogen-check-for-labels
    Validate:
      Message:  label 'app.kubernetes.io/name' is required
      Pattern:
        Spec:
          Template:
            Metadata:
              Labels:
                app.kubernetes.io/name:  ?*
    Exclude:
      Resources:
    Generate:
      Clone:
    Match:
      Any:
        Resources:
          Kinds:
            CronJob
      Resources:
    Mutate:
    Name:  autogen-cronjob-check-for-labels
    Validate:
      Message:  label 'app.kubernetes.io/name' is required
      Pattern:
        Spec:
          Job Template:
            Spec:
              Template:
                Metadata:
                  Labels:
                    app.kubernetes.io/name:  ?*
  Validation Failure Action:                 enforce
Status:
  Ready:  true

Пример пода с правильными label

cat <<EOF | kubectl apply -f -
apiVersion: v1
kind: Pod
metadata:
  name: cam-nginx
  namespace: default
  labels:
    app: nginx
    environment: prod
  annotations:
    author: cameda
spec:
  containers:
  - name: nginx
    image: nginx:latest
    imagePullPolicy: IfNotPresent
    ports:
    - containerPort: 80
    - containerPort: 443
    resources:
      requests:
        cpu: 300m
        memory: 300Mi
      limits:
        memory: 400Mi
  restartPolicy: Always
  hostname: nginx
  subdomain: web
EOF

kubectl deprecations. Поиск объектов с устаревшей версией API. (krew)

2023-06-26T17:33:34.346Z

Данный плагин предназначен для поиска, в текущем кластере k8s, объектов с устаревшей версией API.

Установка krew.

(
  set -x; cd "$(mktemp -d)" &&
  OS="$(uname | tr '[:upper:]' '[:lower:]')" &&
  ARCH="$(uname -m | sed -e 's/x86_64/amd64/' -e 's/\(arm\)\(64\)\?.*/\1\2/' -e 's/aarch64$/arm64/')" &&
  KREW="krew-${OS}_${ARCH}" &&
  curl -fsSLO "https://github.com/kubernetes-sigs/krew/releases/latest/download/${KREW}.tar.gz" &&
  tar zxvf "${KREW}.tar.gz" &&
  ./"${KREW}" install krew
)

export PATH="${KREW_ROOT:-$HOME/.krew}/bin:$PATH"

Установка kubepug.

kubectl krew install deprecations

Примеры использования.

kubectl deprecations --k8s-version=v1.24.8
helm template -f values.yaml .0 | kubectl deprecations --k8s-version v1.22.0 --input-file=-

Работает только если есть права админа на кластер.

Полезные ссылки.

GitHUB проекта: https://github.com/rikatz/kubepug

Установка krew: https://krew.sigs.k8s.io/docs/user-guide/setup/install/

Список плагинов krew: https://krew.sigs.k8s.io/plugins/

Jessie pod for DNS diag

2023-06-26T16:14:06.562Z

Под предназначен для диагностики DNS из кластера k8s.

Установка.

kubectl run jessie-dnsutils --image=k8s.gcr.io/jessie-dnsutils --restart=Never --command sleep infinity

Примеры использования.

kubectl exec --tty --stdin jessie-dnsutils -- dig ya.ru

kubectl exec --tty --stdin jessie-dnsutils -- dig NS ya.ru +short
ns2.yandex.ru.
ns1.yandex.ru.

kubectl exec --tty --stdin jessie-dnsutils -- ping ya.ru
PING ya.ru (5.255.255.242): 56 data bytes
64 bytes from 5.255.255.242: icmp_seq=0 ttl=56 time=3.971 ms

kubectl count (krew)

2023-06-26T16:03:42.474Z

Данный плагин предназначен для подсчёта количества ресурсов в Namespace по kind.

Установка krew.

(
  set -x; cd "$(mktemp -d)" &&
  OS="$(uname | tr '[:upper:]' '[:lower:]')" &&
  ARCH="$(uname -m | sed -e 's/x86_64/amd64/' -e 's/\(arm\)\(64\)\?.*/\1\2/' -e 's/aarch64$/arm64/')" &&
  KREW="krew-${OS}_${ARCH}" &&
  curl -fsSLO "https://github.com/kubernetes-sigs/krew/releases/latest/download/${KREW}.tar.gz" &&
  tar zxvf "${KREW}.tar.gz" &&
  ./"${KREW}" install krew
)

export PATH="${KREW_ROOT:-$HOME/.krew}/bin:$PATH"

Установка count.

kubectl krew install count

Примеры использования.

kubectl count pods,ds,deploy
kubectl count -n kube-system po,deploy

#Вывод в yaml формате.
kubectl count -oy -n kube-system deploy,svc

Пример вывода.

kubectl count -oy -n kube-system deploy,svc
- namespace: kube-system
  groupVersion: apps/v1
  kind: Deployment
  count: 3
- namespace: kube-system
  groupVersion: v1
  kind: Service
  count: 10

kubectl count pods -n kube-system
+-------------+------------------------+------------+-------+
|  Namespace  |      GroupVersion      |    Kind    | Count |
+-------------+------------------------+------------+-------+
| kube-system | v1                     | Pod        |    46 |
+             +------------------------+------------+       +
|             | metrics.k8s.io/v1beta1 | PodMetrics |       |
+-------------+------------------------+------------+-------+

Полезные ссылки.

GitHUB проекта: https://github.com/chenjiandongx/kubectl-count

Установка krew: https://krew.sigs.k8s.io/docs/user-guide/setup/install/

Список плагинов krew: https://krew.sigs.k8s.io/plugins/