Лучшие практики конфигурирования Kubernetes в 2025 - Часть 3: безопасность, логи, наблюдаемость и graceful shutdown

spec:
  securityContext:
    runAsNonRoot: true
    runAsUser: 1000
    runAsGroup: 1000
    fsGroup: 1000
  containers:
  - name: app
    securityContext:
      allowPrivilegeEscalation: false
      readOnlyRootFilesystem: true
      capabilities:
        drop:
          - ALL

apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
  name: api-network-policy-enhanced
  namespace: production # Явное указание namespace - хорошая практика
spec:
  podSelector:
    matchLabels:
      app: api
  policyTypes:
  - Ingress
  - Egress

  ingress:
  # 1. Разрешить трафик только от frontend в том же namespace
  - from:
    - podSelector:
        matchLabels:
          app: frontend
    ports:
    - port: 8080
      protocol: TCP
  # 2. Разрешить сбор метрик от Prometheus (опционально)
  - from:
    - namespaceSelector:
        matchLabels:
          name: monitoring # namespace с Prometheus
      podSelector:
        matchLabels:
          app: prometheus
    ports:
    - port: 9090 # Порт метрик вашего приложения
      protocol: TCP

  egress:
  # 1. Обязательно: разрешить DNS-запросы
  - to:
    - namespaceSelector: {} # Разрешить доступ в любой namespace
      podSelector:
        matchLabels:
          k8s-app: kube-dns # или k8s-app: coredns
    ports:
    - port: 53
      protocol: UDP
    - port: 53
      protocol: TCP
  # 2. Разрешить доступ к базе данных
  - to:
    - podSelector:
        matchLabels:
          app: database
    ports:
    - port: 5432
      protocol: TCP
  # 3. Разрешить исходящий трафик в публичный интернет (опционально, для внешних API)
  - to:
    - ipBlock:
        cidr: 0.0.0.0/0
        except:
        - 10.0.0.0/8 # Исключить внутренние сети
        - 172.16.0.0/12
        - 192.168.0.0/16
    ports:
    - port: 443
      protocol: TCP
    - port: 80
      protocol: TCP

apiVersion: v1
kind: Namespace
metadata:
  name: production
  labels:
    # 1. В аудит-логи API-сервера попадут ВСЕ поды, которые не соответствуют самому высокому стандарту restricted. Это даёт полную картину.
    pod-security.kubernetes.io/audit: restricted
    pod-security.kubernetes.io/audit-version: latest
    # 2. Разработчики сразу увидят предупреждение в kubectl, если их под нарушает даже базовые требования.
    pod-security.kubernetes.io/warn: baseline
    pod-security.kubernetes.io/warn-version: latest
    # 3. Фактически не блокирует ничего, кроме совсем уж экзотических случаев. Это позволяет начать сбор данных, не ломая рабочие процессы. По мере готовности можно повысить уровень enforce до baseline, а затем и до restricted.
    pod-security.kubernetes.io/enforce: privileged
    pod-security.kubernetes.io/enforce-version: latest

apiVersion: monitoring.coreos.com/v1
kind: PodMonitor
metadata:
  name: myapp-pod-monitor
  namespace: monitoring  # Обычно создается в том же namespace, где работает Prometheus
spec:
  selector:
    matchLabels:
      app: myapp  # Ищем поды с этой меткой
  podMetricsEndpoints:
  - port: metrics  # Указываем ИМЯ порта из манифеста пода (не номер!)
    path: /metrics # Путь к метрикам
    interval: 30s  # Интервал сбора
    honorLabels: true # Важно для избежания конфликтов меток
    # Дополнительные возможности:
    # scheme: https        # Для TLS
    # bearerTokenSecret:   # Для аутентификации
    # relabelings: []      # Для продвинутой обработки меток

spec:
  containers:
  - name: app
    env:
    - name: LOG_FORMAT
      value: "json"
    - name: LOG_LEVEL
      value: "info"

{
  "timestamp": "2025-05-20T10:30:45Z",
  "level": "error",
  "service": "api-server",
  "trace_id": "abc123",
  "user_id": "user456",
  "message": "Failed to connect to database",
  "error": "connection timeout"
}

spec:
  containers:
  - name: app
    env:
    - name: OTEL_EXPORTER_OTLP_ENDPOINT
      value: "http://jaeger-collector:4317"
    - name: OTEL_SERVICE_NAME
      value: "api-server"
    - name: OTEL_TRACES_SAMPLER
      value: "parentbased_traceidratio"
    - name: OTEL_TRACES_SAMPLER_ARG
      value: "0.1"  # Сэмплировать 10% трейсов

spec:
  terminationGracePeriodSeconds: 90  # Увеличено для запаса на graceful shutdown
  containers:
  - name: app
    lifecycle:
      preStop:
        exec:
          command:
          - /bin/sh
          - -c
          - |
            # 1. Сигнализируем приложению начать graceful shutdown
            # Например, через HTTP-эндпоинт или пользовательский сигнал
            curl -sf -X POST http://localhost:8080/prestop || true
            
            # 2. Короткая пауза, чтобы сигнал был обработан
            # Вместо фиксированного сна можно проверить состояние
            sleep 2
    # КРИТИЧЕСКИ ВАЖНО: Настроенные Readiness Probe!
    # Они заставят K8s немедленно исключить pod из Service
    readinessProbe:
      httpGet:
        path: /health/ready
        port: 8080
      initialDelaySeconds: 5
      periodSeconds: 2  # Частая проверка для быстрого исключения
      failureThreshold: 1  # Одного провала достаточно

package main

import (
    "context"
    "log"
    "net/http"
    "os"
    "os/signal"
    "sync"
    "syscall"
    "time"
    "database/sql" // Предположим, что используется БД
    "github.com/redis/go-redis/v9" // И Redis
)

func main() {
    // Инициализация компонентов
    db := initDatabase()
    redisClient := initRedis()
    cache := initLocalCache()

    // Основной HTTP-сервер
    server := &http.Server{
        Addr: ":8080",
        Handler: setupRoutes(db, redisClient, cache),
    }

    // Канал для graceful shutdown
    stopChan := make(chan os.Signal, 1)
    signal.Notify(stopChan, syscall.SIGTERM, syscall.SIGINT)

    // Запуск сервера в горутине
    go func() {
        log.Println("Запуск HTTP-сервера на :8080")
        if err := server.ListenAndServe(); err != nil && err != http.ErrServerClosed {
            log.Fatalf("Ошибка сервера: %v", err)
        }
    }()

    // Ожидание сигнала остановки
    <-stopChan
    log.Println("Получен сигнал остановки. Начинаем graceful shutdown...")

    // Настройка общего таймаута для всего процесса shutdown
    shutdownCtx, shutdownCancel := context.WithTimeout(context.Background(), 25*time.Second)
    defer shutdownCancel()

    var wg sync.WaitGroup
    errors := make(chan error, 3)

    // 1. Остановка приёма новых HTTP-запросов
    wg.Add(1)
    go func() {
        defer wg.Done()
        log.Println("Останавливаем HTTP-сервер...")
        if err := server.Shutdown(shutdownCtx); err != nil {
            errors <- err
        }
    }()

    // 2. Graceful shutdown базы данных
    wg.Add(1)
    go func() {
        defer wg.Done()
        log.Println("Закрываем соединения с БД...")
        // Пример: закрытие пула соединений
        if err := db.Close(); err != nil {
            errors <- err
        }
    }()

    // 3. Graceful shutdown Redis
    wg.Add(1)
    go func() {
        defer wg.Done()
        log.Println("Закрываем клиент Redis...")
        if err := redisClient.Close(); err != nil {
            errors <- err
        }
    }()

    // 4. Очистка кеша/сохранение состояния
    wg.Add(1)
    go func() {
        defer wg.Done()
        log.Println("Сбрасываем кеш на диск...")
        cache.Flush()
    }()

    // Ждём завершения всех операций shutdown
    wg.Wait()
    close(errors)

    // Проверяем, были ли ошибки
    for err := range errors {
        if err != nil {
            log.Printf("Ошибка при graceful shutdown: %v", err)
        }
    }

    log.Println("Graceful shutdown завершён успешно")
}

# deployment.yaml
spec:
  terminationGracePeriodSeconds: 90 # Даем достаточно времени на дренаж
  template:
    spec:
      containers:
      - name: app
        # Ключевой элемент: readinessProbe с коротким интервалом
        readinessProbe:
          httpGet:
            path: /ready       # Эндпоинт, который начинает возвращать 503 при получении SIGTERM
            port: 8080
          initialDelaySeconds: 5
          periodSeconds: 2     # Частая проверка для быстрого исключения из балансировки
          failureThreshold: 1  # Достаточно одного провала
          successThreshold: 1
        # preStop используется ТОЛЬКО для триггера, а не для дренажа
        lifecycle:
          preStop:
            exec:
              command:
              - /bin/sh
              - -c
              - |
                # Просто отправляем SIGUSR1 или делаем легкий HTTP-вызов,
                # чтобы приложение УЗНАЛО о начале shutdown.
                # Это НЕ должен быть эндпоинт, который меняет readiness.
                curl -s -X POST http://localhost:8080/internal-prestop || true
                # Краткая пауза, чтобы сигнал дошел
                sleep 1

// Глобальный флаг, отражающий состояние shutdown
var isShuttingDown atomic.Bool

func main() {
    // ... инициализация сервера ...

    // Обработчик для readiness probe
    http.HandleFunc("/ready", func(w http.ResponseWriter, r *http.Request) {
        if isShuttingDown.Load() {
            w.WriteHeader(http.StatusServiceUnavailable) // 503
            return
        }
        // Проверка зависимостей (БД, кэш и т.д.)
        if !checkDependencies() {
            w.WriteHeader(http.StatusServiceUnavailable)
            return
        }
        w.WriteHeader(http.StatusOK)
    })

    // Внутренний эндпоинт для preStop (опционально)
    http.HandleFunc("/internal-prestop", func(w http.ResponseWriter, r *http.Request) {
        log.Println("Начинаем процесс graceful shutdown...")
        isShuttingDown.Store(true) // ГЛАВНОЕ: меняем состояние
        w.WriteHeader(http.StatusOK)
    })

    // Обработка SIGTERM для graceful shutdown
    go func() {
        sigChan := make(chan os.Signal, 1)
        signal.Notify(sigChan, syscall.SIGTERM)
        <-sigChan
        log.Println("Получен SIGTERM")
        isShuttingDown.Store(true) // Также меняем состояние при прямом SIGTERM
        
        // Дальше стандартный graceful shutdown сервера
        ctx, cancel := context.WithTimeout(context.Background(), 30*time.Second)
        defer cancel()
        server.Shutdown(ctx)
    }()

    // ... запуск сервера ...
}

image: nginx:1.25

image: nginx@sha256:4c0fdaa8b6341bfdeca5f18f7837462c80cff90527ee35ef185571e1c327beac

spec:
  containers:
  - name: app
    image: myregistry/app:v1.0.0
    imagePullPolicy: IfNotPresent  # или Always

# Сканирование с Trivy
trivy image myregistry/app:v1.0.0

# Блокировать развёртывание при обнаружении критических уязвимостей
trivy image --severity HIGH,CRITICAL --exit-code 1 myregistry/app:v1.0.0