Практический разбор проектирования Kafka для production: Topics, Key, Partition, hot partitions, Retention, формат событий, retry, dead letter topics, идемпотентность и Consumer Lag.

Разбираем двойственную природу Kafka: Consumer Groups как очередь задач, Publish/Subscribe как журнал событий, backpressure buffering и архитектурную разницу между командами и событиями.

Разбираем ключевые причины высокой производительности Kafka: append-only log, последовательную запись, Page Cache, batching, partitioning, immutability и Zero Copy.

Разбираем отказоустойчивость Kafka: как Partition реплицируется между Broker, зачем нужны Leader и Follower, что такое ISR, как выбирается новый лидер и как acks влияет на надёжность записи.

Разбираем, что физически хранится внутри Kafka Partition: как устроены Record, Key, Value, Timestamp, Headers, зачем нужен Offset и почему append-only log делает Kafka такой быстрой.

Разбираем, как Kafka масштабируется горизонтально: зачем нужны Partition, как Producer выбирает партицию, почему порядок гарантируется только внутри одной Partition и как Consumer Group распределяет нагрузку между Consumer.

Что такое Apache Kafka, почему она лучше прямых HTTP-вызовов между микросервисами, когда она действительно нужна и как устроены Broker, Topic, Producer и Consumer.

Индустрия сейчас совершает ту же ошибку, что и во времена взрывного перехода на микросервисы. Тогда все бросились дробить монолиты, не умея в автоматизацию. Сегодня все бросились внедрять AI, забыв про банальную инженерную гигиену.

Практический набор вопросов и решений для DevOps/SRE‑интервью: Git, CI/CD, Kubernetes, Terraform, безопасность и инцидент‑менеджмент.

Решил я недавно поиграться с Dokploy в рамках эксперименотов n8n и AI-ассистента. Ну и пока настраивал, заодно решил показать вам ZeroTier. ZeroTier — это сервис, который позволяет объединить устройства через интернет так, будто они находятся в одной локальной сети. На самом деле очень крутая штука, тем более что в рамка free тарифа можно добавить до 10 устройств. Таким образом у нас будет крутая overlay-сеть и мы можем все наши VPS, ноутбуки, телефоны объединить в одну сеть. И самое главное что будет не важно что они за NAT.