Организуем восстановление Consumer: retry-топики, DLQ, pause/resume, длительная обработка сообщений, worker pool, Consumer Lag, большие сообщения, production-настройки и мониторинг.

Разбираем надёжный путь события от базы приложения до Consumer: подтверждение записи, повторные попытки отправки, Transactional Outbox, commit offset, at-least-once и идемпотентная обработка.

Выбираем срок хранения событий Kafka, разбираем Log Compaction, eventId, версионирование, совместимость схем, Schema Registry и ответственность за Topic.

Проектируем поток Kafka на примере интернет-магазина: команды и события, границы Topic, именование, Key, горячие Partition и выбор их количества.

Разбираем ключевые причины высокой производительности Kafka: append-only log, последовательную запись, Page Cache, batching, partitioning, immutability и Zero Copy.

Разбираем отказоустойчивость Kafka: как Partition реплицируется между Broker, зачем нужны Leader и Follower, что такое ISR, как выбирается новый лидер и как acks влияет на надёжность записи.

Разбираем, что физически хранится внутри Kafka Partition: как устроены Record, Key, Value, Timestamp, Headers, зачем нужен Offset и почему append-only log делает Kafka такой быстрой.

Разбираем, как Kafka масштабируется горизонтально: зачем нужны Partition, как Producer выбирает партицию, почему порядок гарантируется только внутри одной Partition и как Consumer Group распределяет нагрузку между Consumer.

Что такое Apache Kafka, как она помогает снижать связанность между сервисами, когда она действительно нужна и как устроены Broker, Topic, Producer и Consumer.

Индустрия сейчас совершает ту же ошибку, что и во времена взрывного перехода на микросервисы. Тогда все бросились дробить монолиты, не умея в автоматизацию. Сегодня все бросились внедрять AI, забыв про банальную инженерную гигиену.