Разбираем Kafka для интервью и System Design: ключевые вопросы про Topic, Partition, Consumer Group, Offset, порядок, отказоустойчивость, Consumer Lag, RabbitMQ, проектирование интернет-магазина, видеообработки и аналитики кликов.

Разбираем production-паттерны Kafka: гарантии доставки, acks, min.insync.replicas, идемпотентность, commit offset, retry topics, DLQ, outbox, Consumer Lag и базовые настройки.

Практический разбор проектирования Kafka до запуска в production: как выбирать Topics, Keys, количество Partition, Retention и формат событий.

Разбираем двойственную природу Kafka: Consumer Groups как очередь задач, Publish/Subscribe как журнал событий, backpressure buffering и архитектурную разницу между командами и событиями.

Разбираем ключевые причины высокой производительности Kafka: append-only log, последовательную запись, Page Cache, batching, partitioning, immutability и Zero Copy.

Разбираем отказоустойчивость Kafka: как Partition реплицируется между Broker, зачем нужны Leader и Follower, что такое ISR, как выбирается новый лидер и как acks влияет на надёжность записи.

Разбираем, что физически хранится внутри Kafka Partition: как устроены Record, Key, Value, Timestamp, Headers, зачем нужен Offset и почему append-only log делает Kafka такой быстрой.

Разбираем, как Kafka масштабируется горизонтально: зачем нужны Partition, как Producer выбирает партицию, почему порядок гарантируется только внутри одной Partition и как Consumer Group распределяет нагрузку между Consumer.

Что такое Apache Kafka, почему она лучше прямых HTTP-вызовов между микросервисами, когда она действительно нужна и как устроены Broker, Topic, Producer и Consumer.

Индустрия сейчас совершает ту же ошибку, что и во времена взрывного перехода на микросервисы. Тогда все бросились дробить монолиты, не умея в автоматизацию. Сегодня все бросились внедрять AI, забыв про банальную инженерную гигиену.