Разбираем Kafka для интервью и System Design: ключевые вопросы про Topic, Partition, Consumer Group, Offset, порядок, отказоустойчивость, Consumer Lag, RabbitMQ, проектирование интернет-магазина, видеообработки и аналитики кликов.

Практический разбор проектирования Kafka для production: Topics, Key, Partition, hot partitions, Retention, формат событий, retry, dead letter topics, идемпотентность и Consumer Lag.

Проходим полный путь сообщения в Kafka: Producer, выбор Partition, Leader Broker, batch, append-only log, репликация, Fetch-запрос Consumer, обработка, Offset Commit и модели доставки.

Разбираем, как Kafka может работать и как очередь задач, и как потоковая платформа: Consumer Group, Publish/Subscribe, backpressure buffering, события, команды и реальные сценарии использования.

Разбираем ключевые причины высокой производительности Kafka: append-only log, последовательную запись, Page Cache, batching, partitioning, immutability и Zero Copy.

Разбираем отказоустойчивость Kafka: как Partition реплицируется между Broker, зачем нужны Leader и Follower, что такое ISR, как выбирается новый лидер и как acks влияет на надёжность записи.

Разбираем, что физически хранится внутри Kafka Partition: как устроены Record, Key, Value, Timestamp, Headers, зачем нужен Offset и почему append-only log делает Kafka такой быстрой.

Разбираем, как Kafka масштабируется горизонтально: зачем нужны Partition, как Producer выбирает партицию, почему порядок гарантируется только внутри одной Partition и как Consumer Group распределяет нагрузку между Consumer.

Что такое Apache Kafka, почему она лучше прямых HTTP-вызовов между микросервисами, когда она действительно нужна и как устроены Broker, Topic, Producer и Consumer.

Индустрия сейчас совершает ту же ошибку, что и во времена взрывного перехода на микросервисы. Тогда все бросились дробить монолиты, не умея в автоматизацию. Сегодня все бросились внедрять AI, забыв про банальную инженерную гигиену.