Как настроить Kafka для высоконагруженного конвейера данных

Что такое pipeline

Pipeline, или конвейер обработки данных, — последовательность этапов: событие создаётся, записывается в Kafka, обрабатывается одним или несколькими сервисами, преобразуется и передаётся дальше. Пример: события кликов → очистка → агрегация → аналитическое хранилище.

Producers
  |
Kafka topic with partitions
  |
Consumer group: validation
  |
Consumer group: enrichment
  |
Analytics storage / data warehouse

Разделы и параллелизм

Тема Kafka разбивается на разделы. Внутри одного раздела порядок сообщений сохраняется, а разные разделы могут обрабатываться параллельно. Число активных получателей в одной группе не может эффективно превышать число разделов: лишние получатели будут простаивать.

Надёжность записи

Для важных сообщений обычно используют репликацию и подтверждение записи всеми синхронными копиями. Также задают минимальное число синхронных копий, без которого запись не считается успешной.

topic settings:
  replication.factor: 3
  min.insync.replicas: 2

producer settings:
  acks: all
  enable.idempotence: true

Производительность отправителя

Для высокой пропускной способности отправитель обычно собирает сообщения в небольшие пакеты, использует сжатие и не ждёт отдельного сетевого обмена для каждого сообщения. Но параметры задержки и размера пакета выбирают по требуемой latency: слишком большая буферизация может ухудшить время доставки.

producer settings:
  compression.type: zstd
  linger.ms: 10
  batch.size: 65536
  enable.idempotence: true

Выбор ключа сообщения

Ключ определяет раздел, в который попадёт сообщение. Сообщения с одним ключом, например одним order ID, будут идти в один раздел и сохранят порядок. Нельзя использовать слишком популярный ключ, иначе появится перегруженный раздел.

Наблюдаемость

Нужно следить за скоростью записи, ошибками, размером разделов, использованием диска, состоянием реплик, задержкой получателей, временем обработки, количеством сообщений в очередях ошибок и перекосом нагрузки между разделами.

Как ответить на собеседовании

Для высоконагруженного Kafka-конвейера выбираю число разделов по требуемому параллелизму и будущему росту, но не создаю их бесконтрольно. Для надёжных данных использую replication factor 3, acks=all, min.insync.replicas и идемпотентного отправителя. Для производительности настраиваю пакеты, сжатие и ключи разделов, а затем контролирую задержку получателей, состояние реплик и перекос разделов.

Как настроить Kafka для высоконагруженного pipeline?