Как настроить Kafka для высоконагруженного pipeline?

Для высоконагруженной обработки данных Kafka настраивают через достаточное число разделов, репликацию, подтверждение записи всеми синхронными копиями, идемпотентных отправителей, пакетную отправку, сжатие и наблюдение за задержкой обработки. Число разделов определяет параллелизм, но слишком большое их количество повышает операционные издержки.