핵심 요약
AWS가 Amazon MSK Express Broker에서 Kafka 트랜잭션 워크로드의 병목과 처리량 한계를 분석하고, 묶음 크기·코디네이터 분산·프로듀서 수 조정으로 성능을 최적화하는 방향을 제시했습니다.
구현 방법
- Express Broker를 RF=3, minISR=2, KRaft 모드로 구성하고 sustained ingress 기준으로 사이징 수행
- 커밋 경로의 동기 특성으로 인한 고정 비용을 확인
- 묶음 크기와 프로듀서 수를 조합해 코디네이터 한도와 네트워크 한도 사이의 균형을 맞추는 절차 제시
주요 결과
- 3대 클러스터에서 10건 묶음시 처리량 120.5 MB/s, 100건 190.6 MB/s로 네트워크 한도에 도달
- 200건 묶음에서 커밋 지연 약 97–98 ms로 증가하나 여전히 네트워크 한도에 도달
- 대규모 부하 시 __transaction_state 분산으로 코디네이터 부하를 고르게 분산하면 처리량 증가
