Kafka 동작 원리
·
Engineering/Configuring
Kafka 구성 요소 Replication message 복제하여 클러스터 내 브로커들에 분산시키는 동작 하나의 브로커가 종료되어도 안정성 유지 가능 토픽 생성 시 replication factor 지정 가능 환경에 따른 factor 기준선정 (개발, 운영 등) Partition 하나의 Topic에 대한 처리량을 높이기위해 병렬 처리가 가능하게 만든것 Partition 수만큼 Consumer 연결 가능 늘리는건 가능하나 줄이는건 불가능 초기에 적게 설정 후 메세지 처리량, 컨슈머 LAG 모니터링하며 늘리는 것 권장 ※ 컨슈머 LAG Producer가보 낸 메세지 수 - Consumer가 가져간 메세지수 Segment Producer에 의해 Broker로 보내진 메세지는Partition에 저장됨 각 메세지..