[20250313] Kafka 필기

🎯 주제

• Apache Kafka의 기본 개념과 특징, RabbitMQ와의 차이점 학습
• 실시간 대용량 데이터 처리를 위한 분산 스트리밍 플랫폼의 이해

 

📝 핵심개념 정리

1. Kafka의 정의와 특징
   • 분산 스트리밍 플랫폼으로 실시간 데이터 피드의 빅데이터 처리 목적 
   • ⭐ 대용량 데이터 스트림 저장과 실시간 분석에 중점

    

2. Kafka의 주요 구성요소
   • 메시지: 데이터 단위로 키, 타임스탬프, 메타데이터로 구성 
   • 프로듀서: 메시지를 생성하고 Kafka로 전송하는 역할 
   • 토픽: 메시지를 저장하는 장소, 여러 파티션으로 분할 가능
   • 파티션: 토픽을 물리적으로 나눈 단위, 독립적 메시지 저장/관리 
   • 컨슈머: 토픽에서 메시지를 가져와 처리하는 역할 
   • 브로커: Kafka 클러스터의 각 서버, 메시지 저장/전송 담당 
   • 주키퍼: Kafka 클러스터 관리 및 조정 서비스

    

3. Kafka와 RabbitMQ의 차이점
   • 설계 철학: RabbitMQ는 메시지 전달 중심, Kafka는 데이터 스트림 저장/분석 중심
   • 메시지 모델: RabbitMQ는 큐 중심, Kafka는 토픽/파티션 중심
   • 데이터 저장: RabbitMQ는 단기 저장, Kafka는 장기 저장 목적 
   • ⭐ 사용 사례: RabbitMQ는 작업 큐/비동기 처리, Kafka는 대규모 실시간 데이터 처리 

    

4. 실제 적용 사례
   • 선착순 티켓 판매 시스템 설계 고려사항 
   • ⭐ 예약 시스템에서의 큐 활용 방식과 구현 방법