[20250314] Kafka와 RabbitMQ 쉽게 이해해보자!

 

📌 Kafka와 RabbitMQ는 무엇인가요?

둘 다 서비스 간 데이터를 주고받는 **메시지 브로커(Message Broker)**예요.
하지만 설계 목적과 동작 방식이 달라서 각각 잘 맞는 상황이 있어요.

• Kafka: 대용량 데이터 스트리밍과 이벤트 로그에 특화
• RabbitMQ: 빠르고 가벼운 메시지 전달과 비동기 작업 처리에 적합

 

📊 비유로 이해하기

• Kafka는 CCTV 녹화 시스템
  • 모든 이벤트(로그)를 순서대로 기록하고 필요할 때 다시 돌려봄
  • 데이터가 많아도 끊김 없이 빠르게 저장

 

• RabbitMQ는 택배 물류 센터
  • 도착한 택배(메시지)를 즉시 배달
  • 배달(처리)이 끝나면 창고에서 삭제

 

---

🧠 Kafka와 RabbitMQ의 동작 방식 차이점

 

개념	🗂️ Kafka	📬 RabbitMQ
메시지 저장	하드디스크에 영구 저장	메모리에 임시 저장 (원하면 디스크 저장도 가능)
메시지 수명	삭제하기 전까지 유지	읽으면 삭제 (기본 설정)
순서 보장	파티션 내에서 엄격한 순서 보장	여러 컨슈머가 있으면 순서 보장 어려움
전송 속도	대량의 데이터에 적합 (초당 수백만 건)	단일 메시지에 빠름 (초당 수천~수만 건)
확장성	노드(브로커) 추가로 쉽게 확장	큐와 컨슈머를 늘려서 확장
메시지 재처리	이미 읽은 메시지를 다시 읽을 수 있음	삭제된 메시지는 다시 받을 수 없음
복잡성	설정과 운영이 복잡함	설정과 사용이 상대적으로 간단함
주요 사용 사례	로그 수집, 스트리밍, 이벤트 소싱	이메일 발송, 비동기 작업, 알림

 

---

📦 Kafka와 RabbitMQ의 구조 차이점

 

🗂️ Kafka 구조

• Producer: 데이터를 Kafka로 보냄
• Broker: 데이터를 저장하는 서버 (여러 대로 확장 가능)
• Topic: 메시지를 저장하는 공간 (카테고리처럼 사용)
• Partition: 토픽을 쪼개서 여러 서버에 분산 저장
• Consumer: 메시지를 읽는 서비스

 

👉 특징: 메시지를 오래 보관하며, 필요한 시점에 여러 번 읽을 수 있어요.

 

📊 비유:

• Kafka는 CCTV 녹화 시스템
• 여러 사람이 원하는 장면을 각자 다시 볼 수 있음

 

---

📬 RabbitMQ 구조

• Producer: 메시지를 RabbitMQ로 보냄
• Exchange: 메시지를 어떤 큐로 보낼지 결정
• Queue: 메시지를 저장하는 곳 (컨슈머가 가져감)
• Consumer: 메시지를 받아서 처리하는 서비스

 

👉 특징: 한 번 처리한 메시지는 사라짐 (기본 설정).

 

📊 비유:

• RabbitMQ는 택배 물류 센터
• 택배를 보관했다가 수령하면 창고에서 삭제

---

🔍 Kafka와 RabbitMQ를 언제 사용해야 할까?

✅ Kafka를 사용해야 하는 경우

1. 대용량 데이터 처리
   • 초당 수백만 건의 이벤트를 수집해야 할 때
   • 예: 사용자 행동 로그, 거래 내역, 실시간 모니터링
2. 메시지 보존 및 재처리
   • 과거 데이터를 다시 분석할 필요가 있을 때
   • 예: 데이터 분석, 장애 복구 후 메시지 재처리
3. 스트리밍 처리
   • 이벤트를 실시간으로 전달하고 변환해야 할 때
   • 예: 실시간 채팅, IoT 센서 데이터 수집
4. 여러 서비스에서 동일한 메시지를 읽어야 할 때
   • 여러 팀/서비스가 같은 데이터를 필요로 할 때
   • 예: 주문 데이터 → 재고 시스템 + 배송 시스템에서 모두 처리

 

✅ RabbitMQ를 사용해야 하는 경우

1. 빠른 비동기 작업
   • 처리 시간이 긴 작업을 나중에 처리하고 싶을 때
   • 예: 이메일 발송, 알림, PDF 생성
2. 단순한 메시지 전달
   • 서비스 간 빠른 메시지 전달이 필요할 때
   • 예: 사용자 등록 후 웰컴 메일 발송
3. 실시간 작업
   • 즉시 처리해야 할 단일 작업에 적합
   • 예: 결제 승인 → 배송 시스템으로 알림
4. 작은 규모의 시스템
   • 관리가 쉬운 경량 메시지 큐가 필요할 때
   • 예: 중소규모 프로젝트에서 서비스 간 통신

---

⚔️ Kafka vs RabbitMQ – 실전 비교

 

비교 항목	🗂️ Kafka	📬 RabbitMQ
처리 속도	대량의 데이터(초당 수백만 건)	단일 메시지 처리에 빠름 (초당 수천 건)
확장성	노드 추가로 손쉽게 확장 가능	컨슈머와 큐 추가로 확장 가능
순서 보장	파티션 단위로 메시지 순서 보장	여러 컨슈머가 있으면 순서 보장 어려움
메시지 보관	삭제 전까지 보존 (기본 7일 이상)	소비 후 삭제 (기본 설정)
메시지 재처리	필요할 때 과거 메시지 재처리 가능	한 번 처리한 메시지는 재처리 불가
설치 및 관리	설정 복잡, 운영 도구 필요 (Zookeeper)	설치 및 관리가 쉬움
사용 사례	로그 수집, 스트리밍, 대규모 이벤트	비동기 작업, 알림, 소규모 이벤트 처리

 

---

📌 Kafka와 RabbitMQ, 어느 것을 선택해야 할까?

• Kafka를 선택해야 할 때
  • 초당 수십만~수백만 건 이상의 대용량 데이터
  • 이벤트를 기록하고 나중에 다시 읽어야 할 때
  • 여러 서비스가 같은 메시지를 처리해야 할 때

 

• RabbitMQ를 선택해야 할 때
  • 단순한 비동기 작업 (예: 이메일, 알림)
  • 빠른 메시지 전달과 즉시 처리
  • 설정과 운영을 쉽게 하고 싶을 때

 

---

🎯 정리 – 실무에서의 선택 기준

• 대규모 실시간 로그 수집 → Kafka
• 이메일 발송, 알림 서비스 → RabbitMQ
• 이벤트 저장 및 분석 → Kafka
• 간단한 서비스 간 통신 → RabbitMQ