Feat/#378 event driven architecture

[JIN-076]

🚀 개발 사항

업적 이벤트 아키텍처 설계도

config 클래스
KafkaProducerConfig
kafkaConsumerConfig

커스텀 메시지 타입을 위한 역직렬화 클래스
CustomDeserializer

• 컨슈머는 메시지를 byte로 수신하고 이에 대한 처리를 위해 역직렬화하는 과정에서 (Event<?> 타입으로) CustomDeserializer 클래스를 사용하도록 처리함

메시지 중복 처리 방지를 위한 컴포넌트
Event<T>
MessageLog
DuplicateLogService

producer · consumer 컴포넌트
MessageProducer
AcheivementMessageConsumer
NotificationMessageConsumer
MailSender

• 카프카를 활용한 메시지 전송 및 수신으로 인한 처리 과정에서, 정확히 한 번 전송과 메시지의 중복 처리를 방지하기 위한 컴포넌트
• 프로듀서는 메시지를 트랜잭션 단위로 전송하며, 정확히 한 번 전송 EOS 를 위해 멱등성을 보장, transaction_id_prefix를 설정함
• 컨슈머는 메시지를 한 번에 최대 5개를 수신할 수 있도록, 메시지의 중복과 손실을 방지하기 위해서 오프셋을 수동으로 커밋하도록 함
• 오프셋은 최대 5개의 메시지를 처리하고 수동으로 커밋이 되며, 이 떄 카프카의 장애로 인한 Rebalancing으로 인해 매시지 중복 가능성 존재
• 메시지 중복을 방지하기 위해 log를 RDBMS에 별도로 저장하도록 하고, 중복 검사 메커니즘을 구현함
• 예상치 못한 장애로, 설정해둔 재시도 횟수를 초과하면 메시지는 별도 처리를 위해 DLT로 이동하게 되고, 이때 관리자의 이메일로 알림이 전송됨

Transactional Outbox Pattern 적용
OutboxEvent
OutboxProcessor

• Spring에서 제공하는 Event 활용 방식에서 발생할 수 있는 예외 복구를 위한 디자인 패턴 적용
• 도메인 로직이 성공적으로 수행되었을 경우, 이벤트 발행 완료를 outbox 테이블에 기록
• 카프카에서 성공적으로 이벤트를 넘겨받았을 경우, '완료' 상태로 업데이트
• 발행 또는 수신 실패한 이벤트에 대해서는 별도 프로세서가 주기적으로 재발행을 수행함으로써 데이터 정합성을 복구

이벤트 헬퍼 클래스
ProjectEventHelper
ReviewEventHelper
ProjectJoinRequestEventHelper
ProfileCardLikeEventHelper
NotificationEventHelper

• 도메인 로직과 카프카 로직 간의 느슨한 결합을 위한 헬퍼 클래스
• Spring에서 제공하는 EventPublisher, TransactionalEventListener를 활용해 이벤트 발행 및 수신 처리

이슈 번호

• close [💡 FEAT] Kafka, EventListener를 활용한 이벤트 기반 아키텍처 설계 및 리팩토링 #378

특이 사항 🫶

업적 이벤트 시스템 아키텍처를 설계하는 과정에서, 컴포넌트를 개발하고 발생할 수 있는 예외 상황에 대한 처리 과정, 에러 핸들러 처리 방식 등 자세한 개발 과정은 다음 링크에서 확인할 수 있습니다!
A-Z까지 업적 이벤트 아키텍처 재설계 정복기

피드백이나 궁금한 점에 대해서는 가감없이 코멘트 해주세요~!🙇🏻‍♀️

[github-actions]

Test Results

76 tests   76 ✅  2s ⏱️
11 suites   0 💤
11 files     0 ❌

Results for commit d25971d.

♻️ This comment has been updated with latest results.

[tidavid1]

Transaction OutBox 패턴을 적용한 이유가 있을까요 궁금합니다!

[JIN-076]

Transaction OutBox 패턴을 적용한 이유가 있을까요 궁금합니다!

도메인 로직과 카프카 로직 사이의 느슨한 결합을 위해 Spring에서 제공하는 Event를 사용하는데, 이때 이벤트 발행과 이벤트 수신이 실패했을 경우에 대한 예외 처리가 스프링에서는 제공이 되고 있지 않습니다! 심지어 실패해도 예외가 전파되지도 않습니다,, 그래서 해당 패턴을 적용해서 이벤트 발행 정보를 기록해두고, 발행이나 수신이 실패한 이벤트를 별도로 재발행해주도록 하기 위해 적용했습니다!