Moait
홈인기 피드모든 블로그모든 태그
홈인기 피드모든 블로그모든 태그
아자르 Data Lifecycle Policy 개발하기 섬네일

아자르 Data Lifecycle Policy 개발하기

하이퍼커넥트 favicon하이퍼커넥트·Architecture·
MySQLKafkaREST APIMicroservicesSpring Kafka
2024년 11월 11일5

AI 요약

이 글은 AI가 요약했어요. 정확한 내용은 꼭 원문을 확인해 주세요!

핵심 요약

하이퍼커넥트의 Azar에서 개인정보 라이프사이클 정책을 이벤트 기반으로 구현해, 개인정보 보유 기간을 PrivacyType별로 구분하고 전사 데이터 삭제를 일관되게 수행합니다.

구현 방법

  • Kafka 기반의 예약부/처리부와 Outbox 패턴, Kafka acks(all), 배치 리스너로 손실 없이 처리
  • PersonalInfoDeleteSchedule(유저ID, privacyType, reservedAt)와 AccountEvent(PERSONAL_INFO_DELETED) 모델 도입
  • 보관 기간은 데이터 성격별 PrivacyType에 따라 필드/레코드 단위로 구분 가능
  • 탈퇴/제재 등 트리거에 따라 이벤트를 생성하고 컨슈머가 데이터를 삭제
  • 백필은 Databricks 데이터 레이크하우스, 모니터링은 Databricks/대시보드로 운영

주요 결과

데이터 삭제의 신뢰성과 확장성을 확보하고, 대규모 데이터에서도 일관된 삭제를 수행합니다.

연관 피드

%가 높을수록 이 글과 비슷할 가능성이 높아요!
FMS(Fleet Management System) 주행이벤트 파이프라인 개선기 섬네일
68%

FMS(Fleet Management System) 주행이벤트 파이프라인 개선기

쏘카 favicon쏘카·2024년 06월 11일
Spring Transactional Rollback Deep Dive 섬네일
67%

Spring Transactional Rollback Deep Dive

하이퍼커넥트 favicon하이퍼커넥트·2025년 02월 10일
Kafka에서 S3로 실시간 데이터 수집 파이프라인 설계와 구축기 섬네일
65%

Kafka에서 S3로 실시간 데이터 수집 파이프라인 설계와 구축기

펫프렌즈 favicon펫프렌즈·2025년 11월 07일