Moait
홈인기 피드모든 블로그모든 태그
홈인기 피드모든 블로그모든 태그
분석 데이터를 프로덕션에서 쉽게 사용할 수 없을까? 섬네일

분석 데이터를 프로덕션에서 쉽게 사용할 수 없을까?

뱅크샐러드 favicon뱅크샐러드·Data·
AWSREST APISparkAirflow
2023년 06월 07일2

AI 요약

이 글은 AI가 요약했어요. 정확한 내용은 꼭 원문을 확인해 주세요!

핵심 요약

뱅크샐러드가 분석 데이터를 API로 제공하는 데이터서빙 서비스를 구축해 프로덕션에서의 데이터 접근성을 크게 개선했습니다.

주요 특징

  • S3 기반 저장 및 메타데이터 관리
  • Airflow로 데이터 파이프라인 스케줄링 및 의존성 관리
  • Spark를 활용한 대용량 데이터 처리 및 API 응답성 향상
  • 분석 결과를 API로 즉시 조회 가능하도록 인터페이스 제공

적용 고려사항

  • 데이터 보안 및 거버넌스 정책 강화
  • 운영 모니터링, SLA 정의, 장애 대응 체계 마련
  • 데이터 증가에 따른 확장성 및 비용 최적화

연관 피드

%가 높을수록 이 글과 비슷할 가능성이 높아요!
데이터 분석가가 직접 정의, 배포, 관리하는 뱅크샐러드 데이터 파이프라인 섬네일
80%

데이터 분석가가 직접 정의, 배포, 관리하는 뱅크샐러드 데이터 파이프라인

뱅크샐러드 favicon뱅크샐러드·2023년 06월 05일
Spark on Kubernetes로 가자! 섬네일
74%

Spark on Kubernetes로 가자!

뱅크샐러드 favicon뱅크샐러드·2023년 01월 05일
점점 커지는 RDB Table, S3로 귀양 보내고 Athena로 불러오기 - feat. Optimization with Spark Bucketing 섬네일
72%

점점 커지는 RDB Table, S3로 귀양 보내고 Athena로 불러오기 - feat. Optimization with Spark Bucketing

뱅크샐러드 favicon뱅크샐러드·2023년 06월 08일