Moait
홈인기 피드모든 블로그모든 태그
홈인기 피드모든 블로그모든 태그
Spark on Kubernetes로 가자! 섬네일

Spark on Kubernetes로 가자!

뱅크샐러드 favicon뱅크샐러드·DevOps·
AWSKubernetesApache Spark
2023년 01월 05일8

AI 요약

이 글은 AI가 요약했어요. 정확한 내용은 꼭 원문을 확인해 주세요!

핵심 요약

뱅크샐러드의 데이터 분석환경을 EMR/YARN 기반 Spark에서 Self-hosted Kubernetes로 전환하는 구현 사례를 다룹니다.

구현 방법

  • EMR/YARN 기반 아키텍처에서 Self-hosted Kubernetes로 이관
  • Kubernetes에서 Spark 실행 엔진 구성 및 자원 관리 정책 수립
  • 운영성과 확장성 확보를 위한 모니터링/배포 파이프라인 개선 방향 제시

주요 결과

  • 원문에 수치가 명시되지 않아 정량적 개선은 기재되지 않음

연관 피드

%가 높을수록 이 글과 비슷할 가능성이 높아요!
분석 데이터를 프로덕션에서 쉽게 사용할 수 없을까? 섬네일
74%

분석 데이터를 프로덕션에서 쉽게 사용할 수 없을까?

뱅크샐러드 favicon뱅크샐러드·2023년 06월 07일
점점 커지는 RDB Table, S3로 귀양 보내고 Athena로 불러오기 - feat. Optimization with Spark Bucketing 섬네일
71%

점점 커지는 RDB Table, S3로 귀양 보내고 Athena로 불러오기 - feat. Optimization with Spark Bucketing

뱅크샐러드 favicon뱅크샐러드·2023년 06월 08일
데이터 분석가가 직접 정의, 배포, 관리하는 뱅크샐러드 데이터 파이프라인 섬네일
69%

데이터 분석가가 직접 정의, 배포, 관리하는 뱅크샐러드 데이터 파이프라인

뱅크샐러드 favicon뱅크샐러드·2023년 06월 05일