Moait
홈인기 피드모든 블로그모든 태그
홈인기 피드모든 블로그모든 태그

Running Apache Spark experiments in my sleep (and on a plane)

넷플릭스 favicon넷플릭스·Data·
Apache SparkDataflowAdaptive Query ExecutionBroadcast Joins
2026년 10월 14일0

AI 요약

이 글은 AI가 요약했어요. 정확한 내용은 꼭 원문을 확인해 주세요!

핵심 요약

넷플릭스가 대규모 Spark 실험을 병렬 실행하고 AI 에이전트로 운영을 자동화한 사례를 공유합니다.

구현 방법

  • Dataflow 분기 격리와 Maestro로 각 브랜치/테이블 독립 실행
  • 다섯 변형을 동시 실행하고 tmux로 장시간 세션 유지
  • 에이전트가 변형 정의·배포·모니터링·로그 요약까지 자동화

주요 결과

  • 피크 메모리 112% → 58%, 디스크 스필 0
  • 총 실행 시간은 가장 느린 작업의 시간으로 축소
  • 단일 로그로 재현성 확보

연관 피드

%가 높을수록 이 글과 비슷할 가능성이 높아요!
Building Service Topology at Scale: Architecture, Challenges, and Lessons Learned 섬네일
73%

Building Service Topology at Scale: Architecture, Challenges, and Lessons Learned

넷플릭스 favicon넷플릭스·2026년 07월 13일
No Image
72%

Netflix Stratum Media Processing: Automated Container Right-Sizing

넷플릭스 favicon넷플릭스·2026년 10월 14일
No Image
72%

Supercharging the ML and AI Development Experience at Netflix

넷플릭스 favicon넷플릭스·2025년 11월 04일