Moait
홈인기 피드모든 블로그모든 태그
홈인기 피드모든 블로그모든 태그
데이터 분석 라이브러리 개발기 (1) 섬네일

데이터 분석 라이브러리 개발기 (1)

데브시스터즈 favicon데브시스터즈·Data·
AWSPythonApache SparkPySparkSpark SQL
2020년 11월 27일4

AI 요약

이 글은 AI가 요약했어요. 정확한 내용은 꼭 원문을 확인해 주세요!

핵심 요약

데브시스터즈의 DevPlay Analytics 라이브러리는 데이터 계층 기반 접근과 SQL 인터페이스를 통해 노트북과 Airflow(batch) 환경에서 분석 코드를 재사용하게 해주는 도구다.

주요 특징

  • 데이터 계층(Log/DW) 모듈과 SQL 계층으로 테이블 단위 로드/저장이 가능
  • Vault 기반 credential 렌더링으로 보안 설정을 외부 비밀 저장소에서 관리
  • 유틸 함수와 설정 계층으로 노트북과 배치 환경 차이를 최소화
  • 레퍼런스 문서 자동화 및 doctest로 코드와 문서를 동시 보장

적용 고려사항

  • PySpark 및 Spark 구성 환경 필요
  • Vault 연동 및 접근 권한 구성 필요
  • Sphinx 기반 레퍼런스 및 doctest를 통한 문서화가 기본

연관 피드

%가 높을수록 이 글과 비슷할 가능성이 높아요!
데이터 분석 라이브러리 개발기 (2) - 통합 테스팅과 문서화를 동시에 잡는 방법 섬네일
81%

데이터 분석 라이브러리 개발기 (2) - 통합 테스팅과 문서화를 동시에 잡는 방법

데브시스터즈 favicon데브시스터즈·2020년 12월 04일
개발-운영 생산성 모니터링하기 (with Devlake, Grafana) 섬네일
70%

개발-운영 생산성 모니터링하기 (with Devlake, Grafana)

인프랩 favicon인프랩·2024년 02월 21일
웹 개발자의 데이터 애플리케이션 flow 효율화하기 섬네일
69%

웹 개발자의 데이터 애플리케이션 flow 효율화하기

데브시스터즈 favicon데브시스터즈·2023년 08월 02일