머신 러닝 워크로드를 쉽게 배포하고 관리하는 Kubeflow

Kubeflow

Kubernetes + ML flow

Kubernetes 환경에서 머신 러닝 워크로드를 쉽게 배포하고 관리하기 위한 오픈소스 플랫폼

특히 Kubernetes의 컨테이너 오케스트레이션 능력을 활용하여 

머신 러닝 모델의 학습, 서빙, 모델 버전 관리, 모델 간 비교 등의 작업을 지원

 

개발자들은 개발/배포 환경의 반복적인 구성작업을 자동화해 AI개발에 집중할 수 있다.

 

 

 

 

주요기능과 구성요소는 아래와같다.

TFJob

TensorFlow를 위한 Job 관리 기능인 TFJob

이를 통해 TensorFlow 모델을 학습하거나 서빙하는 데 필요한 리소스를 동적으로 할당하고 관리

 

KFServing

모델 서빙을 위한 서비스

모델을 배포하고 REST 또는 gRPC를 통해 추론을 수행

 

Katib

하이퍼파라미터 튜닝을 지원하는 컴포넌트

모델의 성능을 향상시키기 위해 최적의 하이퍼파라미터 조합을 찾을 수 있다.

Pipeline

ML 워크플로우를 정의하고 실행하기 위한 도구

여러 단계로 구성된 복잡한 워크플로우를 쉽게 관리

Jupyter Notebooks

Jupyter Notebooks를 통합하여 데이터 분석, 실험, 모델 개발을 위한 환경을 제공

 

Artifact Store

모델 아티팩트, 데이터, 메타데이터 등을 저장하고 추적하기 위한 아티팩트 스토어를 제공

Custom Resource Definitions (CRDs)

사용자 정의 자원을 정의하고 관리

머신 러닝 관련 리소스를 효과적으로 다룸

Kubeflow는 모델의 생명주기를 관리하고, 확장 가능하며 유연한 머신 러닝 플랫폼을 제공하여 데이터 과학자, 엔지니어, 개발자 등이 Kubernetes 환경에서 머신 러닝 워크로드를 관리하는 데 도움을 줍니다.