Machine Learning

Amazon SageMaker AI

• 개발자와 데이터 사이언티스트가 머신러닝 모델을 구축할 수 있는 완전관리형 서비스
• 일반적으로 머신러닝 전체 과정을 한 곳에서 수행하고 서버를 프로비저닝하는 것은 어렵지만 SageMaker는 이를 단순화함
• 머신러닝 프로세스(단순 예시): 시험 점수를 예측하는 모델 구축

SageMaker Feature Store

• 피처(feature)는 머신러닝 모델 학습에 사용되는 속성 또는 특성값을 의미함
  • 예를 들어, 주소, 소득, 나이 등의 피처를 기반으로 개인의 정치 성향을 예측할 수 있음
• 머신러닝 모델은 학습을 위해 피처 데이터에 빠르고 안전하게 접근해야 함
• 또한 피처 데이터를 체계적으로 관리하고 여러 모델 간에 공유하는 것이 어려움

피처의 출처는 사용자가 결정

SageMaker Feature Store의 데이터 구성 방식

데이터 수집(스트리밍 또는 배치 방식)

SageMaker Feature Store 보안

• 저장 중 및 전송 중 데이터 암호화 지원
• KMS 고객 관리 키와 함께 작동
• IAM을 통한 세분화된 접근 제어 제공
• AWS PrivateLink를 통해 추가적인 네트워크 보안 구성 가능

SageMaker ML Lineage Tracking

• 머신러닝 워크플로우(MLOps)를 생성하고 저장함
• 모델의 이력(history)을 지속적으로 관리함
• 감사 및 규정 준수를 위한 추적 기능 제공
• 자동 또는 수동으로 추적 엔티티 생성 가능
• AWS Resource Access Manager와 통합되어 계정 간 계보(lineage) 추적 가능
• SageMaker에서 생성된 계보 그래프 예시

Lineage Tracking 엔티티

• Trial component: 처리 작업, 학습 작업, 변환 작업 등 개별 실행 단위
• Trial: 여러 Trial component로 구성된 모델
• Experiment: 특정 사용 사례에 대한 여러 Trial의 집합
• Context: 엔티티들의 논리적 그룹
• Action: 워크플로우 단계나 모델 배포 등의 작업
• Artifact: S3 버킷이나 ECR 이미지 같은 객체 또는 데이터
• Association: 엔티티 간 연결 관계를 정의하며, 선택적 AssociationType 포함
  • ContributedTo
  • AssociatedWith
  • DerivedFrom
  • Produced
  • SameAs

Lineage 엔티티 쿼리

• Python에서 LineageQuery API 사용
  • Amazon SageMaker Python SDK의 일부
• 주어진 artifact를 사용하는 모든 모델, 엔드포인트 등을 조회 가능
• 시각화 결과 생성
  • 외부 Visualizer 헬퍼 클래스 필요

SageMaker Data Wrangler

• 머신러닝용 데이터를 준비하기 위한 시각적 인터페이스로 SageMaker Studio 내에서 사용
• 데이터 가져오기 기능 제공
• 시각화 기능 제공
• 변환 작업(300개 이상의 변환 기능 제공)
  • 또는 pandas, PySpark, PySpark SQL을 사용한 사용자 정의 변환 통합 가능
• Quick Model 기능을 통해 데이터를 이용한 모델 학습 및 결과 측정 가능

Data Wrangler 소스

Data Wrangler: 데이터 가져오기

Data Wrangler: 데이터 미리보기

Data Wrangler: 데이터 시각화

Data Wrangler: 데이터 변환

Data Wrangler: 퀵 모델

Data Wrangler: 데이터 플로우 내보내기

Data Wrangler 문제 해결

• Studio 사용자가 적절한 IAM 역할을 가지고 있는지 확인
• 데이터 소스의 권한이 Data Wrangler에서 접근 가능하도록 설정되어 있는지 확인
  • AmazonSageMakerFullAccess 정책 추가 필요
• EC2 인스턴스 제한 확인
  • “The following instance type is not available…” 오류 발생 시
  • 할당량(Quota) 증가 요청 필요
  • Service Quotas에서 Amazon SageMaker → Studio KernelGateway Apps → ml.m5.4xlarge 인스턴스 항목 확인