Migration and Transfer

AWS Application Discovery Service

• 온프레미스 데이터센터에 대한 정보를 수집하여 마이그레이션 프로젝트를 계획함
• 서버 활용률 데이터와 종속성 매핑은 마이그레이션에 중요
• 에이전트 없는 디스커버리
  • VM 인벤토리, 구성, CPU, 메모리, 디스크 사용량과 같은 성능 이력 포함
• 에이전트 기반 디스커버리
  • 시스템 구성, 시스템 성능, 실행 중인 프로세스, 시스템 간 네트워크 연결의 세부 정보 포함
• 결과 데이터는 AWS Migration Hub 내에서 확인 가능

AWS Application Migration Service(MGN)

• CloudEndure Migration의 AWS 진화 버전으로, AWS Server Migration Service(SMS)를 대체
• 애플리케이션을 AWS로 마이그레이션하는 과정을 단순화하는 Lift and Shift(재호스팅) 솔루션
• 물리적, 가상화, 클라우드 기반 서버를 변화하여 AWS에서 네이티브하게 실행되도록 함
• 다양한 플랫폼, 운영체제, 데이터베이스를 폭넓게 지원
• 최소한의 다운타임으로 비용을 절감

Data Migration Service(DMS)

• 데이터베이스를 AWS로 빠르고 안전하게 마이그레이션하며, 복원력과 자가 복구 기능 제공
• 마이그레이션 중에도 소스 데이터베이스는 계속 사용 가능
• 다음을 지원
  • 동종 마이그레이션 (Oracle → Oracle)
  • 이기종 마이그레이션(SQL Server → Aurora)
• CDC(Change Data Capture)를 사용한 지속적 데이터 복제 지원
• 복제 작업을 수행하기 위해 EC2 인스턴스를 생성해야 함

DMS 소스(Sources)와 타깃(Targets)

SOURCES

• 온프레미스 및 EC2 인스턴스 데이터베이스: Oracle, MS SQL Server, MySQL, MariaDB, PostgreSQL, MongoDB, SAP, DB2
• Azure: Azure SQL Database
• Amazon RDS: Aurora를 포함한 모든 엔진
• Amazon S3
• DocumentDB

TARGETS

• 온프레미스 및 EC2 인스턴스 데이터베이스: Oracle, MS SQL Server, MySQL, MariaDB, PostgreSQL, SAP
• Amazon RDS
• Redshift, DynamoDB, S3
• OpenSearch Service
• Kinesis Data Streams
• Apache Kafka
• DocumentDB 및 Amazon Neptune
• Redis 및 Babelfish

AWS Scehma Conversion Tool(SCT)

• 데이터베이스의 스키마를 한 엔진에서 다른 엔진으로 변환함.
• 예시 (OLTP): SQL Server 또는 Oracle → MySQL, PostgreSQL, Aurora
• 예시 (OLAP): Teradata 또는 Oracle → Amazon Redshift
• 데이터 변환을 최적화하려면 컴퓨팅 집약적 인스턴스(Compute-intensive instance) 를 사용하는 것이 바람직함
• 동일한 DB 엔진으로 마이그레이션하는 경우 SCT를 사용할 필요가 없음
  • 예: 온프레미스 PostgreSQL → RDS PostgreSQL
  • 데이터베이스 엔진은 여전히 PostgreSQL이며, RDS는 단지 플랫폼임

DMS - 지속적 복제

AWS DMS - Multi-AZ 배포

• Multi-AZ가 활성화되면, DMS는 다른 가용 영역에 동기식으로 복제되는 대기 복제본을 프로비저닝하고 관리
• 장점
  • 데이터 중복성을 제공
  • I/O 정지를 방지
  • 지연 시간 급증을 최소화

AWS DataSync

• 대량의 데이터를 이동
  • 온프레미스 또는 다른 클라우드에서 AWS로 전송할 때 (NFS, SMB, HDFS, S3 API 등) → 에이전트 필요
  • AWS 간 스토리지 서비스 간 전송(AWS → AWS) 의 경우 → 에이전트 불필요
• 다음 대상으로 동기화 가능함
  • Amazon S3 (Glacier를 포함한 모든 스토리지 클래스)
  • Amazon EFS
  • Amazon FSx (Windows, Lustre, NetApp, OpenZFS 등)
• 복제 작업은 매시간, 매일, 매주 단위로 스케줄링 가능함
• 파일 권한 및 메타데이터(NFS POSIX, SMB 등)가 보존됨
• 하나의 에이전트 작업은 최대 10Gbps 대역폭을 사용할 수 있으며, 대역폭 제한 설정도 가능함

NFS/SMB to AWS(S3, EFS, FSx…)

AWS DataSync AWS 스토리지 서비스 간 전송

AWS Snowball

• 보안성이 매우 높은 휴대용 디바이스로, 엣지 환경에서 데이터를 수집하고 처리하며, 데이터를 AWS로 가져오거나 AWS로부터 내보내는 데 사용
• 페타바이트 단위의 대용량 데이터를 마이그레이션하는 데 도움을 줌

Snowball을 사용한 마이그레이션

문제점

• 제한된 연결성
• 제한된 대역폭
• 높은 네트워크 비용
• 공유 대역폭으로 인한 라인 최대 활용 불가
• 연결 안정성 문제

AWS Snowball

• 오프라인 디바이스를 이용하여 데이터 마이그레이션 수행
• 네트워크를 통해 데이터 전송에 1주 이상 걸리는 경우, Snowball 디바이스를 사용하는 것이 권장됨

Diagrams

Edge Computing이란

• 데이터가 엣지 위치에서 생성되는 즉시 처리
  • 예 : 도로 위의 트럭, 바다 위의 선박, 지하의 채굴소 등
• 이러한 위치들은 인터넷 연결이 제한되거나 컴퓨팅 파워에 접근할 수 없는 경우가 많음
• 이러한 환경에서 Snowball Edge 디바이스를 설정하여 엣지 컴퓨팅 수행
  • Snowball Edge Compute Optimized(해당 용도에 특화됨) 및 Storage Optimized 모델 제공
  • 엣지 환경에서 EC2 인스턴스 또는 Lambda 함수를 실행할 수 있음
• 주요 사용 사례 : 데이터 전처리, 머신러닝, 미디어 트랜스코딩

AWS Transfer Family

• FTP 프로토콜을 사용하여 Amazon S3 또는 Amazon EFS로의 파일 전송을 완전관리형으로 제공하는 서비스
• 지원 프로토콜
  • AWS Transfer for FTP(File Transfer Protocol)
  • AWS Transfer for FTPS(File Transfer Protocol over SSL)
  • AWS Transfer for SFTP(Secure File Transfer Protocol)
• 관리형 인프라, 확장성, 신뢰성, 고가용성(Multi-AZ) 제공
• 프로비저닝된 엔드포인트 단위 시간당 요금 + 데이터 전송량(GB 단위) 기준으로 과금
• 서비스 내에서 사용자 자격 증명을 저장 및 관리 가능
• 기존 인증 시스템과 통합 가능(Microsoft Active Directory, LDAP, Okta, Amazon Cognito, 또는 커스텀 인증 시스템)
• 주요 사용 사례 : 파일 공유, 공개 데이터셋, CRM, ERP 등