AWS SQSQueue란?AWS SQS – 스탠다드 큐가장 오래된 서비스 중 하나로, 10년 이상 제공됨완전관리형 서비스임초당 1건에서 15,000건까지 확장 가능메시지 기본 보존 기간은 4일이며, 최대 14일까지 설정 가능함큐에 저장 가능한 메시지 수에는 제한이 없음낮은 지연 시간 제공 (게시 및 수신 시 10ms 미만)소비자 수에 따라 수평 확장이 가능함중복 메시지가 발생할 수 있음(최소 한 번 이상 전달 보장, 간헐적 발생)메시지 순서가 보장되지 않을 수 있음(최선의 노력 기반 정렬 제공)전송 가능한 메시지의 최대 크기는 256KB임SQS – 메시지 생성본문(Body)을 정의함메시지 속성(메타데이터)을 추가함 (선택 사항)지연 전송을 설정할 수 있음 (선택 사항)메시지를 전송하면 다음 값을 반환받음..

AWS GlueGlue란?테이블 정의와 스키마를 자동으로 탐색하고 정의하는 서버리스 서비스임S3 데이터 레이크RDSRedshiftDynamoDB대부분의 다른 SQL 데이터베이스 지원함사용자 정의 ETL 작업 지원함트리거 기반, 일정 기반, 또는 온디맨드 방식으로 실행 가능함완전 관리형 서비스임Glue Crawler / Data CatalogGlue 크롤러는 S3에 있는 데이터를 스캔하여 스키마를 생성함주기적으로 실행할 수 있음Glue Data Catalog를 채움테이블 정의만 저장함원본 데이터는 S3에 그대로 유지됨한 번 카탈로그화되면 비정형 데이터를 마치 정형 데이터처럼 다룰 수 있음Redshift SpectrumAthenaEMRQuickSightGlue와 S3 파티션Glue 크롤러는 S3 데이터가 구..

도커란?Docker는 애플리케이션 배포를 위한 소프트웨어 개발 플랫폼임애플리케이션은 컨테이너 형태로 패키징되어 어떤 운영체제에서도 실행 가능함애플리케이션은 실행 환경에 상관없이 동일하게 동작함어떤 머신에서도 실행 가능함호환성 문제 없음예측 가능한 동작 보장작업량 감소유지보수 및 배포 용이함어떤 언어, 운영체제, 기술에도 호환됨사용 사례: 마이크로서비스 아키텍처, 온프레미스 애플리케이션을 AWS 클라우드로 리프트 앤 시프트하는 경우 등Docker on an OSDocker는 호스트 운영체제 위에서 실행됨컨테이너는 호스트 OS의 커널을 공유하지만, 각 컨테이너는 독립된 사용자 공간(user space)에서 동작함각 컨테이너는 자체적인 파일 시스템, 프로세스, 네트워크 스택을 가짐가상 머신(VM)과 달리 별도..

빅데이터에서의 EC2온디맨드, 스팟, 예약 인스턴스:스팟(Spot): 손실(loss)을 허용할 수 있는 경우 사용함, 비용이 저렴함 → 체크포인팅 기능 필요(예: 머신러닝 등)예약(Reserved): 장기 실행 클러스터나 데이터베이스용으로 사용함(1년 이상 장기 사용 시 적합함)온디맨드(On-Demand): 나머지 일반 워크로드에 사용함Auto Scaling (자동 확장):EMR 등에서 활용함DynamoDB, Auto Scaling Group 등에서는 자동화되어 있음EC2는 EMR의 기반 인프라임Master Node: 클러스터 관리 노드임Compute Node: 데이터를 보유함Task Node: 데이터를 보유하지 않고 연산만 수행함AWS GravitonAmazon의 자체 프로세서 제품군은 여러 EC2 인..

AWS Application Discovery Service온프레미스 데이터센터에 대한 정보를 수집하여 마이그레이션 프로젝트를 계획함서버 활용률 데이터와 종속성 매핑은 마이그레이션에 중요에이전트 없는 디스커버리VM 인벤토리, 구성, CPU, 메모리, 디스크 사용량과 같은 성능 이력 포함에이전트 기반 디스커버리시스템 구성, 시스템 성능, 실행 중인 프로세스, 시스템 간 네트워크 연결의 세부 정보 포함결과 데이터는 AWS Migration Hub 내에서 확인 가능AWS Application Migration Service(MGN)CloudEndure Migration의 AWS 진화 버전으로, AWS Server Migration Service(SMS)를 대체애플리케이션을 AWS로 마이그레이션하는 과정을 단순..

Amazon DynamoDB전통적인 아키텍처전통적인 애플리케이션들은 RDBMS 데이터베이스를 활용RDMBS 데이터베이스들은 SQL 쿼리 언어를 지원데이터 모델링 방식에 대한 강력한 제약 조건 존재조인, 집계, 복잡한 연산 수행 가능수직적 향상 : 더 강력한 CPU/RAM/IO 리소스로 업그레이드수평적 확장 : EC2/RDS Read Replica를 추가하여 읽기 성능 확장NoSQL 데이터베이스NOSQL 데이터베이스는 비관계형이며 분산 구조를 가짐대표적인 예: MongoDB, DynamoDB 등조인을 지원하지 않거나 제한적으로만 지원쿼리에 필요한 모든 데이터는 하나의 행에 포함되어 있음SUM, AVG 같은 집계 연산을 수행하지 않음수평적 확장에 최적화되어 있음⇒ NoSQL과 SQL에는 옳고 그름이 있는 것..