Snow Family, FSx, Storage Gateway, Transfer Family, DataSync

Snow Famaily - 매우 안전한 휴대 기기, 엣지에서 데이터를 수집하고 처리함(Snowcone, Snowball Edge), 데이터를 AWS 안팎으로 마이그레이션(Snowcone, Snowball Edge, Snowmobile), AWS에서 실제 물리 기기를 전달, 거기에 데이터를 로딩 후 다시 AWS에 전달, 대규모 데이터 클라우드 마이그레이션, 데이터센터 폐지, 재난 복구

 

- 데이터 마이그레이션 : 대용량 데이터를 전송할 때 문제 발생(전송 속도, 연결 제한, 대역폭 제한, 데이터 전송 비용, 네트워크 비용, 대역폭 공유, 연결 불안정) -> 이를 해결하기 위한 오프라인 기기가 Snow Family

 

      - Snowball Edge : TBs, PBs 등 대용량 데이터를 옮기기 위해 사용하는 기기, 데이터 전송 작업당 비용 지불, Block Storage, S3-호환 객체 스토리지 제공, 스트로지에 최적화된 기기(80TB 용량 제공, Block Volume, S3 Compatible Object), 컴퓨팅에 최적화된 기기(42TB 또는 28TB 용량 제공)

       - Snowcone : 매우 작은 휴대 기기, 열악한 환경도 가능, 적은 데이터 용, 엣지 컴퓨팅, 스토리지, 데이터 전송에 활용, 8TB HDD 기기, 14TB SSD 기기, 배터리와 케이블은 본인 부담, 오프라인으로 데이터 전송하거나 기기에 데이터를 담고 인터넷을 연결해 데이터 센터에 연결(AWS DataSync 서비스를 활용해 데이터를 다시 AWS에 전송 가능)

       - Snowmobile : 트럭, 1EB 용량 가능(1 snowmobil = 100PB X 10s), 안전, GPS 추적, 모니터

 

- 엣지 컴퓨팅 : 엣지 위치(인터넷이 없거나 클라우드에서 멀리 떨어진 것)에서 데이터를 생성하는 중에 그 데이터를 처리하는 것, 데이터 전처리, 엣지에서의 머신러닝, 미디어 스트림의 사전 트랜스코딩, 밑의 기기에서는 EC2 인스턴스, Lambda 함수(AWS IoT Greengrass) 실행 가능

 

      - Snowcone, Snowcone SSD : 2 CPU, 4GB memory, 유/무선 액세스, 전원

      - Snowball Edge(컴퓨팅 최적화) : 104 vCPU, 416GiB RAM, GPU, 28TB NVMe, 42TB HDD, 16개의 스토리지 클러스터링

      - Snowball Edge(스토리지 최적화) : 40 vCPU, 80GiB RAM, 80TB 스토리지

 

- OpsHub : CLI 대신 사용하는 GUI 프로그램, 로컬에 설치하는 SW, Snow 기기에 연결하고 설정 가능, 파일 전송, Edge에서 실행하는 인스턴스 관리, 모니터링 가능

 

- Snowball은 Glacier에 데이터를 직접 옮길 수는 없음, S3를 사용해 수명 주기 정책 생성 후 Glacier로 변경 가능

 

FSx - 완전 관리형 서비스, 타사 고성능 파일 시스템 실행 가능

 

       - Windows File Server : 완전 관리형 윈도우 파일 서버 공유 드라이브, SMB 프로토콜과 NTFS, AD 지원, 사용자 보안 가능, ACL로 제어 가능, Linux EC2 인스턴스에도 마운트 가능, 만약 기존에 윈도우 파일 서버가 있다면 DFS 기능을 이용해 파일 시스템 그룹화 가능(온프레미스 윈도우 파일 서버와 FSx 윈도우 파일 서버 결합), 초당 수십 GB ~ 수백만 IOPS 확장성, 수백 PB 데이터, SSD, HDD 가능, 프라이빗 연결로 온프레미스 연결 가능, 고가용성 다중 AZ에 대해 구성 가능, 모든 데이터는 재해 복구 목적으로 S3에 매일 백업됨

 

       - Lustre : 분산 파일 시스템으로 머신러닝이나 고성능 연산에 쓰임, Linux + Cluster, 동영상 처리, 금융 모델링, 전자 설계 자동화, 초당 수백 GB ~ 수백만 IOPS 확장성, 밀리초보다 짧은 지연 시간, SSD(낮은 지연 시간, 많은 워크 로드, 크기가 작은 무작위 파일 작업_IOPS), HDD(처리량 많은 워크 로드, 큰 시퀀스 파일 작업), S3와 무결절성 통합 가능, S3를 파일 시스템처럼 읽을 수 있음, FSx의 연산 출력값을 다시 S3에 쓸 수 있음, VPN을 통해 온프레미스 서버에서 사용 가능

 

       - 파일 시스템 배포 옵션 : Scratch File System(임시 스토리지, 데이터 복제 불가, 파일 유실 가능, 최적화로 성능 업그레이드 가능, TiB 처리량당 초당 200MB, 단기 처리 데이터), Persistent File System(장기 스토리지, 동일한 AZ에서 데이터 복제 가능, 민감한 데이터 장기 처리 및 스토리)

 

       - NetApp ONTAP : 관리형 NetApp ONTAP 파일 시스템, NFS, SMB, iSCSI 프로토콜과 호환 가능, 온프레미스의 ONTAP이나 NAS에서 실행 중인 워크로드를 AWS로 옮길 수 있음, Linux, Windows, MacOS, AWS's VMware Cloud, Workspaces, EC2...등 호환 가능, 스토리지 오토 스케일링, 복제, 스냅샷 가능, 적은 비용, 데이터 압축, 중복 제거 가능, 지정 시간 복제

 

       - OpenZFS : 관리형 OpenZFS 파일 시스템, 여러 버전 NFS 프로토콜과 호환 가능, ZFS에서 실행되는 워크로드를 AWS에 옮길 때 사용, Linux, Windows, MacOS, AWS's VMware Cloud, Workspaces, EC2...등 호환 가능, 백만 IOPS까지 확장성, 0.5밀리초 이하 지연 시간, 스냅샷, 압축 가능, 적은 비용, 데이터 중복 제거 불가, 지정 시간 복제

 

Hybrid Cloud : 긴 마이그레이션, 보안이나 규정 요건으로 인해 일부는 클라우드에 일부는 온프레미스에, S3는 NFS 규정 준수 파일 시스템인 EFS와는 다름, 이 S3 데이터를 온프레미스에 두려면 AWS Storage Gateway가 S3와 온프레미스를 연결

 

Storage Gateway : On-premises <-> gateway <-> Cloud, 재해 복구 목적으로 클라우드에 백업, 마이그레이션, 스토리지 확장, 복구, 백업, 지연 시간 단축에 활용, 회사 데이터 센터에 게이트웨이 설치

 

      - HW Appliance : 게이트웨이를 설치할 가상 서버가 존재하지 않을 때 사용 가능, AWS에서 주문 후 온프레미스에 설치 후 게이트웨이 설치 가능

 

      - S3 File Gateway : S3 버킷 클래스(Standard, IA, One Zone IA, Intelligent-Tiering)와 온프레미스 간 연결할 때 S3 파일 게이트웨이를 생성해, 서버와는 NFS나 SMB 프로토콜로 통신, S3 파일 게이트웨이가 이 요청을 HTTPS로 변환시켜 S3 버킷으로 전달, 사용된 데이터는 신속한 엑세스를 위해 S3 파일 게이트웨이에 캐시로 저장(전체 아니고 최근 파일만), 버킷에 접근하려면 각 S3 파일 게이트웨이마다 IAM 역할 생성, Glacier는 원래 불가하나 수명 주기 정책을 사용하면 데이터 전송 가능, SMB 프로토콜의 경우 사용자 인증을 위해 AD와 통합

 

      - FSx File Gateway : FSx for Windows File Server에 네이티브 엑세스 제공, Windows File Server를 사용하고, SMB 클라이언트에 접속하려는 경우 이미 접근이 가능하기 때문 작업이 필요없음, gateway가 있으면 자주 접근하는 데이터의 로컬 캐시 확보 가능, 중요 파일의 로컬 캐시가 회사 데이터 센터에 존재해 지연 시간 단축 가능, SMB, NTFS, AD 호환 가능, 그룹 파일 공유, 온프레미스를 연결할 홈 디렉터리로 사용 가능

 

      - Volume Gateway : 블록 스토리지, iSCSI 프로토콜 사용, 볼륨이 EBS 스냅샷으로 저장, 온프레미스 볼륨 복구 가능, 캐시 볼륨(최근 데이터 접근 시 지연 시간 낮음), 저장 볼륨(전체 데이터 세트가 온프레미스에 존재, 주기적인 S3 백업 필요)

 

      - Tape Gateway : 물리적으로 테이프를 사용하는 백업 시스템이 있는 회사에서 테이프 대신 클라우드를 활용해 백업할 수 있도록 함, Virtual Tape Library는 S3와 Glacier 사용, 테이프 기반 기존 데이터를 iSCSI 를 사용해 백업

 

Transfer Family : S3나 EFS의 안팎으로 데이터를 전송할 때(S3 APIs나 EFS 네트워크 파일 시스템을 사용하지 않고) FTP프로토콜만 사용하려는 경우 활용, FTP, FTPS, SFTP 프로토콜 활용 가능, 완전 관리형 인프라, 확장성과 안정성 높음, 시간당 프로비저닝된 엔드 포인트 비용 + 전송된 데이터의 GB 당 요금, 사용자 자격 증명 저장 및 관리 가능, AD, LDAP, Cognito 등 인증 시스템과 통합 가능, 파일 공유, 공개 데이터 세트 공유, CRM, ERP 등에 활용 가능

 

DataSync : 데이터 동기화, 온프레미스나 다른 클라우드로 대용량 데이터 이동 가능, 온프레미스 서버를 NFS, SMB, HDFS나 다른 프로토콜에 연결, 옮길 곳에 에이전트 존재해야 함, AWS에서 다른 AWS로 데이터 이동 가능, 에이전트 불필요, S3는 모든 스토리지 클래스에 동기화 가능, EFS로 네트워크 파일 시스템에 저장 가능, FSx는 모든 운영 체제 사용 가능, 복제 작업은 주기적으로 실행, 파일 권한, 메타데이터 저장 가능(NFS POSIX 파일 시스템, SMB 권한 준수), 에이전트는 하나의 테스크가 초당 10GB까지 사용 가능, 대역폭 제한 가능

 

S3 : 객체 스토리지, 대부분의 AWS와 연결 가능

S3 Glacier : 객체 아카이브

EBS Volume : 1개의 EC2 인스턴스에만 스토리지 연결, IO1, IO2 볼륨에 다중 연결 기능 지원

Instance Storage : IOPS가 높은 EC2 인스턴스에 고성능 물리 스토리지가 필요한 경우

EFS : 인스턴스가 네트워크 파일 시스템이 필요하고, 다중 AZ간 마운트를 하면서 POSIX 파일 시스템을 사용하는 경우

FSx for Windows : 윈도우 서버 파일 시스템이 필요한 경우

FSx for Lustre : 고성능 연산 Linux 파일 시스템, Lustre 클라이언트와 호환하는 경우

FSx for NetApp ONTAP : 높은 운영체제 호환성, 네트워크 파일 시스템이 필요한 경우

FSx for OpenZFS : 관리형 ZFS 파일 시스템이 필요한 경우

Storage Gateway : S3, FSx File Gateway, Volume Gateway, Tape Gateway

Transfer Family : S3나 EFS외에 FTP, FTPS, SFTP 인터페이스가 필요한 경우

DataSync : 온프레미스에서 AWS, AWS에서 AWS로 일정에 따라 데이터 동기화가 필요한 경우 

Snowcone, Snowball, Snowmobile : 데이터를 옮기는데 쓸 네트워크 용량이 없거나 물리적으로 대용량 데이터를 옮겨야할 때 장치를 주문해 온프레미스에 설치 후 클라우드에 이전

Database : 데이터 저장이 가능하지만 인덱스와 쿼리 작업이 필요한 특수한 워크로드가 있을 경우