[AWS] AWS 스토리지 추가 기능 - Snow Family

Snow Family

• 엣지에서 데이터를 수집 및 처리하거나 AWS 내부 및 외부로 데이터를 마이그레이션하는 데 사용된다.
• Data migration
    - Snowcone
    - Snowball Edge
    - Snowmobile
• Edge computing
    - Snowcone
    - Snowball Edge

 

Data Migrations with AWS Snow Family
( AWS 스노우 제품군을 사용하여 데이터 마이그레이션을 수행하려는 이유는 무엇일까? )

• 네트워크를 통해 많은 데이터를 전송하는 데 걸리는 시간을 살표보면 많은 시간이 걸릴 수 있다.
    - 예를 들어, 초당 1기가비트 네트워크 회선을 통해 100TB를 전송하려는 경우 12일이 소요된다.
    - 따라서 만약 페타바이트를 다루게 되면, 시간이 엄청 오래 걸릴거라는 게 분명하다.
• 밑의 이미지를 보시다시피 때로는 데이터가 AWS에 빠르게 전달되기를 원할 때도 있다. 그리고 문제는 때때로 소규모 네트워크 전송 외에도 연결성 과대역폭이 제한된다는 것이다.
• 네트워크를 통해 데이터를 전송하면 약간의 비용이 발생할 수 있다. 네트워크를 사용하는 것은 무료가 아니고 대역폭이 공유될 수도 있다.
    - 예를 들어, AWS에서 비디오를 다운로드하고 10테라바이트의 데이터를 다운로드하는 경우 사무실 내 대역폭을 최대화하기때문에 사무실 전체를 차단하게 될 수도 있다. 그러면 연결이 충분히 안정적이지 않을 수도 있다. 따라서 다시 시도하거나 해야한다.
• 위의 모든 이유가 스노우 제품군의 사용 근거가 된다. 스노우 제품군은 데이터 마이그레이션을 수행할 수 있는 오프라인 장치이다.
• AWS는 우체국에서 실제 물리적 장치를 보내줄 것이다. 그런 다음 데이터를 로드한 다음 AWS로 다시 보낸다.
    - 따라서 경험상 네트워크를 통해 데이터를 전송하는 데 일주일 이상 걸리는 경우, 예를 들어 스노우볼 장치를 사용해야 한다.

 

Diagrams

• 예전처럼 아마존 S3에 파일을 직접 업로드하는 경우, 고객이 아마존 S3에 데이터를 보내는 것이다.
• 스노우 제품군의 경우, 예를 들어 고객이 스노우볼 장치를 요청하면 우편으로 받는다. AWS가 장치를 배송할 것이고, 데이터를 로컬에서 장치에 직접 로드한 다음 장치를 AWS로 다시 배송하여 AWS 시설에 제공한다. 그러면 AWS가 해당 장치를 자체 인프라에 연결한다. 그런 다음 아마존 S3 버킷에 수행하려는 작업에 따라 데이터를 가져오거나 내보낸다.
    = 실제로 이는 데이터를 AWS로 전송하는 방법이다. (네트워크 경로가 아니라 물리 경로를 통해서)

 

Snawball Edge (for data transfers)

• 스노우볼 엣지는 이미지처럼 거대한 박스이며, 테라바이트 또는 페타바이트의 데이터를 AWS 안팎으로 이동시키는 데 사용된다.
• 네트워크를 통해 데이터를 이동하는 것의 대안이 될 것이다.
• 데이터 전송 작업당 비용을 지불하고 스노우볼 엣지 내의 인터페이스는 블록 스토리지 또는 아마존 S3 호환 객체 스토리지를 제공한다.
• 두가지 유형
    - Snowball Edge Storage Optimized
        : 80TB의 HDD 또는 210TB의 NVMe 용량을 제공한다.
        : 블록 볼륨 또는 S3 호환 객체 스토리지에 적합하다.
    - Snowball Edge Compute Optimized
        : 42TB 또는 28TB의 용량을 제공한다.
• 사용 사례
    - 대규모 데이터 클라우드 마이그레이션을 수행하여 데이터 센터를 폐기하거나 데이터를 AWS에 백업하여 재해 복구를 수행하는 것이다.

 

Snawcone & Snowcone SSD

• 스노우콘은 매우 작은 휴대용 장치이며 견고하다.
• 안전하고 열약한 환경을 견딜 수 있으며, 데이터 양이 적은 환경에 적합하다. 그래서 2.1kg으로 가볍다. 원한다면 드론에 장착할 수도 있다.
• 엣지 컴퓨팅, 스토리지 및 데이터 전송에 사용될 것이다.
• 두가지 유형
    - Snowcone
       : 8TB의 HDD 스토리지가 포함된다.
    - Snowcone SSD
       : 더 빠른 디스크가 필요한 경우, 14TB SSD가 있다.
• 공간이 제한된 환경과 같이 스노우볼이 맞지 않는 곳에서는 스노우콘을 사용하게 되며 배터리와 케이블을 직접 준비해야 한다.
• 데이터를 AWS로 다시 보내려면 두 가지 옵션이 있다.
    - 데이터를 오프라인으로 배송하여 전송하는 방법
    - 데이터를 수집한 후에 인터넷 연결이 가능한 데이터 센터에 이 장치를 연결한 다음 AWS DataSync 서비스를 사용하여 데이터를 AWS로 전송하는 방법

 

Snowmobile

• 스노우모빌은 이미지와 같이 실제 트럭이다.
    - 실제로 발표 당시 데이터를 전송할 트럭임을 보여주기 위해 실제로 트럭을 무대에 올렸다.
• 엑사바이트 규모의 데이터를 전송할 수 있다.
    - 1엑사바이트는 1,000PB이고 1,000,000TB이다.
• 각 스노우모빌의 용량은 100PB이다.
    - 따라서 1엑사바이트의 데이터에 도달하라면 스노우모빌을 10대를 주문해야 한다.
• 보안이 철저하고, 온도가 조절된다.
• 24시간 GPS와 비디오 감시가 있어서 데이터를 전송하는 데 상당히 안전한 방법이다.
• 10페타바이트 이상의 데이터 전송을 하는 경우에는 스노우볼보다 더 나은 사용 사례이다.

 

AWS Snow Family for Data Migrations

• 스노우콘, 스노우볼 엣지, 스노우모빌이 있으며 각각 저장 용량이 다르다.
• 8TB부터 210TB, 그리고 100PB까지 가능하다.
• AWS에서 권장하는 마이그레이션 크기는 스노우콘으로 최대 24TB이다.
• 스노우볼 엣지의 경우 페타바이트까지 가능하며 AWS로 다시 보내야 하기 때문에 오프라인 상태이다.
• 스노우모빌의 경우 최대 엑사바이트의 데이터를 사용할 수 있다.
• DataSync 에이전트는 스노우콘에 사전 설치되어 있다. 이를 네트워크에 연결하고 DataSync가 네트워크를 통해 데이터를 보내도록 할 수도 있기 때문이다.

 

Snow Family - Usage Process
(어떻게 사용해야 될까?)

1. 콘솔에서 장치 배송을 요청하면 우리는 직접 이를 받아 볼 수 있다.
2. 스노우볼 클라이언트를 설치하거나 AWS OpsHub를 서버에 사용한다.
3. 스노우볼을 서버에 연결하고 클라이언트에서 파일 복사를 시작한다.
4. 그런 다음 장치를 반송한다. 준비가 되면 잉크 마커 덕분에 데이터가 올바른 AWS 시설로 바로 이동하고 데이터는 S3 버킷에 로드된 다음 스노우볼은 가장 높은 보안 조치에 따라 완전히 삭제될 것이다.

 

What is Edge Computing?

• 엣지 컴퓨팅을 수행하려면 스노우볼 엣지 장치나 스노우콘을 주문하고 이를 엣지 로케이션에 내장하고 엣지 컴퓨팅을 시작할 수 있다.
• 엣지 컴퓨팅의 사용 사례는 데이터를 전처리하고 엣지에서 기계학습을 수행하는 것이다.
• 따라서 클라우드로 돌아가지 않고도 주요 스트림을 미리 트랜스코딩하고 필요에 따라 데이터를 다시 AWS로 전송해야하는 경우, 스노우콘 또는 스노우볼 엣지용 장치를 다시 배송할 수 있다.
• 실제로 데이터를 생성하는 위치에서 매우 가까운 곳에서 데이터 처리를 시작한 다음 AWS로 다시 전송한다.

 

Snow Family - Edge Computing?
(엣지 컴퓨팅에 어떤 것들이 있을까?)

• Snowcone & Snowcone SSD (smaller)
    - 두 개의 CPU에 4GB의 메모리, 유무선 액세스를 제공하는 스노우콘과 스노우콘 SSD가 있고 전원을 공급하기 위한 USB-C 또는 옵션 배터리가 있다.
• Snowball Edge - Compute Optimized
    - 이 장치는 약 104개의 vCPU와 416GB의 RAM을 갖추고 있고 비디오 처리나 기계학습을 위해 선택적으로 GPU를 추가할 수 있다.
    - 저장용량으로는 28TB의 NVMe 또는 42TB의 HDD를 사용할 수 있다.
    - 최대 16개의 노드까지 클러스터링하여 전체 스토리지를 확장할 수 있다.
• Snowball Edge - Storage Optimized
    - 약 40VCPU, 80GB 램 80TB 스토리지를 제공하거나 최대 104VCPU, 416GB 램 또는 210TB의 스토리지를 제공한다.
• 이 모든 스노우콘 장치는 EC2 인스턴스와 람다 기능을 실행할 수 있다.
• 웹사이트에서 오랫동안 보유할 수 있기 때문에, 실제로 임대할 수 있다.
    - 예를 들어, 1년 또는 3년 할인된 가격으로 장기 배치 옵션이 있다.

 

 

AWS OpsHub

• 과거에는 이 장치를 사용할 때는 CLI가 필요했다.
    - CLI = 명령줄 인터페이스 도구
• AWS는 CLI가 매우 어려워서 컴퓨터나 노트북에 설치하는 소프트웨어인 OpsHub를 만들었다.
  따라서 클라우드에서 사용하는 것이 아니다.
  컴퓨터에 다운로드해야 하는 항목이다.
• 그런 다음 연결되면 스노우 장치에 연결하고 구성하고 사용할 수 있는 그래픽 인터페이스를 제공하여 매우 편리하다.
• 단일 또는 클러스터 장치 잠금 해제 및 구성, 파일 전송, 스노우 제품군 장치에서 실행되는 EC2 인스턴스 시작 및 관리 장치 지표 모니터링, 장치에서 호환되는 AWS 서비스 시작
• 예를 들어, EC2 인스턴스나 Datasync 또는 네트워크 파일 시스템을 사용한다.

 

 

Snowball을 통해 데이터를 직접 Glacier에 불러올 수 있을까?

• Snowball은 Glacier에 데이터를 직접 끌어올 순 없고 그렇게 하려면 먼저 Amazon S3를 사용해서 수명 주기 정책을 생성하여 Amazon Glacier로 객체를 전환할 수 있다.
• Snowball이 데이터를 Amazon S3로 가져오면 S3의 수명주기 정책을 통해 해당 데이터가 Amazon Glacier로 전환된다.