[AWS] AWS 스토리지 추가 기능 - Storage Gateway

Hybrid Cloud for Storage

• AWS에서는 하이브리드 클라우드를 권장하는데 이는 일부 인프라는 AWS 클라우드에 있고 나머지는 그대로 온프레미스에 두는 방식을 뜻한다.
• 클라우드 마이그레이션이 오래걸리거나 보안 또는 규정 준수 요건이 있는 경우가 그렇다. 전략에 따라서 엘라스틱 워크로드에만 클라우드를 활용하고 나머지는 온프레미스에 두는 방법을 사용할 수도 있다.
• AWS의 여러 인기 서비스 중 Amazon S3는 독점 스토리지 기술로 NFS 규정 준수 파일 시스템인 EFS와는 다르다.
• S3 데이터를 온프레미스에 두려면 어떻게 해야할까?
    - AWS Storage Gateway가 S3가 우리의 온프레미스 인프라를 이어주는 가교의 역할을 한다.

 

AWS Storage Cloud Native Options

• AWS의 스토리지 클라우드 네이티브 옵션을 보면 Amazon EBS나 EC2 인스턴스 같은 블록 스토리지가 있다.
• Amazon EFS나 Amazon FSx 같은 파일 시스템, Amazon S3나 Amazon Glacier 같은 객체 수준 스토리지도 있다.

 

AWS Storage Gateway

• 온프레미스 데이터와 클라우드 데이터 간의 가교 역할을 한다.
    - AWS Storage Gateway를 이용해서 온프레미스 데이터를 클라우드로 이동시킨다.
• 사용 사례
    - 재해 복구 목적
        : 온프레미스 데이터를 클라우드에 백업할 수 있다.
    - 백업과 복구 목적
    - 클라우드 마이그레이션, 혹은 온프레미스에서 클라우드 간 스토리지 확장을 사용 할 수 있다.
         : 클라우드에는 콜드 데이터를 두고 온프레미스에는 이보다 더 자주 쓰는 웜 데이터를 두는 식으로
    - 온프레미스 캐시 & 지연 시간 파일 액세스
          : AWS에 저장하고 파일 액세스 지연 시간을 줄이기 위해 AWS Storage Gateway를 온프레미스 캐시로 사용하는 방법도 있다.
• 활용 방법
    - S3 File Gateway
    - FSx File Gateway
    - Volume Gateway
    - Tape Gateway

 

 

S3 File Gateway

• S3 파일 게이트웨이로 구성한 모든 버킷은 NFS 및 SMB 프로토콜을 이용해서 액세스 할 수 있다.
• 사용된 데이터는 신속한 액세스를 위해 파일 게이트웨이에 캐시로 저장된다. 따라서 전체 S3 버킷이 아닌 최근에 사용한 파일만 파일 게이트웨이에 있다.
• S3 버킷에서는 여러 스토리지 클래스를 지원하며, 수명 주기 정책을 사용하면 S3 Glacier로도 옮길 수 있다.
• 버킷에 액세스하려면 각 파일 게이트웨이마다 IAM 역할을 생성해야 한다.
• Windows 파일 시스템 네이티브인 SMB 프로토콜을 사용하는 경우에는 사용자 인증을 위해 Active Directory와 통합해야 한다.이렇게 하면 S3 파일 게이트웨이에 사용자가 액세스 할 때 인증을 거치며 결국 S3 버킷에 액세스 할 때도 인증을 거친다고 할 수 있다.

• S3 버킷에는 원하는 스토리지 클래스를 임의로 사용할 수 있다.
• S3 Standard S3 Standard-IA, S3 One Zone-IA, S3 Intelligent-Tiering 모두 되지만 Glacier는 안된다.
• 이 S3 버킷을 온프레미스 상의 애플리케이션 서버에 연결하려는데, 이때 표준 네트워크 파일 시스템을 활용하고자 한다. 이를 위해 S3 파일 게이트웨이를 생성하여 애플리케이션 서버가 NFS나 SMB 프로토콜을 사용하도록 한다.
• 이 프로토콜을 통해 S3 파일 게이트웨이는 해당 요청을 HTTPS 요청으로 변환시켜 Amazon S3 버킷으로 보낸다. 따라서 애플리케이션 서버나 보기에는 일반적인 파일 공유 액세스로 보이나 실제로는 Amazon S3 버킷을 사용하는 셈이다.
• 이렇게 S3 객체를 온프레미스 애플리케이션 서버를 통해 가져올 수 있다. 해당 객체를 아카이브하고자하는 경우 S3 버킷에 수명 주기 정책을 생성하여 이후 S3 Glacier로 객체를 옮겨서 아카이브되도록 한다.

 

FSx File Gateway

• Amazno FSx for Windows File Server에 네이티브 액세스를 제공한다.
• 파일 게이트웨이서 Windows 네이티브인 SMB, NTFS, Active Directory가 호환 가능하다.
• 그룹 파일 공유나 온프레미스를 연결할 홈디렉터리로 사용할 수 있다.

• FSx for Windows File Server가 Amazon FSx 파일 시스템에 배포되어 있고, 우리의 회사 데이터 센터에 있는 SMB 클라이언트에 액세스하려 한다고 해보자.
• FSx for Windows File Server를 사용하고 있는 경우에는 이미 온프레미스 시스템에서 액세스 가능하기 때문에 별 다르게 할 작업이 없는데, 번거롭게 Amazon FSx를 생성하려는 이유가 뭘까?
    - 게이트웨이를 생성하면 자주 액세스하는 데이터의 로컬 캐시를 확보할 수 있다. 즉, 중요한 파일의 로컬 캐시가 회사 데이터 센터에 쌓이고 액세스 시 지연 시간을 단축시킬 수 있다.
       = 이것이 바로 FSx for Windows File Server와 더불어서 Amazon FSx 파일 게이트웨이를 함께 사용하는 이유이다.

 

Volume Gateway

• 볼륨 스토리지로 Amazon S3가 백업하는 iSCSI 프로토콜을 사용한다.
• 볼륨이 EBS 스냅샷으로 저장되어 필요에 따라 온프레키스 볼륨을 복구할 수 있다.
• 두가지 유형
    - Cached volumes
       : 최근 데이터 액세스 시 지연 시간이 낮다.
    - Stored volumes
        : 전체 데이터 세트가 온프레미스에 있으며 주기적 Amazon S3 백업이 따른다.

• 애플리케이션 서버 백업이 필요한 경우, iSCSI 프로토콜로 볼륨 게이트웨이를 생성하고 이 볼륨 게이트웨이가 Amazon S3에 저장되는 Amazon EBS 스냅샷을 생성한다.
• 볼륨 게이트웨이도 온프레미스 서버에 볼륨을 백업하는 데에 그 의의가 있다.

 

Tape Gateway

• 물리적으로 테이프를 사용하는 백업 시스템이 있는 회사가 백업에 테이프 대신에 클라우드를 활용해 데이터를 백업할 수 있게 해준다.
• VTL(Virtual Tape Library, 가상 데이트 라이브러리)는 Amazon S3와 Glacier를 이용한다.
• 테이브 기반 프로세스의 기존 백업 데이터를 iSCSI 인터페이스를 사용하여 백업한다. 

• 도식을 보면 테이프 기반인 회사 데이터 센터의 백업 서버가 있을 때, 테이프 게이트웨이가 이를 클라우드에 연결하여 Amazon S3나 Amazon Glacier에 해당 테이프르 저장하는 방식이다.

 

 

Storage Gateway - Hardware appliance

• 게이트웨이는 우리의 회사 데이터 센터에 설치되어 있어야 한다. 우리의 회사 데이터 센터 내에서 운영해야 하지만 종종 게이트웨이를 실행할 가상 서버가 없는 경우가 있다. 
• 이 경우 AWS의 하드웨어를 사용할 수 있다. 이 서비스를 Storage Gateway 하드웨어 어플라이언스라고 한다.
• 온프레미스에 서버가 없는 경우, Storage Gateway 하드웨어 어플라이언스를 사할 수 있는데, amazon.com에서 주문할 수 있다.
• 미니 서버가 될 하드웨어 어플라이언스를 우리의 인프라에 설치한 후, 파일 게이트웨이, 볼륨 게이트웨이 혹은 테이프 게이트웨이로 설정하면 된다.
• 물리적으로 설치해야 하는데, 제대로 작동하려면 충분한 CUP, 메모리 네트워크, 그리고 SSD 캐시 리소스가 필요하다.
• 소규모 데이터 센터의 일일 NFS 백업처럼 가상화가 없는 경우 상당히 유용하다.

 

 

AWS Storage Gateway 요약

• 온프레미스에서 Storage Gateway VM을 배포하거나 하드웨어 어플라이언스에서 배포할 수 있는데 Storage Gateway 서비스와 AWS 클라우드로 도표처럼 나뉜다.
• 로컬 캐시를 필요로 하는 파일 게이트웨이의 경우 사용자 그룹 파일 공유 시에 NFS나 SMB 프로토콜을 이용하여 액세스할 수 있다.
• 첫 번째 옵션은 직접 S3 파일 게이트웨이에 연결해서 데이터가 Amazon S3에 백업되도록 하는 방법이 있는데 이 경우 Glacier와 Glacier Deep Archive를 제외한 많은 스토리지 티어를 포함한다. 하지만 수명 주기 정책을 생성하여 이를 S3 Glacier를 포함한 모든 Amazon S3 스토리지 클래스에 전송할 수 있다.
• FSx 파일 게이트웨이를 사용하는 경우, Amazon FSx for Windows File Server에 데이터를 전송하는데 이 때, 데이터는 주기적으로 Amazon S3에 백업된다.
• 볼륨 게이트 웨이를 사용 하는 경우에는 iSCSI 프로토콜을 통해 애플리케이션 서버를 갖고 볼륨을 마운트 한다. 이렇게 하면 볼륨 게이트웨이는 Storage Gateway를 통해 Amazon S3에 연결되며 해당 위치에 데이터 볼륨이 저장된다. 그리고 Amazon S3에서 해당 데이터가 AWS EBS 볼륨으로 변환되어 AWS에 저장된다.
• 테이프 게이트웨이를 이용하면 iSCSI VTL 프로토콜을 통해 백업 애플리케이션에 연결한다. 테이프 게이트웨이는 Amazon S3를 테이프 라이브러리로 사용한다. 그리고 해당 테이프를 Glacier와 Glacier Deep Archive 티어로 이동시켜서 테이프 아카이브를 생성한다.