[AWS] AWS 스토리지 추가 기능 - Amazon FSx

Amazon FSx

• FSx는 AWS에서 완전 관리형 서비스로 타사 고성능 파일 시스템을 실행시킨다.
    - RDS에서 AWS에 MySQL나 Postgres를 실행하는 것과 같은 개념이다.
    - RDS가 FSx로 바뀌었고 파일 시스템을 실행한다는 점이 다르다.
• 예를 들어, FSx에 Lustre를 실행한다고 해보자. Windows File Server를 실행할 수도 있다.
  그리고 NetApp ONTAP나 OpenZFS가 될 수도 있다.

 

 

 

Amazon FSx for Windows (File Server)

• 완전 관리형 Windows 파일 서버 공유 드라이브로 Windows를 사용하기 때문에 SMB 프로토콜과 Windows NTFS를 지원한다.
• Microsoft Active Directory 통합을 지원하므로 사용자 보안을 추가할 수 있고 ACL로 사용자 할당량을 추가해 액세스를 제어할 수 있다.
• 겉보기에는 Windows에서만 사용할 수 있을 것 같지만 Linux EC2 인스턴스에도 마운트 할 수 있단 걸 기억해야한다.
• 가령 기존에 온프레미스 등에 Windows 파일 서버가 있는 경우 Microsoft 분산 파일 시스템인 DFS 기능을 이용해서 파일 시스템을 그룹화 할 수 있다. 이렇게 하면 온프레미스의 Windows 파일 서버와 FSx for Windows File Server를 결합할 수 있다. 
• 성능 면에서는 초당 수십 GB에 수백만 IOPS 그리고 수백 PB의 데이터까지 확장될 수 있다.
• 스토리지 옵션
    - SSD
        : 지연시간이 짧아야 하는 워크로드를 저장할 수 있다.
        : 데이터베이스, 미디어 처리 데이터 분석 등이 들어간다.
    - HHD
        : SSD보다 더 비용이 싸고 넓은 스펙트럼의 워크로드를 저장할 수 있다.
        : 홈 디렉터리나 CMS를 예시로 들 수 있다.
• 프라이빗 연결로 온프레미스 인프라에서 액세스 할 수 있다.
• 고가용성 다중 AZ에 대해 FSx for Windows File Server를 구성할 수 있다.
• 모든 데이터는 재해 복구 목적으로 Amazon S3에 매일 백업된다.

 

Amazon FSx for Lustre

• Lustre는 원래 분산 파일 시스템으로 대형 연산에 쓰였다.
• Lustre는 Linux와 클러스터(Cluster)를 합친 단어로 머신 러닝과 HPC, 즉 고성능 연산에 쓰인다.
• 동영상 처리나 금융 모델링 전자 설계 자동화 등의 애플리케이션에서 쓰이고 확장성이 상당히 높다.
• 초다 수백 GB의 데이터에 수백한 IOPS로 확장되고 밀리초보다 짧은 지연 시간을 자랑한다.
• 스토리지 옵션
    - SSD
       : 낮은 지연 시간이다.
       : 워크로드가 많거나, 크기가 작은 무작위 파일 작업이 많으면 IOPS도 사용 가능하다.
       : HHD보다 비용이 더 많이 든다.
    - HHD
       : 처리량이 많은 워크로드나 크기가 큰 시퀀스 파일 작업에는 HDD를 사용할 수 있다.
• Amazon S3와 무결정성 통합이 가능한데, FSx로 S3를 파일 시스템처럼 읽어들일 수 있다.
• FSx의 연산 출력값을 다시 Amazon S3에 사용할 수 있다.
• VPN과 직접 연결을 통해 온프레미스 서버에서 사용할 수 있다.

 

 

FSx File System Deployment Options
(FSx의 파일 시스템 배포 옵션)

Scratch File System

• 임시 스토리지로 데이터가 복제되지 않는다. 즉, 기저 서버가 오작동하면 파일이 모두 유실된다는 것이다.
• 최적화로 초과 버스트를 사용할 수 있다. 영구 파일 시스템보다 성능을 6배 높일 수 있다.
• TiB 처리량당 초당 200MB의 속도가 나온다.
• 단기 처리 데이터에 쓰이며 데이터 복제가 없어 비용을 최적화할 수 있다.
• FSx가 있으면 컴퓨팅(Compute) 인스턴스가 AZ1과 AZ2에 연결하는데 이때 FSx for Lustre 스크래치 파일 시스템을 사용하면 위에 보이는 도식처럼 데이터의 사본이 하나만 존재하는 것이다. 단 하나만 있는 것이다.
• 데이터 저장소에 추가로 S3 버킷을 둘 수도 있다.

Persistent File System

• 장기 스토리지로 동일한 가용 영역에 데이터가 복제된다.
• AZ간은 아니라 동일한 AZ내에서만 복제된다. 다시 말하면 기저 서버가 오작동했을 때, 단 몇분 내에 해당 파일이 대체된다는 것이다.
• 영구 파일 시스템의 예시는 이름에서 알 수 있듯 민감한 데이터의 장기 처리 및 스토리지를 들 수 있다.
• 위의 이미지를 보면, FSx for Lustre는 단일 AZ에만 있고, FSx for Lustre 파일 시스템의 영구 모드에는 데이터 사본이 두 개 생기는데 첫 번째 데이터 볼륨에 복제본이 하나, 두 번째 데이터 볼륨에 하나가 있다.

 

 

Amazon FSx for NetApp ONTAP

• AWS의 관리형 NetApp ONTAP파일 시스템으로 NFS, SMB, iSCSI 프로토콜과 호환 가능하다.
• FSx for NetApp ONTAP 파일 시스템을 사용하여 온프레미스 시스템의 ONTAP이나 NAS에서 실행 중인 워크로드를 AWS로 옮길 수 있다.
• 다양한 운영 체제에서 사용 가능하다.
    - Linux부터 Windows, MacOS AWS의 VMware Cloud, Workspaces, Appstream, EC2, ECS, 그리고 EKS까지 등등
• 스토리지는 자동으로 확장 및 축소가 가능하다.
• 복제와 스냅샷 기능도 지원한다.
• 비용도 적게 들고 데이터 압축이나 데이터 중복제거도 가능하다.
• NetApp ONTAP에서 중복 파일을 찾을 수 있다.
• 유용한 지정 시간 복제 기능도 있다. 새 워크로드 등을 테스트 할 때 상당히 유용하다.
  파일 시스템에서 신속히 복제가 가능하고 스테이징 파일 시스템을 둘 수 있다.

 

 

Amazon FSx for OpenZFS

• AWS의 관리형 OpenZFS 파일 시스템으로 여러 버전에서의 NFS 프로토콜과 호환이 가능핟.
• 주로 ZFS에서 실행되는 워크로드를 내부적으로 AWS로 옮길 때 사용된다.
• Linux, Mac, Windows에서 사용할 수 있다.
• 성능이 상당히 좋아서 백만 IOPS까지 확장 가능하고 지연 시간은 0.5밀리초 이하이다.
• 스냅샷, 압축을 지원하고 비용이 적지만 데이터 중복 제거 기능은 없다.
• NetApp ONTAP처럼 역시 지정 시간 동시 복제 기능이 있어서 새 워크로드 테스트 시에 유용하다.