[AWS] AWS 스토리지 추가 기능 - AWS DataSync

AWS DataSync

• 이 서비스는 데이터를 동기화하며 이를 통해 대용량의 데이터를 한 곳에서 다른 곳으로 옮길 수 있다.
• 온프레미스나 AWS의 다른 클라우드로 데이터를 옮길 수 있는데, 이 때 우리의 서버를 NFS, HDFS 또는 다른 프로토콜에 연결해야 하고 옮길 위치인 온프레미스나 연결할 다른 클라우드에 에이전트가 있어야 한다.
• 다른 유형의 마이그레이션도 실행할 수 있는데 가령, 한 AWS 서비스에서 다른 AWS 서비스로 데이터를 옮길 수도 있다. 이 경우에는 에이전트가 필요없다.
• 데이터는 모든 Amazon S3의 Glacier를 포함하여 모든 스토리지 클래스에 동기화할 수 있다.
• Amazon EFS로 네트워크 파일 시스템에 저장할수도 있다.
• Amazon FSx는 모든 운영 체제에서 사용 가능하다.
• 복제 작업은 계속 이루어지지 않고 일정을 지정하여 DataSync가 매 시간, 매일, 혹은 매주 실행되도록 할 수 있다.
    - 지연이 발생하기 하지만 일정에 맞춰서 데이터가 동기화 된다.
• DataSync에는 파일 권한과 메타데이터 저장기능이 있다.
    - 보안과 관련되어 NFS POSIX 파일 시스템 그리고 SMB 권한을 준수한다.
    - 파일을 한 곳에서 다른 곳으로 옮길 때 이를 이용하여 파일의 메타데이터를 보존할 수 있다.
• DataSync 에이전트는 강력한데 에이전트 하나의 태스크가 초당 10Gb까지 사용할 수 있으며, 네트워크 성능을 초과하고 싶지 않은 경우 대역폭에 제한을 걸 수 있다.

 

 

AWS DataSync - NFS/SMB

• SMB 혹은 NFS 프로토콜을 사용하는 온프레미스 파일을 AWS로 동기화하는 예시를 보자.
• AWS라고 하면 S3, EFS 혹은 FSx일텐데, 온프레미스와 DataSync가 실행되는 AWS 리전이 있다. 온프레미스에 NFS 또는 SMB 서버가 있는데 이때 온프레미스에 AWS DataSync 에이전트를 설치하고 이를 NFS 또는 SMB 서버에 연결시켜서 이 에이전트를 이용하여 암호화를 거쳐 DataSync 서비스에 연결한다. 이 연결은 어느 위치로든 갈 수 있다. Amazon S3 버킷의 스토리지 클래스나 AWS EFS 혹은 Amazon FSx 일수도 있다.
• 동기화는 온프레미스에서 AWS로 단방향으로 이루어질 수 있으며, AWS에서 다시 온프레미스로 동기화를 실행할 수도 있다. DataSync라는 이름에 걸맞게 양방향으로 동기화가 가능하다.
• DataSync를 이용하고자 하지만 네트워크 용량이 따라 주지 못하는 경우가 있는데, 이 때 AWS Snowcone 장치를 사용할 수 있다. Snowcone 장치에는 DataSync 에이전트가 사전에 설치되어 있다.
    - 온프레미스에서 Snowcone을 실행하고 데이터를 가져온 다음 DataSync 에이전트를 실행하면 다시 에이전트가 AWS 리전으로 전송되면서 AWS의 스토리지 리소스 외부에 데이터를 동기화할 수 있다.

 

AWS DataSync - Transfer between AWS storage services

• DataSync를 통해 서로 다른 AWS 스토리지 서비스 간 동기화도 가능하다.
• S3, EFS 또는 FSx를 S3, EFS, FSx로 다시 동기화하려는 경우, AWS DataSync 서비스를 사용하여 데이터 복사본을 만든다. 서로 다른 AWS 스토리지 서비스 간 메타데이터 또한 유지된다.

 

 

 

정리하자면

• DataSync로 거의 대부분의 데이터를 동기화 할 수 있으나 지속적이지는 않고 일정에 따라 움직인다. 또한 메타데이터와 파일 권한은 보존된다.
• NFS 또는 SMB 서버에 연결하려면 DataSync 에이전트를 실행해야 한다.