분류 전체보기 167

[AWS] Amazon S3 - Glacier Vault Lock

S3 Glacier Vault LockWORM 모델을 채용하기 위해 Glacier볼트를 잠그는 것이다.  - WORM = 한 번 쓰고 여러 번 읽는다.객체를 가져와서 S3 Glacier 볼트에 넣은 다음 수정하거나 삭제할 수 없도록 잠그는 것이다.먼저 Glacier위에 볼트 잠금 정책을 생성한 다음 향후 편집을 위해 정책을 잠근다.일단 볼트 잠금 정책을 설정하고 잠근 후에는 누구도 변경하거나 삭제할 수 없게 된다.  - 규정 준수와 데이터 보존에 아주 유용하다.일단 객체가 Glacier 볼트에 삽입되면 볼트에 볼트 잠금 정책이 적용되어 있으므로 객체를 절대 삭제할 수 없다.  - 관리자나 AWS 서비스를 사용해도 삭제할 수 없다.  - 규정 준수나 데이터 보존 같은 법률적인 사항에 아주 유용하다.  S3..

[AWS] Amazon S3 - Pre-Signed URLs(미리 서명된 URL)

Amazon S3 - Pre-Signed URLs(미리 서명된 URL)S3콘솔, CLI, SDK를 사용하여 생성할 수 있는 URL이다.URL에는 만료 기한이 있는데, S3 콘솔을 사용하면 최대 12시간이고, CLI를 하면 168시간까지 사용할 수 있다.미리 서명된 URL을 생성할 때 URL을 받는 사용자는 URL을 생성한 사용자의 GET 또는 PUT에 대한 권한을 상속한다.미리 서명된 URL은 다운로드 또는 업로드를 위해 특정 파일에 임시로 액세스할 때 아주 널리 사용되는 방법이다.  - 로그인한 사용자만 S3 버킷에서 프리미엄 비디오를 다운로드 할 수 있도록 허용하거나 사용자 목록이 계속 변하는 경우 URL을 동적으로 생성해서 파일을 다운로드 할 수 있게 하는 것이다.  - 일시적으로 사용자가 S3 버..

[TIL] Local에서 Locust 설치 및 사용법

이 글을 로컬에서 Locust사용하는 방법입니다!(Locust를 설치안하고 Docker로 사용하는 방법도 있다고 하니깐 참고해주시면 될 것 같습니다.) 1. Python 설치우선 Python 공식 홈페이지에서 Python을 다운로드해준다.  - locust를 사용하려면 파이선의 버전 3.7이상이여야 됩니다! cf ) 설치를 안하고 진행하고 싶다고 하시는 분은 "구글 코랩"을 이용하셔도 좋을 것 같습니다!  파이선 공식 홈페이지 : https://www.python.org/downloads/ Download PythonThe official home of the Python Programming Languagewww.python.org  다운로드한 설치 파일 실행   - 다운로드한 파일을 실행하면 Pyth..

[AWS] Amazon S3 - MFA Delete & Access Logs

Amazon S3 - MFA DeleteMFA는 멀티팩터 인증을 의미한다.사용자가 장치에서 코드를 생성하도록 강제한다.   - Google Authenticator 애플리케이션이 설치된 휴대폰이나 MFA 하드웨어 장치에서MFA는 코드를 생성하는데 중요한 작업을 수행하기 전에 Amazon S3에 해당 코드를 삽입해야 한다.MFA는 언제 필요할까?  - 객체 버전을 영구적으로 삭제할 때 필요하다.  - 영구 삭제에 대한 보호 설정이다.  - 버킷에서 버저닝을 중단할 때도 필요하다. (하지만 버저닝을 활성화거나 삭제된 버전을 나열하는 작업은 위험한 작업이 아니기 때문에 MFA가 굳이 필요하지 않다.)MFA Delete를 사용하려면 먼저 버킷에서 버저닝을 활성화해야 한다.  - 버킷 소유자, 즉 루트 계정만이 ..

[AWS] Amazon S3 - CORS

CORS(Cross-Origin Resource Sharing)교차 오리진 리소스 공유이다.Origin(오리진) = 체계(protocol) + 호스트(domain) + 포트  - https://www.example.com를 예로 살펴보면 HTTPS의 포트는 443이다.    프로토콜은 HTTP 자체이고, 도메인은 www.example.com이다.CORS는 웹 브라우저 기반 보안 메커니즘으로 메인 오리진을 방문하는 동안 다른 오리진에 대한 요청을 허용하거나 거부한다.Origins이 같다는 것은 체계, 호스트, 포트가 동일할 때 같다고 말한다.  - 예시의 두 URL(http://example.com/app1 & http://example.com.app2)은 같은 오리진을 공유하고 있다.  - 오리진이 다른..

[AWS] Amazon S3 - Default Encryption vs Bucket Policies

Default Encryption(기본값 암호화) vs Bucket Policies(버킷 정책)모든 버킷은 SSE-SE 암호화가 되어 있다.  - 즉, 버킷에 저장된 새로운 객체에 SSE-S3 암호화가 자동으로 적용된다.  - 하지만 SSE-KMS 같은 다른 기본 암호화로 변경할 수 있다.버킷 정책을 이용해서 암호화를 강제하고 올바른 암호화 헤더가 없는 경우에는 S3 객체를 PUT하는 API 호출을 거절 할 수 있다.  - 예를 들어, SSE-KMS나 SSE-C에 대해 적용할 수 있다.위의 이미지는 우리가 사용할 수 있는 버킷 정책의 예이다.위의 경우에는 PutObject를 하려고 하는데 aws:kms라는 암호화 헤더가 없으면 그 요청을 거부하라고 하고 있다. 또 오른쪽에서는 이걸 업로드하고 있는데 고객..

[AWS] Amazon S3 - Object Encryption

S3 - Object Encryption밑의 네 가지 방법을 이용해 S3 버킷에 있는 객체들을 암호화 할 수 있다.  - 서버 측 암호화 = SSE 중      첫 번째 : SSE-S3는 Amazon S3에서 관리하는 키를 이용한 서버 측 암호화이다.      두 번째 : SSE KMS는 KMS 키를 이용해서 암호화 키를 관리한다.      세 번째 : SSE-C는 고객이 제공한 키를 사용한다. 이 경우에는 우리가 가진 키를 제공한다.   - 클라이언트 측 암호화 중      네 번째 : 이 경우에는 클라이언트 측의 모든 걸 암호화한 다음에 그걸 Amazon S3에 업로드 한다.  Amazon S3 Encryption - SSE-S3AWS가 처리하고 관리하고 소유한 키를 이용해서 암호화를 한다. 우리는 ..

[AWS] Amazon S3 - Storage Lens

S3 - Storage Lens전체 AWS 조직에서 스토리지를 이해하고, 분석하고, 최적화하는데 도움이 되는 서비스이다.S3 스토리지 렌즈를 통해 이상 징후를 발견하고, 비용 효율성을 파악하며, 전체 AWS 조직에 보허 모범 사례를 적용할 수 있다.30일 사용량 및 활동 메트릭이 제공된다.조직수준에서 또는 특정 계정, 지역, 버킷 또는 접두사별로도 데이터를 집계할 수 있다.나만의 대시보드를 만들거나 스토리지 렌즈 서비스에세 제공하는 기본 대시보드를 사용할 수 있다.모든 메트릭과 모든 리포트를 CSV 또는 parquet 형식으로 S3 버킷으로 내보낼 수 있다.요약하자면, Storage Lens는 조직 계정, 지역 버킷이 모든 것을 고려한다. 그런 다음 모든 데이터를 분석에 도움이 되는 보고서로 집계한다. ..

[AWS] Amazon S3 - Select & Glacier Select / S3 Batch Operations

Select & Glacier SelectS3에서 파일을 검색할 때, 검색한 다음에 필터링하면 너무 많은 데이터를 검색하게 된다. 대신 서버 측 필터링을 수행하면 어떻게 될까?  - SQL 문에서 간단히 행과 열을 사용해 필터링할 수 있다.  - 네트워크 전송이 줄어들기 때문에 데이터 검색과 필터링에 드는 클라이언트 측의 CPU 비용도 줄어든다.S3 Select 이전에는 모든 데이터를 검색한 다음 애플리케이션 측에서 필터링을 통해 필요한 것을 찾아, 많은 데이터를 가져와서 약간의 데이터만 사용하는 것이다.S3 Select를 사용하면 S3가 대신 파일을 필터링해 주고 필요한 데이터만 검색할 수 있다. 그리고 속도는 400% 빨라지고 비용은 80% 줄어든다.오른쪽 도식을 살펴보자.  - Amazon S3 S..

[AWS] Amazon S3 - Baseline Performance(기준성능)

Baseline Performance기본적으로 아마존 S3는 매우 높은 요청 수로 자동으로 스케일링되며 S3에서 첫 번째 바이트를 가져오는 데 100~200밀리초의 매우 짧은 지연 시간을 갖는다.버킷 내에서 prefix당 초당 3,500개의 넣기(PUT), 복사(COPY), 올리기(POST) 또는 삭제(DELETE)를 하거나 5,500개의 가져오기(GET) 또는 헤드(HEAD)요청을 가져온다.접두사당 초당이 무엇을 의미할까?  - 버킷의 접두사 수에는 제한이 없다.  - file이라는 이름의 객체 4개를 예를 들어보자.       : bucket/folder1/sub1/file => /folder1/sub1/           이 경우 접두사는 버킷과 파일 사이의 모든 항목이 된다.(슬래시 폴더 1 슬래..