Storage&CDN/S3 (10) 썸네일형 리스트형 Amazon S3 임시 자격 증명(assume_role), Bucket Prefix 별 오브젝트 사이즈 체크 import boto3 from boto3.session import Session def assume_role(): client = boto3.client('sts') account_id = client.get_caller_identity()["Account"] IAM_ROLE_ARN = 'arn:aws:iam::58xxx119:role/xxRole' IAM_ROLE_SESSION_NAME = 'xxRole' REGION_NAME = 'ap-northeast-1' response = client.assume_role( RoleArn=IAM_ROLE_ARN, RoleSessionName=IAM_ROLE_SESSION_NAME ) session = Session(aws_access_key_id=respon.. Amazon S3 Intelligent-Tiering 30초 정리 S3 Intelligent-Tiering 기능은 2년 전 2018년 12월에 출시되었다. Amazon S3 지능적 티어 출시 – 자동 비용 최적화 스토리지 클래스 (서울 리전 포함) | Amazon Web Service Amazon Simple Storage Service(S3)는 약 12년 6개월 동안 사용되면서 수조에 달하는 객체를 저장하고 이러한 객체에 대한 초당 수백만 건의 요청을 처리하고 있습니다. AWS 고객은 S3를 통해 백업 및 복구, aws.amazon.com 이제 와서 포스팅을 하는 이유는 한 달 전 출시된 아카이브 액세스 기능 때문이다. Amazon S3 Intelligent-Tiering, 아카이브 액세스 계층 추가 | Amazon Web Services AWS는 2년 전에 S3 I.. S3 sync shell(IDC -> S3 데이터 실시간 복제) AWS CLI를 통해 기존 IDC 원본 데이터를 S3로 이관한다. (CLI 설치는 아래 참고) https://aws.amazon.com/ko/cli/ AWS에는 DataSync, Snowball 등 데이터 마이그레이션 서비스들도 있다. 그러나 DataSync의 경우 기존 IDC가 VM 환경이라는 제약이 있고, Snowball은 흠좀무... 수 TB 정도의 데이터 이관을 위해서 언제 또 쓸 지도 모르는 AWS 서비스를 학습할 시간도 아깝고... 무식하지만 심플하게 AWS S3 sync로도 충분하다고 생각한다. 그러나 AWS CLI에는 Rsync가 없기 때문에, 프로세스 확인 후 aws s3 sync를 연속적으로 실행해주는 방식으로 진행했다. [Linux(CentOS 6.X)] sync 프로세스가 쓰레드를 .. AWS S3 Events(SNS) or CloudWatch Event Trigger(S3 -> SNS) S3에 오브젝트 업로드 시 SNS로 받은 후 HTTP(S) 트리거 시에 "Permissions on the destination topic do not allow S3 to publish notifications from this bucket" 같은 에러 발생. 이는 SNS의 Policy 문제로 SNS의 Access policy - optional에 아래와 같은 Policy를 넣어줘야 함. CloudWatch Event Trigger에서도 S3가 Source일 경우 동일하게 동작하지 않음. { "Version": "2008-10-17", "Id": "example-ID", "Statement": [ { "Sid": "example-statement-ID", "Effect": "Allow", "Princi.. Amazon S3-CloudFront Redirect(IDC Content S3로 이관 시) [리소스] AWS S3 원본: leedoing2.s3-website-ap-northeast-1.amazonaws.com IDC 원본(가정): leedoing.s3-website.ap-northeast-2.amazonaws.com CF: d1e5lqevy0hhfg.cloudfront.net 사용자 Request: d1e5lqevy0hhfg.cloudfront.net/test.jpg S3 원본에는 test.jpg 파일 없음 IDC 원본에는 test.jpg 파일 존재 [시나리오] 사용자 요청 -> CloudFront -> S3(원본) S3(원본)에서는 404/403에 대해 IDC 원본으로 Redirect 302 Response CF에서는 S3(원본)의 302 Redirect Reponse를 사용자에게 bypa.. Amazon S3FS vs EBS Performance 금일은 EBS(not Optimized) vs S3FS 성능 테스트 결과 공유드립니다. EBS Size는 100GB로 IOPS 300입니다. 버스트 포함 최대 3000까지 가능합니다.AWS EBS는 I/O Block 기준이 256KiB입니다.(참고 EBS I/O 특성 - http://docs.aws.amazon.com/ko_kr/AWSEC2/latest/UserGuide/ebs-io-characteristics.html)(참고 EBS 볼륨 유형 - http://docs.aws.amazon.com/ko_kr/AWSEC2/latest/UserGuide/EBSVolumeTypes.html) Amazon S3 Region 간 데이터 복제 금일은 S3 리전 간 데이터 복제에 관해서 포스팅 하도록 하겠습니다. 1. Overview해당 내용은 2016년 1월 7일 발표된 김상필 솔루션 아키텍트의 발표 자료에서 발췌한 내용(Tokyo -> Sydney)으로발표 자료를 기반으로 Tokyo에서 Seoul로 테스트를 진행해보겠습니다.(참조 - https://aws.amazon.com/ko/events/aws-cloud-ondemand) 2. Getting Started기본적으로 S3 리전 간 혹은 IDC에서 S3 간 데이터 복제는 CLI를 이용하면 됩니다. 예시 : Source 버킷 : leedoing-tokyo, 지역 : Tokyo, 크기 : 9GB, 갯수 : 90Target 버킷 : leedoing-seoul, 지역: Seoul$aws s3 sy.. Amazon S3 Upload Tool 3rd party solution(CloudBerryExplorer) S3 업로드 솔루션, CloudBerry 사용법에 관해 알아본다. 1. OverView CloudBerry는 S3 Upload Tool입니다. 기존 FileZillar와 같은 Upload Tool과 UI와 사용법이 유사하다 차이점은 FTP가 아닌 HTTP/S 프로토콜을 사용한다. CloudBerry는 Freeware 버전과 상용 버전이 있다. Freeware의 경우 기본적인 업로드/다운로드 기능만 지원한다. 상용 버전과 가장 큰 차이점은 Multi-part upload 불가와 최대 객체가 5GB 라는 점이다. (사용 버전의 경우 5TB) 상용 버전의 경우 1copy 당 $40 정도 합니다. Amazon S3 Browser for Windows | MSP360 (CloudBerry Lab) Download.. Amazon S3 I/O 성능 S3는 여러 파티션으로 분할된 Storage S3는 파티션 별로 객체의 키 값(prefix)를 토대로 인덱싱 사용할 수 있는 HTTP Method는 PUT/LIST/DELETE 그리고 GET 보편적으로 각 파티션 I/O는 PUT/LIST/DELETE Method의 경우 초당 100 / GET Method의 경우 초당 300 정도입니다. 업로드의 경우 현재 성능이 매우 개선되어 고려할 필요가 없을 정도가 되었음. 아래 명령어 수행 후 cp 혹은 sync 수행(CPU/Bandwidth가 중요하며, Path 별 구분을 통해 Parallel하게 수행 권장 aws configure set default.s3.max_concurrent_requests 20(default 10) aws configure set de.. Amazon S3 Client Tool 및 CLI 정리 1. Client에서 S3 사용 정리 Client에서 S3를 이용하는 방법은 두 가지가 있다. AWS CLI 혹은 3rd party solution, 기본적으로 AWS API를 기반으로 HTTP/S 통신한다. 3rd party solution은 다음과 같은 상황의 경우 사용한다. FileZilla와 같은 Client Tool을 사용하길 원하시면, CloudBerry 사의 Explorer를 사용하면 된다. (Freeware) 파일 서버와 같이 S3를 사용하길 원하시면, CloudBerry 사의 Drive 혹은 TntDrive를 사용하면 된다. (Free trial 30/21 day이며 1copy에 Drive $29.99 / TntDrive $59.95) 가성비는 CloudBerry 2. CLI 정리 돈이 .. 이전 1 다음
