본문 바로가기

Storage&CDN/S3

(7)
Amazon S3-CloudFront Redirect(IDC Content S3로 이관 시) [리소스] AWS S3 원본: leedoing2.s3-website-ap-northeast-1.amazonaws.com IDC 원본(가정): leedoing.s3-website.ap-northeast-2.amazonaws.com CF: d1e5lqevy0hhfg.cloudfront.net 사용자 Request: d1e5lqevy0hhfg.cloudfront.net/test.jpg S3 원본에는 test.jpg 파일 없음 IDC 원본에는 test.jpg 파일 존재 [시나리오] 사용자 요청 -> CloudFront -> S3(원본) S3(원본)에서는 404/403에 대해 IDC 원본으로 Redirect 302 Response CF에서는 S3(원본)의 302 Redirect Reponse를 사용자에게 bypa..
Amazon S3 SoftNAS 성능 검증 AWS 상에서 파일 서버 구축은 여러가지 방법이 있습니다. 첫 번째, AWS EFS을 사용. 비용만 감당되면 가장 베스트한 방법이지만, 아직 서울 리전을 지원하지 않습니다.두 번째, S3를 이용하여 EC2 Client에서 CLI, SDK 등을 사용하는 방법입니다. 개발 단 수정이 필요하지만 비용 및 성능 면에서 좋은 방법입니다.세 번째, S3 mount를 위해 오픈소스를 사용하는 방법이 있습니다. S3FS, goofys 등의 오픈소스를 사용하면 됩니다. 이 방법은 read가 주로 필요한 경우 추천합니다. write의 경우 성능에 약점이 있으나, read의 경우 cache 옵션을 사용하면 상용 서비스 수준으로 사용할 수 있습니다. goofys가 오픈소스 중 가장 우월한 성능을 보여줍니다. 그러나 오픈소스인..
Amazon S3FS vs EBS Performance 금일은 EBS(not Optimized) vs S3FS 성능 테스트 결과 공유드립니다.EBS Size는 100GB로 IOPS 300입니다. 버스트 포함 최대 3000까지 가능합니다.AWS EBS는 I/O Block 기준이 256KiB입니다.(참고 EBS I/O 특성 - http://docs.aws.amazon.com/ko_kr/AWSEC2/latest/UserGuide/ebs-io-characteristics.html)(참고 EBS 볼륨 유형 - http://docs.aws.amazon.com/ko_kr/AWSEC2/latest/UserGuide/EBSVolumeTypes.html)
Amazon S3 Region 간 데이터 복제 금일은 S3 리전 간 데이터 복제에 관해서 포스팅 하도록 하겠습니다.1. Overview해당 내용은 2016년 1월 7일 발표된 김상필 솔루션 아키텍트의 발표 자료에서 발췌한 내용(Tokyo -> Sydney)으로발표 자료를 기반으로 Tokyo에서 Seoul로 테스트를 진행해보겠습니다.(참조 - https://aws.amazon.com/ko/events/aws-cloud-ondemand)2. Getting Started기본적으로 S3 리전 간 혹은 IDC에서 S3 간 데이터 복제는 CLI를 이용하면 됩니다.예시 : Source 버킷 : leedoing-tokyo, 지역 : Tokyo, 크기 : 9GB, 갯수 : 90Target 버킷 : leedoing-seoul, 지역: Seoul$aws s3 sync ..
Amazon S3 Upload Tool 3rd party solution(CloudBerryExplorer) S3 업로드 솔루션, CloudBerry 사용법에 관해서 짧게 포스팅 하도록 하겠습니다. 1. OverViewCloudBerry는 S3 Upload Tool입니다. 기존 FileZillar와 같은 Upload Tool과 UI와 사용법이 유사합니다.차이점은 FTP가 아닌 HTTP/S 프로토콜을 사용합니다.CloudBerry는 Freeware 버전과 상용 버전이 있습니다. Freeware의 경우 기본적인 업로드/다운로드 기능만 지원합니다. 상용 버전과 가장 큰 차이점은 Multi-part upload 불가와 최대 객체가 5GB 라는 점입니다. (사용 버전의 경우 5TB)상용 버전의 경우 1copy 당 $40 정도 합니다.(참고 - http://www.cloudberrylab.com/free-amazon-s3..
Amazon S3 I/O 성능 S3는 여러 파티션으로 분할된 StorageS3는 파티션 별로 객체의 키 값(prefix)를 토대로 인덱싱사용할 수 있는 HTTP Method는 PUT/LIST/DELETE 그리고 GET보편적으로 각 파티션 I/O는 PUT/LIST/DELETE Method의 경우 초당 100 / GET Method의 경우 초당 300 정도입니다. 업로드의 경우 현재 성능이 매우 개선되어 고려할 필요가 없을 정도가 되었음. 아래 명령어 수행 후 cp 혹은 sync 수행(CPU/Bandwidth가 중요하며, Path 별 구분을 통해 Parallel하게 수행 권장aws configure set default.s3.max_concurrent_requests 20(default 10)aws configure set default..
Amazon S3 Client Tool 및 CLI 정리 1. Client에서 S3 사용 정리Client에서 S3를 이용하는 방법은 두 가지가 있습니다. AWS CLI 혹은 3rd party solution, 기본적으로 AWS API를 기반으로 HTTP/S 통신을 합니다. 3rd party solution은 다음과 같은 상황의 경우 사용합니다.FileZilla와 같은 Client Tool을 사용하길 원하시면, CloudBerry 사의 Explorer를 사용하시면 됩니다. (Freeware)파일 서버와 같이 S3를 사용하길 원하시면, CloudBerry 사의 Drive 혹은 TntDrive를 사용하시면 됩니다. (Free trial 30/21 day이며 1copy에 Drive $29.99 / TntDrive $59.95) 가성비는 CloudBerry 2. CLI..