본문 바로가기

Storage&CDN/S3

(7)
s3 sync shell S3 cli 쓰레드 늘리는 설정(10 -> 50~80) aws configure set default.s3.max_concurrent_requests 20 (default 10) aws configure set default.s3.max_queue_size 10000 4 core / 16 Mem 기준 1 core에서 90% 이상 sync 명령어가 점유 평균 50~80MB/s Throughput 까지 성능이 나옴, 하루 5~7TB 업로드 가능 Path 별로 병렬처리 시 더 나은 성능을 뽑을 수는 있음(bandwidth 고려) #!/bin/bash while true do psCount=$(ps -ef |grep /usr/local/bin/aws) if [ "$psCount" = 2 ] then echo "..
Amazon S3-CloudFront Redirect(IDC Content S3로 이관 시) [리소스] AWS S3 원본: leedoing2.s3-website-ap-northeast-1.amazonaws.com IDC 원본(가정): leedoing.s3-website.ap-northeast-2.amazonaws.com CF: d1e5lqevy0hhfg.cloudfront.net 사용자 Request: d1e5lqevy0hhfg.cloudfront.net/test.jpg S3 원본에는 test.jpg 파일 없음 IDC 원본에는 test.jpg 파일 존재 [시나리오] 사용자 요청 -> CloudFront -> S3(원본) S3(원본)에서는 404/403에 대해 IDC 원본으로 Redirect 302 Response CF에서는 S3(원본)의 302 Redirect Reponse를 사용자에게 bypa..
Amazon S3FS vs EBS Performance 금일은 EBS(not Optimized) vs S3FS 성능 테스트 결과 공유드립니다. EBS Size는 100GB로 IOPS 300입니다. 버스트 포함 최대 3000까지 가능합니다.AWS EBS는 I/O Block 기준이 256KiB입니다.(참고 EBS I/O 특성 - http://docs.aws.amazon.com/ko_kr/AWSEC2/latest/UserGuide/ebs-io-characteristics.html)(참고 EBS 볼륨 유형 - http://docs.aws.amazon.com/ko_kr/AWSEC2/latest/UserGuide/EBSVolumeTypes.html)
Amazon S3 Region 간 데이터 복제 금일은 S3 리전 간 데이터 복제에 관해서 포스팅 하도록 하겠습니다. 1. Overview해당 내용은 2016년 1월 7일 발표된 김상필 솔루션 아키텍트의 발표 자료에서 발췌한 내용(Tokyo -> Sydney)으로발표 자료를 기반으로 Tokyo에서 Seoul로 테스트를 진행해보겠습니다.(참조 - https://aws.amazon.com/ko/events/aws-cloud-ondemand) 2. Getting Started기본적으로 S3 리전 간 혹은 IDC에서 S3 간 데이터 복제는 CLI를 이용하면 됩니다. 예시 : Source 버킷 : leedoing-tokyo, 지역 : Tokyo, 크기 : 9GB, 갯수 : 90Target 버킷 : leedoing-seoul, 지역: Seoul$aws s3 sy..
Amazon S3 Upload Tool 3rd party solution(CloudBerryExplorer) S3 업로드 솔루션, CloudBerry 사용법에 관해 알아본다. 1. OverView CloudBerry는 S3 Upload Tool입니다. 기존 FileZillar와 같은 Upload Tool과 UI와 사용법이 유사하다 차이점은 FTP가 아닌 HTTP/S 프로토콜을 사용한다. CloudBerry는 Freeware 버전과 상용 버전이 있다. Freeware의 경우 기본적인 업로드/다운로드 기능만 지원한다. 상용 버전과 가장 큰 차이점은 Multi-part upload 불가와 최대 객체가 5GB 라는 점이다. (사용 버전의 경우 5TB) 상용 버전의 경우 1copy 당 $40 정도 합니다. Amazon S3 Browser for Windows | MSP360 (CloudBerry Lab) Download..
Amazon S3 I/O 성능 S3는 여러 파티션으로 분할된 Storage S3는 파티션 별로 객체의 키 값(prefix)를 토대로 인덱싱 사용할 수 있는 HTTP Method는 PUT/LIST/DELETE 그리고 GET 보편적으로 각 파티션 I/O는 PUT/LIST/DELETE Method의 경우 초당 100 / GET Method의 경우 초당 300 정도입니다. 업로드의 경우 현재 성능이 매우 개선되어 고려할 필요가 없을 정도가 되었음. 아래 명령어 수행 후 cp 혹은 sync 수행(CPU/Bandwidth가 중요하며, Path 별 구분을 통해 Parallel하게 수행 권장 aws configure set default.s3.max_concurrent_requests 20(default 10) aws configure set de..
Amazon S3 Client Tool 및 CLI 정리 1. Client에서 S3 사용 정리 Client에서 S3를 이용하는 방법은 두 가지가 있다. AWS CLI 혹은 3rd party solution, 기본적으로 AWS API를 기반으로 HTTP/S 통신한다. 3rd party solution은 다음과 같은 상황의 경우 사용한다. FileZilla와 같은 Client Tool을 사용하길 원하시면, CloudBerry 사의 Explorer를 사용하면 된다. (Freeware) 파일 서버와 같이 S3를 사용하길 원하시면, CloudBerry 사의 Drive 혹은 TntDrive를 사용하면 된다. (Free trial 30/21 day이며 1copy에 Drive $29.99 / TntDrive $59.95) 가성비는 CloudBerry 2. CLI 정리 돈이 ..