본문 바로가기

전체 글

(106)
Amazon S3 Region 간 데이터 복제 금일은 S3 리전 간 데이터 복제에 관해서 포스팅 하도록 하겠습니다. 1. Overview해당 내용은 2016년 1월 7일 발표된 김상필 솔루션 아키텍트의 발표 자료에서 발췌한 내용(Tokyo -> Sydney)으로발표 자료를 기반으로 Tokyo에서 Seoul로 테스트를 진행해보겠습니다.(참조 - https://aws.amazon.com/ko/events/aws-cloud-ondemand) 2. Getting Started기본적으로 S3 리전 간 혹은 IDC에서 S3 간 데이터 복제는 CLI를 이용하면 됩니다. 예시 : Source 버킷 : leedoing-tokyo, 지역 : Tokyo, 크기 : 9GB, 갯수 : 90Target 버킷 : leedoing-seoul, 지역: Seoul$aws s3 sy..
AWS Korea Region Open 드디어 AWS Korea Region이 오픈했다! 비용은 일본보다 약간 저렴하다고 한다. 아래 URL은 AWS Cloud SEOUL - KOREA 세션 발표 자료들이다. AWS CLOUD | ON-DEMAND 박철수 아키텍트는 현재 아마존 웹서비스에서 스타트업, 웹/모바일, 디지털 미디어, 광고, 3D 렌더링 등 여러 분야의 고객들이 AWS의 다양한 솔루션과 서비스들을 효율적으로 사용할 수 있도록 기술적으로 돕고 있습니다. 아마존 웹서비스에 합류하기 전에는 썬마이크로시스템즈, 시스코, 시트릭스 등에서 서버, 스토리지, 네트워크, 가상화 및 프라이빗 클라우드 솔루션을 지원하였습니다. aws.amazon.com 복습하고 좋은 내용만 추려서 블로깅해보록 하겠다!
AWS CloudWatch 이번 블로깅은 CloudWatch 1. PreviewCloudWatch는 AWS에서 제공하는 모니터링 서비스입니다. CloudWatch를 이용하여 EC2를 비롯하여 AWS 대부분의 서비스를 모니터링할 수 있습니다. 요금이 복잡하게 설명이 되어 있습니다만, 1분 주기가 아닌 5분 주기의 경우 미비한 요금이 발생됩니다. 2. Getting Started2-1. CPU/Disk/Network/StatusCheckFailed_Instacne, System(AWS H/W Failure) 및 기타 Customer 메트릭 추가2-2. 해당 항목에 대한 CloudWatch Alarm 설정Notification - Mail 및 기타 통지 설정EC2 Action - 장애 발생 시 자동 대처 방법 설정Recover this..
Amazon S3 Upload Tool 3rd party solution(CloudBerryExplorer) S3 업로드 솔루션, CloudBerry 사용법에 관해 알아본다. 1. OverView CloudBerry는 S3 Upload Tool입니다. 기존 FileZillar와 같은 Upload Tool과 UI와 사용법이 유사하다 차이점은 FTP가 아닌 HTTP/S 프로토콜을 사용한다. CloudBerry는 Freeware 버전과 상용 버전이 있다. Freeware의 경우 기본적인 업로드/다운로드 기능만 지원한다. 상용 버전과 가장 큰 차이점은 Multi-part upload 불가와 최대 객체가 5GB 라는 점이다. (사용 버전의 경우 5TB) 상용 버전의 경우 1copy 당 $40 정도 합니다. Amazon S3 Browser for Windows | MSP360 (CloudBerry Lab) Download..
AWS Amazon Linux AMI에 node.js npm aws-sdk 설치 금일은 EC2 Amazon AMI에 node.js / Express / npm / aws-sdk를 구성한다. 인터넷에서 잘못된 정보로 헤매는 경우가 많아, 간단하게 정리해봄. 이것도 언젠가 잘못된 정보가 될 수 있으니 AWS Document를 참고하는게 낫다. 설치 전에 먼저 yum update를 한다. Tutorial: Setting Up Node.js on an Amazon EC2 Instance - AWS SDK for JavaScript The AWS Documentation website is getting a new look! Try it now and let us know what you think. Switch to the new look >> You can return to the ori..
AWS ELB Proxy Protocol 기능 활성화 하기(TCP) 금일은 TCP 통신을 위해서 ELB에 Proxy Protocol 정책을 추가해보도록 한다. 1. 개요 기본적으로 ELB는 http 및 https 통신에 한해서 Sticky Session 지원과 Client IP를 포워딩한다. 기존 http 헤더에서 x-forwarded-for/port/protocol 의 항목이 추가 됐다. 아래는 ELB를 통해 들어온 http 통신 header 값이다. { host: 'test-2139921278.ap-northeast-1.elb.amazonaws.com:8080', accept: '*/*', 'accept-encoding': 'gzip, deflate, sdch', 'accept-language': 'ko-KR,ko;q=0.8,en-US;q=0.6,en;q=0.4', ..
Amazon S3 I/O 성능 S3는 여러 파티션으로 분할된 Storage S3는 파티션 별로 객체의 키 값(prefix)를 토대로 인덱싱 사용할 수 있는 HTTP Method는 PUT/LIST/DELETE 그리고 GET 보편적으로 각 파티션 I/O는 PUT/LIST/DELETE Method의 경우 초당 100 / GET Method의 경우 초당 300 정도입니다. 업로드의 경우 현재 성능이 매우 개선되어 고려할 필요가 없을 정도가 되었음. 아래 명령어 수행 후 cp 혹은 sync 수행(CPU/Bandwidth가 중요하며, Path 별 구분을 통해 Parallel하게 수행 권장 aws configure set default.s3.max_concurrent_requests 20(default 10) aws configure set de..
Amazon S3 Client Tool 및 CLI 정리 1. Client에서 S3 사용 정리 Client에서 S3를 이용하는 방법은 두 가지가 있다. AWS CLI 혹은 3rd party solution, 기본적으로 AWS API를 기반으로 HTTP/S 통신한다. 3rd party solution은 다음과 같은 상황의 경우 사용한다. FileZilla와 같은 Client Tool을 사용하길 원하시면, CloudBerry 사의 Explorer를 사용하면 된다. (Freeware) 파일 서버와 같이 S3를 사용하길 원하시면, CloudBerry 사의 Drive 혹은 TntDrive를 사용하면 된다. (Free trial 30/21 day이며 1copy에 Drive $29.99 / TntDrive $59.95) 가성비는 CloudBerry 2. CLI 정리 돈이 ..
Amazon EC2 접속 시 Disconnected: No supported authentication methods available 에러 잘 접속되던 EC2에 접속을 하려고 하니 Disconnected: No supported authentication methods available과 같은 에러가 발생되는 경우가 있습니다. 해당 문제는 EC2 /home/ec2-user 디렉터리의 퍼미션을 변경했을 때 발생됩니다. 기본적으로 /home 하위 디렉터리 구조는 다음과 같습니다. (test의 경우 제가 생성) /home/ec2-user 디렉터리 관련된 작업시에 ec2 접속에 문제가 발생될 수 있다는 것을 인지하고 있었지만, 실수로 ec2-user 해당 디렉터리를 삭제해버렸었습니다. 다시 ec2-user 디렉터리 생성 후 퍼미션 400 / 권한 ec2-user로 원복했으나, 재접속 시에 해당 문제가 발생했습니다. 다시 원복해도 발생되네요 -_ -..
AWS On-premise(IDC) 환경에서 AWS로 Migration 시에 고려 사항 기존 On-premise(IDC) 환경에서 AWS로 Migration 시에 고려해야 될 사항에 대해 정리하도록 하겠습니다. 서비스 별로 정리해봤습니다. 먼저 AWS Migration 관련 문서입니다. Case 별로 정리되어 있습니다. 불러오는 중입니다... Wep Application Service 1. EC2 Instance 1-1. 이중화 구성 -. AWS Hardware failure로 인한 Down Time 발생을 고려해야 합니다. -. AWS Event(AWS Hardware 점검) Down Time 발생을 고려해야 합니다. -. SLA 보장을 위해서는 이중화 구성이 필요합니다. 1-2. License -. Windows OS 및 일부 Solution의 license는 사용 불가합니다. 1-3...
AWS Lambda를 이용하여 S3 업로드된 파일 meta-data 변경 오늘은 Lambda에 관련 포스팅 Lambda를 이용하여 S3 업로드 시에 파일의 meta-data(헤더)를 변경해보도록 하겠음. meta-data를 통해 client가 vod(mp4) 파일을 스트리밍할 지, 강제로 다운로드 받을지 결정할 수 있음. App 서버에서 Client가 업로드 시 meta-data 수정 전/후 파일을 S3에 업로드 할 수 있지만, Lambda 학습할 겸 테스트 해봄. 1.Overview Lambda는 AWS의 event trigger function 서비스입니다. S3 / SNS 등에서 Event가 발생되면 Lambda에 호출을 하고 Lambda는 node / python / java 등을 이용하여 작업을 함. Lambda와 S3를 연동해서 썸네일, 파일의 메타 데이터 변경이 ..
AWS Elastic Block Store(EBS) 이해 EBS 관련 포스팅 1. AWS Disk? AWS의 Disk는 S3 / EBS / EFS 정도로 나눌 수 있음. S3는 Http 통신을 하는 대용량 스토리지 서버 EBS는 일반 Disk EFS는 Nas 정도로 생각하실 수 있음. 2. EBS 분류 EBS는 General Purpose SSD (이하 gp2) / Provisioned IPOS SSD(이하 io1) / Magnetic으로 나눌 수 있음. 1.GP2 가장 일반적인 Disk로 1GB~1.5TB Size를 지정할 수 있으며 볼륨 크기에 따라 IOPS를 보장.(1GB 당 3) 버스팅 기능이 있어 I/O가 발생되지 않는 시간동안 IOPS가 충전됩니다. 최대 3,000 IOPS까지 충전. 2. io2 프로비전 된 Disk로 용량에 상관없이 IOPS를 보..
AWS 사용 전 준비 사항 AWS 사용 전 필수적으로 설정해야 할 사항 계정에 대한 보안과 AWS 작업(API 호출)에 대한 로깅(CloudTrail) 1. 계정에 대한 보안 AWS Root 계정은 IDC 서버실 키와 같음... 따라서 Root 계정은 적극적인 보안 필요 첫 번째는 Root 계정은 사용을 금지하고, 필요에 따라 AWS를 사용할 수 있는 Policy(권한)을 부여한 User 계정을 사용 AWS Console에서 Identity & Access Management(이하 IAM)를 클릭 그 뒤에 Groups 혹은 Users를 통해 계정을 생성. Linux 계정 관리와 비슷합니다. 이번에는 Users를 생성해봄. 이번에는 Users를 생성해봄. Users->Enter User Names->Create Generate an..
AWS Free Tier 정리 AWS에서는 개인 고객을 위해 Free Tier 서비스를 제공 일정 조건에 한해서 AWS를 무료로 이용 가능 이번 블로깅은 Free Tier에서 생각하지 못한 요금이 부과되는 것을 방지하도록, 중요한 Free Tier 조건 정리 EC2 EC2 t1micro 타입 이상 사양으로 만들 경우 EC2 전체 사용시간이 월 750시간을 초과할 경우 EIP EIP를 만들고 EC2에 Attach 하지 않았을 경우 EIP를 만들고 EC2에 Attach 했지만 EC2를 정지 해놓았을 경우 EBS EBS 사용량이 30GB를 초과할 경우 EC2를 생성할 때 AMI를 CentOS로 선택한 경우 기본적으로 EBS가 8GB 할당됩니다. 만약 EC2 생성 시에 Delete on Termination을 체크하지 않으셨다면, EC2 삭..
Amazon EC2 입문 EC2 Console로 EC2 하나를 생성하며 대부분의 내용을 보겠음. 매달 매주 AWS Console에 접속할 때마다 신규 기능이 나와, 넷상에 있는 정보에 누락된 내용이 많다. 언젠간 이것도 누락되겠지. (2015-09 기준) 1. Choose AMI ​AMI 종류 My AMI : 자신이 만든 AMI입니다. AWS Marketplace : 보안 솔루션부터 DB등 약 2000여가지의 SaaS 형태의 솔루션을 이용할 수 있습니다. 솔루션에 따라 추가 비용이 발생될 수 있습니다. AWS의 경우 어플라이언스 장비를 사용하기 힘들기 때문에 Marketplace를 이용합니다. Markeplace에서 구매한 EBS 볼륨은 다른 인스턴스에 attach 할 수 없습니다. Communitiy AMIs : 다른 사용자가..
AWS vs MS Azure vs KT ucloud biz 비교 첫 포스팅 첫 포스팅은 AWS vs MS Azure vs KT ucloud biz에 대한 비용 및 서비스 분석 비교 포스팅 내용은 개인적인 견해 1. 비용 각각 Calculator Page를 이용하여 기본적인 웹 서비스(HA구성)를 구축 후 금액을 비교 Web Server(linux)*2 : CPU 2 / Mem 4 App Server(linux)*2 : CPU 4 / Mem 8 DB Server(mysql)*2 : CPU 2 / Mem 8 Disk*6 : 100GB Traffic : 일피크 50 Mbps / 월전송량 3 TB AWS Server : 610.78 / DB : 768.00 / CDN 378.96 / LB : 0 Total : 1,848,407원 ($ 1757.74) (환율 1,115기준) ..