본문 바로가기

전체 글

 (145)
AWS EBS mount: unknown filesystem type ‘LVM2_member’ error 접근이 불가한 CentOS6.X EC2 Instance의 시스템 로그를 보기 위해 Amazon EC2 Instance에 Rood Disk를 Mount 하려 했으나 다음과 같은 Error가 발생되었습니다. mount: unknown filesystem type ‘LVM2_member’ 검색을 해보니 LVM으로 잡아놓은 파티션 디스크는 바로 Mount가 불가하네요. 아래 링크를 통해서 해결했습니다! EBS의 특성은 아니라고 생각됩니다만, AWS를 사용하면 이기종 간 Disk mount가 빈번할 듯 해서 카피하여 블로깅합니다. PissedOffAdmins » mount: unknown filesystem type ‘LVM2_member’ 2007 05.07 Category: Linux, OS / Tags: n..
Amazon S3FS vs EBS Performance 금일은 EBS(not Optimized) vs S3FS 성능 테스트 결과 공유드립니다. EBS Size는 100GB로 IOPS 300입니다. 버스트 포함 최대 3000까지 가능합니다.AWS EBS는 I/O Block 기준이 256KiB입니다.(참고 EBS I/O 특성 - http://docs.aws.amazon.com/ko_kr/AWSEC2/latest/UserGuide/ebs-io-characteristics.html)(참고 EBS 볼륨 유형 - http://docs.aws.amazon.com/ko_kr/AWSEC2/latest/UserGuide/EBSVolumeTypes.html)
AWS ELB Pre-warm 신청 양식 Elastic Load Balancer(ELB)의 경우 2대의 VM으로 구성된 HTTP정도로 생각하시면 됩니다. 기존 LB 장비에서 사용하는 VIP를 사용할 수 없습니다. 대신 Domain 기반의 End-Point를 제공합니다. ELB의 디폴트 성능 임계치는 나와있지 않습니다. 검색한 바로 초당 200~300 Request 처리가 가능하다고 되어 있습니다. 경험상 세션 임계치는 in/out 총 6만 세션이 디폴트 수치로 보입니다. 따라서 그보다 더 큰 부하 발생 시 ELB는 Scale up/out이 필요합니다. 일반적으로 linear 형태의 Traffic 증가는 ELB 자체적으로 Scale up/out이 됩니다. 그러나 step 형태의 Traffic은 AWS Case Open(ELB Pre-warm)을 ..
　비공 비공개 디렉터리입니다!!!
Amazon RDS Failover 매커니즘 RDS의 Failover 매커니즘에 관해 작성한다. RDS를 선택할 때 두 가지 항목이 있다. Single AZ와 Multi AZ다. 실제 서비스를 한다면 Multi AZ를 사용해야 한다. Multi AZ를 사용하신다면 다음과 같은 동작한다. End-Point Domain이 있고 그 뒤로 각각 RDS 인스턴스가 AZ 별로 CNAME처리 되어있다. 이런 식으로 기존 RDS Active 인스턴스에 H/W Failure, Backup, Maintenance가 발생되면 back-up 인스턴스로 CNAME이 위임되어 Failover가 진행된다. 이 때 다운타임은 DNS TTL로 인한 대략 1분정도의 시간이 발생된다. 만약 VM Type 변경은 아래 절차로 진행되며, Live에서 CPU 및 IOPS 사용률이 높다면..
Amazon CloudFront 동적 컨텐츠 캐싱 및 주요 기능 AWS CDN 서비스인 CloudFront의 동적 컨텐츠 및 주요 기능에 대해서 설명하도록 한다. 주요 기능과 Best Practice 정보 소개한다. 해당 내용은 AWS SA분의 "CloudFront로 동적 컨텐츠를 전송하는 네 가지 이유" Korea Region 발표 내용을 참고 했다. 대부분 CDN은 보통 정적/동적 컨텐츠를 분리해서 사용하고 있었다. 동적 컨텐츠는 App Server에서 구동되고, 그 안에 정적 컨텐츠는 CDN Server를 통해 End-Point를 구분지어 컨텐츠를 전달한다. 사실 CDN 플랫폼의 경우 HTTP GET 요청뿐만 아니라 POST, PUT, OPTION 등 HTTP Method를 전부 지원한다. 또한 Header, Cookie, QueryString도 원본에 바이패스..
Amazon Seoul Region CloudFront 성능 점검 금일은 CloudFront(CF) 성능 향상에 대한 결과가 있었습니다. 국내 CF 성능 이슈가 꽤 있었습니다. 국내 edge 가용성이 떨어지는 문제로 생각됩니다. 예를 들어 서비스 Peak 시간 20:00 ~ 02:00 사이에 CF의 급격한 성능 저하가 발생 됐었습니다. 국내 CF Bandwidth가 모자를 경우, 근처 도쿄나 혹은 싱가폴쪽으로 라우팅 되는 이슈가 있었습니다. 서비스 도메인 trace 확인 -> 도쿄로 라우팅 되며 지연 시간 발생 서비스 도메인 IP 확인 -> 역방향 조회 -> NRT12(도쿄 리전 CF Codes), 국내 CF Codes는 ICN50 Amazon Web Services CloudFront Edge Locations Codes Following the thread open..
AWS VPC/VPN(Openswan) 연동 VPC에서 VPN 연동 관련 블로깅 한다. 기본적인 AWS 사용 방법 및 VPC 구성에 대해서는 사전에 숙지해야 한다. 1. Overview AWS의 IPsec VPN 서비스인 VGW(Virtual Gateway Service)을 통해 AWS와 On-premise 간 터널링 통신을 구현한다. On-premise VPN 환경은 Openswan으로 구성하도록 하겠습니다. 사내 어플라이언스가 있으면 해당 장비로 테스트하길 바란다. 보안 알고리즘은 aes-256 / sha_2-256를 지원한다. (암호화 방식 참고) 불러오는 중입니다... VGW의 터널링은 IPsec 방식으로 SSL은 지원하지 않는다. (IPsec/SSL 참고) IPSec VPN 과 SSL VPN 의 특징 비교 IPSec VPN 과 SSL VP..
AWS EC2 Keypair 없이 사용하기 금일은 EC2에 Key Pair 없이 사용이 가능하도록 짧게 포스팅 하도록 한다. 먼저, 계정 생성은 미리 해놓자. $adduser leedoing $passwd leedoing 패스워드 입력 $vim /etc/ssh/sshd_config PasswordAuthentication no -> PasswordAuthentication yes 수정 $/etc/init.d/sshd restart sudo 권한 추가 /etc/sudoers #User privilege specification root ALL=(ALL:ALL) ALL 'user' ALL=(ALL:ALL) ALL 설정한 Instance가 재부팅 시에 다시 key pair를 요청할 수 있다. 그럴 경우 아래 내용에 따라 cloud-init config..
Amazon S3 Region 간 데이터 복제 금일은 S3 리전 간 데이터 복제에 관해서 포스팅 하도록 하겠습니다. 1. Overview해당 내용은 2016년 1월 7일 발표된 김상필 솔루션 아키텍트의 발표 자료에서 발췌한 내용(Tokyo -> Sydney)으로발표 자료를 기반으로 Tokyo에서 Seoul로 테스트를 진행해보겠습니다.(참조 - https://aws.amazon.com/ko/events/aws-cloud-ondemand) 2. Getting Started기본적으로 S3 리전 간 혹은 IDC에서 S3 간 데이터 복제는 CLI를 이용하면 됩니다. 예시 : Source 버킷 : leedoing-tokyo, 지역 : Tokyo, 크기 : 9GB, 갯수 : 90Target 버킷 : leedoing-seoul, 지역: Seoul$aws s3 sy..
AWS Korea Region Open 드디어 AWS Korea Region이 오픈했다! 비용은 일본보다 약간 저렴하다고 한다. 아래 URL은 AWS Cloud SEOUL - KOREA 세션 발표 자료들이다. AWS CLOUD | ON-DEMAND 박철수 아키텍트는 현재 아마존 웹서비스에서 스타트업, 웹/모바일, 디지털 미디어, 광고, 3D 렌더링 등 여러 분야의 고객들이 AWS의 다양한 솔루션과 서비스들을 효율적으로 사용할 수 있도록 기술적으로 돕고 있습니다. 아마존 웹서비스에 합류하기 전에는 썬마이크로시스템즈, 시스코, 시트릭스 등에서 서버, 스토리지, 네트워크, 가상화 및 프라이빗 클라우드 솔루션을 지원하였습니다. aws.amazon.com 복습하고 좋은 내용만 추려서 블로깅해보록 하겠다!
AWS CloudWatch 이번 블로깅은 CloudWatch 1. PreviewCloudWatch는 AWS에서 제공하는 모니터링 서비스입니다. CloudWatch를 이용하여 EC2를 비롯하여 AWS 대부분의 서비스를 모니터링할 수 있습니다. 요금이 복잡하게 설명이 되어 있습니다만, 1분 주기가 아닌 5분 주기의 경우 미비한 요금이 발생됩니다. 2. Getting Started2-1. CPU/Disk/Network/StatusCheckFailed_Instacne, System(AWS H/W Failure) 및 기타 Customer 메트릭 추가2-2. 해당 항목에 대한 CloudWatch Alarm 설정Notification - Mail 및 기타 통지 설정EC2 Action - 장애 발생 시 자동 대처 방법 설정Recover this..
Amazon S3 Upload Tool 3rd party solution(CloudBerryExplorer) S3 업로드 솔루션, CloudBerry 사용법에 관해 알아본다. 1. OverView CloudBerry는 S3 Upload Tool입니다. 기존 FileZillar와 같은 Upload Tool과 UI와 사용법이 유사하다 차이점은 FTP가 아닌 HTTP/S 프로토콜을 사용한다. CloudBerry는 Freeware 버전과 상용 버전이 있다. Freeware의 경우 기본적인 업로드/다운로드 기능만 지원한다. 상용 버전과 가장 큰 차이점은 Multi-part upload 불가와 최대 객체가 5GB 라는 점이다. (사용 버전의 경우 5TB) 상용 버전의 경우 1copy 당 $40 정도 합니다. Amazon S3 Browser for Windows | MSP360 (CloudBerry Lab) Download..
AWS Amazon Linux AMI에 node.js npm aws-sdk 설치 금일은 EC2 Amazon AMI에 node.js / Express / npm / aws-sdk를 구성한다. 인터넷에서 잘못된 정보로 헤매는 경우가 많아, 간단하게 정리해봄. 이것도 언젠가 잘못된 정보가 될 수 있으니 AWS Document를 참고하는게 낫다. 설치 전에 먼저 yum update를 한다. Tutorial: Setting Up Node.js on an Amazon EC2 Instance - AWS SDK for JavaScript The AWS Documentation website is getting a new look! Try it now and let us know what you think. Switch to the new look >> You can return to the ori..
AWS ELB Proxy Protocol 기능 활성화 하기(TCP) 금일은 TCP 통신을 위해서 ELB에 Proxy Protocol 정책을 추가해보도록 한다. 1. 개요 기본적으로 ELB는 http 및 https 통신에 한해서 Sticky Session 지원과 Client IP를 포워딩한다. 기존 http 헤더에서 x-forwarded-for/port/protocol 의 항목이 추가 됐다. 아래는 ELB를 통해 들어온 http 통신 header 값이다. { host: 'test-2139921278.ap-northeast-1.elb.amazonaws.com:8080', accept: '*/*', 'accept-encoding': 'gzip, deflate, sdch', 'accept-language': 'ko-KR,ko;q=0.8,en-US;q=0.6,en;q=0.4', ..
Amazon S3 I/O 성능 S3는 여러 파티션으로 분할된 Storage S3는 파티션 별로 객체의 키 값(prefix)를 토대로 인덱싱 사용할 수 있는 HTTP Method는 PUT/LIST/DELETE 그리고 GET 보편적으로 각 파티션 I/O는 PUT/LIST/DELETE Method의 경우 초당 100 / GET Method의 경우 초당 300 정도입니다. 업로드의 경우 현재 성능이 매우 개선되어 고려할 필요가 없을 정도가 되었음. 아래 명령어 수행 후 cp 혹은 sync 수행(CPU/Bandwidth가 중요하며, Path 별 구분을 통해 Parallel하게 수행 권장 aws configure set default.s3.max_concurrent_requests 20(default 10) aws configure set de..
Amazon S3 Client Tool 및 CLI 정리 1. Client에서 S3 사용 정리 Client에서 S3를 이용하는 방법은 두 가지가 있다. AWS CLI 혹은 3rd party solution, 기본적으로 AWS API를 기반으로 HTTP/S 통신한다. 3rd party solution은 다음과 같은 상황의 경우 사용한다. FileZilla와 같은 Client Tool을 사용하길 원하시면, CloudBerry 사의 Explorer를 사용하면 된다. (Freeware) 파일 서버와 같이 S3를 사용하길 원하시면, CloudBerry 사의 Drive 혹은 TntDrive를 사용하면 된다. (Free trial 30/21 day이며 1copy에 Drive $29.99 / TntDrive $59.95) 가성비는 CloudBerry 2. CLI 정리 돈이 ..
Amazon EC2 접속 시 Disconnected: No supported authentication methods available 에러 잘 접속되던 EC2에 접속을 하려고 하니 Disconnected: No supported authentication methods available과 같은 에러가 발생되는 경우가 있습니다. 해당 문제는 EC2 /home/ec2-user 디렉터리의 퍼미션을 변경했을 때 발생됩니다. 기본적으로 /home 하위 디렉터리 구조는 다음과 같습니다. (test의 경우 제가 생성) /home/ec2-user 디렉터리 관련된 작업시에 ec2 접속에 문제가 발생될 수 있다는 것을 인지하고 있었지만, 실수로 ec2-user 해당 디렉터리를 삭제해버렸었습니다. 다시 ec2-user 디렉터리 생성 후 퍼미션 400 / 권한 ec2-user로 원복했으나, 재접속 시에 해당 문제가 발생했습니다. 다시 원복해도 발생되네요 -_ -..
AWS On-premise(IDC) 환경에서 AWS로 Migration 시에 고려 사항 기존 On-premise(IDC) 환경에서 AWS로 Migration 시에 고려해야 될 사항에 대해 정리하도록 하겠습니다. 서비스 별로 정리해봤습니다. 먼저 AWS Migration 관련 문서입니다. Case 별로 정리되어 있습니다. 불러오는 중입니다... Wep Application Service 1. EC2 Instance 1-1. 이중화 구성 -. AWS Hardware failure로 인한 Down Time 발생을 고려해야 합니다. -. AWS Event(AWS Hardware 점검) Down Time 발생을 고려해야 합니다. -. SLA 보장을 위해서는 이중화 구성이 필요합니다. 1-2. License -. Windows OS 및 일부 Solution의 license는 사용 불가합니다. 1-3...
AWS Lambda를 이용하여 S3 업로드된 파일 meta-data 변경 오늘은 Lambda에 관련 포스팅 Lambda를 이용하여 S3 업로드 시에 파일의 meta-data(헤더)를 변경해보도록 하겠음. meta-data를 통해 client가 vod(mp4) 파일을 스트리밍할 지, 강제로 다운로드 받을지 결정할 수 있음. App 서버에서 Client가 업로드 시 meta-data 수정 전/후 파일을 S3에 업로드 할 수 있지만, Lambda 학습할 겸 테스트 해봄. 1.Overview Lambda는 AWS의 event trigger function 서비스입니다. S3 / SNS 등에서 Event가 발생되면 Lambda에 호출을 하고 Lambda는 node / python / java 등을 이용하여 작업을 함. Lambda와 S3를 연동해서 썸네일, 파일의 메타 데이터 변경이 ..
AWS Elastic Block Store(EBS) 이해 EBS 관련 포스팅 1. AWS Disk? AWS의 Disk는 S3 / EBS / EFS 정도로 나눌 수 있음. S3는 Http 통신을 하는 대용량 스토리지 서버 EBS는 일반 Disk EFS는 Nas 정도로 생각하실 수 있음. 2. EBS 분류 EBS는 General Purpose SSD (이하 gp2) / Provisioned IPOS SSD(이하 io1) / Magnetic으로 나눌 수 있음. 1.GP2 가장 일반적인 Disk로 1GB~1.5TB Size를 지정할 수 있으며 볼륨 크기에 따라 IOPS를 보장.(1GB 당 3) 버스팅 기능이 있어 I/O가 발생되지 않는 시간동안 IOPS가 충전됩니다. 최대 3,000 IOPS까지 충전. 2. io2 프로비전 된 Disk로 용량에 상관없이 IOPS를 보..
AWS 사용 전 준비 사항 AWS 사용 전 필수적으로 설정해야 할 사항 계정에 대한 보안과 AWS 작업(API 호출)에 대한 로깅(CloudTrail) 1. 계정에 대한 보안 AWS Root 계정은 IDC 서버실 키와 같음... 따라서 Root 계정은 적극적인 보안 필요 첫 번째는 Root 계정은 사용을 금지하고, 필요에 따라 AWS를 사용할 수 있는 Policy(권한)을 부여한 User 계정을 사용 AWS Console에서 Identity & Access Management(이하 IAM)를 클릭 그 뒤에 Groups 혹은 Users를 통해 계정을 생성. Linux 계정 관리와 비슷합니다. 이번에는 Users를 생성해봄. 이번에는 Users를 생성해봄. Users->Enter User Names->Create Generate an..
AWS Free Tier 정리 AWS에서는 개인 고객을 위해 Free Tier 서비스를 제공 일정 조건에 한해서 AWS를 무료로 이용 가능 이번 블로깅은 Free Tier에서 생각하지 못한 요금이 부과되는 것을 방지하도록, 중요한 Free Tier 조건 정리 EC2 EC2 t1micro 타입 이상 사양으로 만들 경우 EC2 전체 사용시간이 월 750시간을 초과할 경우 EIP EIP를 만들고 EC2에 Attach 하지 않았을 경우 EIP를 만들고 EC2에 Attach 했지만 EC2를 정지 해놓았을 경우 EBS EBS 사용량이 30GB를 초과할 경우 EC2를 생성할 때 AMI를 CentOS로 선택한 경우 기본적으로 EBS가 8GB 할당됩니다. 만약 EC2 생성 시에 Delete on Termination을 체크하지 않으셨다면, EC2 삭..
Amazon EC2 입문 EC2 Console로 EC2 하나를 생성하며 대부분의 내용을 보겠음. 매달 매주 AWS Console에 접속할 때마다 신규 기능이 나와, 넷상에 있는 정보에 누락된 내용이 많다. 언젠간 이것도 누락되겠지. (2015-09 기준) 1. Choose AMI ​AMI 종류 My AMI : 자신이 만든 AMI입니다. AWS Marketplace : 보안 솔루션부터 DB등 약 2000여가지의 SaaS 형태의 솔루션을 이용할 수 있습니다. 솔루션에 따라 추가 비용이 발생될 수 있습니다. AWS의 경우 어플라이언스 장비를 사용하기 힘들기 때문에 Marketplace를 이용합니다. Markeplace에서 구매한 EBS 볼륨은 다른 인스턴스에 attach 할 수 없습니다. Communitiy AMIs : 다른 사용자가..
AWS vs MS Azure vs KT ucloud biz 비교 첫 포스팅 첫 포스팅은 AWS vs MS Azure vs KT ucloud biz에 대한 비용 및 서비스 분석 비교 포스팅 내용은 개인적인 견해 1. 비용 각각 Calculator Page를 이용하여 기본적인 웹 서비스(HA구성)를 구축 후 금액을 비교 Web Server(linux)*2 : CPU 2 / Mem 4 App Server(linux)*2 : CPU 4 / Mem 8 DB Server(mysql)*2 : CPU 2 / Mem 8 Disk*6 : 100GB Traffic : 일피크 50 Mbps / 월전송량 3 TB AWS Server : 610.78 / DB : 768.00 / CDN 378.96 / LB : 0 Total : 1,848,407원 ($ 1757.74) (환율 1,115기준) ..

티스토리툴바