본문 바로가기

Amazon Web Service

(98)
AWS EBS AMI 백업 1. EBS 백업 방법1-1. Data Lifecycle Manager EBS 태그를 기반 12 또는 24 시간 기준으로 EBS의 Snapshot을 수행한다. 또한 Snapshot의 갯수를 조절할 수 있다. (예시 최근 7개) 1-2. CloudWatch Event - EC2 CreateSnapshot API call CloudWatch Event를 통해서도 Snapshot이 가능하다. 문제는 아직 Delete API는 구성되지 않음. 2. EC2 Image 백업 방법아직 AWS에서 EC2 AMI에 대한 자동 백업 서비스는 없음.그러나 CloudWatch Event -> Lambda(aws sdk)를 통해서 아래와 같이 구현은 가능. ec2List.json: Image를 생성할 EC2와 AMI 이름, e..
AWS ELB Backend Connection Errors 오픈 준비중인 서비스에서 ELB에서 Backend Connection Errors 및 Surge Queue Length 발생. Request가 없으나 Backend Connection Errors가 일정하게 발생되며, Surge Queue Length가 쌓이기 시작. Surge Queue Length는 ELB의 Backend EC2에서 처리하지 못한 Request가 버퍼에 쌓이는 것, Backend Connection Errors는 Backend EC2와 세션 과정에서 문제가 발생되는 것을 의미. 주로 Backend 가용성 문제로 인해 발생되는 메트릭으로 준비중인 서비스에서 발생되는게 이상함..업무는 아니지만.. 확인해봄 Application, EC2 OS, log 상에서도 특이점은 확인되지 않음. 또한..
AWS Elemental MediaConevert 1. 개요VOD 컨텐츠에 대한 AWS의 Media 트랜스코더(Live는 MediaLive) 2. 기능브로드캐스트- 오버레이, 콘텐츠 보호(DRM), 다국어 오디오, 자막, 광고(SCTE-35) 등 여러 옵션 존재입출력- MPEG-2/HEVC 코덱 지원, 색상 샘플링(Color Space), Adaptive packaging(HLS, DASH ISO), 4K Resoultion, HDR자동화- API를 통해 자동화가 가능하며, Managed Service(확장/축소, 장애처리, 최적화, 모니터링 등)안정성- AZ를 통해 이중화 되어있음 3. Elastic Transcoder(ETS)와 차이점- Elastic Transcoder는 Video, Audio에 대한 스트림 Preset / Water mark를 제..
AWS Machine Learning 분류 Amazon SageMaker ML을 위한 PaaS로 Jupyter 노트북, 최적화 된 알고리즘(linear_learner 등), 커스텀 알고리즘 그리고 MXNet, TensorFlow 프레임워크가 구성된 관리형 서비스데이터 저장소는 S3를 이용하며 데이터 트레이닝을 위한 EC2가 단일 또는 클러스터로 구성(EC2 Type, 갯수는 사용자 정의)되며, 학습된 모델은 S3에 저장기존 MXNet, TensorFlow 라이브러리 스크립트 사용 가능(인프라 구성 json 형태의 Config만 추가 필요). TensorFlow 는 Estimator API 사용 필요.MXNet, TensorFlow 외 다른 플랫폼 사용 시에는 Docker Image가 필요딥 러닝 모델 배포 환경도 AWS API 호출만으로 생성 가..
AWS NLB(Network Load Balancer) AWS NLB는 AWS Load Balancer에 Elastic IP(고정)을 부여할 수 있는 현재?까진 유일한 Load BalancerL4 수준(TCP)으로 지원합니다. 따라서 http cookie 방식의 sticky는 지원하지 않으며, tcp 세션을 350초 유지 LB와 묶일 수 있는 대상1. VPC 내의 EC2 Instance2. AWS 다른 대역의 리소스 혹은 VPN, DX로 터널링 된 Private IP 대역(10.0.0.0/8, 100.64.0.0/10, 172.16.0.0/12, 192.168.0.0/16만 가능) 1. Instance Taget Group 2. IP Taget Group 둘의 차이점은 1번과 같은 Instance ID를 이용한 형태로 Taget Group 지정 시 DSR(D..
Amazon CloudFront 장애 발생 시 필요 정보 1. CF Resolver DNS Query2. curl 등 다운로드 테스트3. Traceroute 정보log 확인 명령어aws s3 cp s3://'path'/ . --recursive --exclude "*" --include "EXXXXX.2018-07-11*.gz" [Case Open 시 AWS에서 필요 정보 요청]1) What latency do you expect 2) Please provide the Request ID of a request that appears to experience high latency 3) Do "dig resolver-identity.cloudfront.net"; or "nslookup resolver-identity.cloudfront.net" 4) Pleas..
AWS CloudFront Apache 원본 연동(mod_security2) SecRule &REQUEST_HEADERS_NAMES:origin-token "@eq 0" \ "id:52,log,deny,status:403,t:lowercase,msg:'CloudFront Auth failed origin-token'" cf origin-token 값을 통한 apache 원본 제어(헤더 Key 기준)
HTTP 헤더 모니터링 123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113114'use strict'const AWS = require('aws-sdk')AWS.config.region = 'ap-northeast-2'const CronJob = require('cron').CronJobconst sns = new AWS.SNS();const waterfall = req..