본문 바로가기

전체 글

(101)
AWS ELB Backend Connection Errors 오픈 준비중인 서비스에서 ELB에서 Backend Connection Errors 및 Surge Queue Length 발생. Request가 없으나 Backend Connection Errors가 일정하게 발생되며, Surge Queue Length가 쌓이기 시작. Surge Queue Length는 ELB의 Backend EC2에서 처리하지 못한 Request가 버퍼에 쌓이는 것, Backend Connection Errors는 Backend EC2와 세션 과정에서 문제가 발생되는 것을 의미. 주로 Backend 가용성 문제로 인해 발생되는 메트릭으로 준비중인 서비스에서 발생되는게 이상함..업무는 아니지만.. 확인해봄 Application, EC2 OS, log 상에서도 특이점은 확인되지 않음. 또한..
AWS Elemental MediaConevert 1. 개요VOD 컨텐츠에 대한 AWS의 Media 트랜스코더(Live는 MediaLive) 2. 기능브로드캐스트- 오버레이, 콘텐츠 보호(DRM), 다국어 오디오, 자막, 광고(SCTE-35) 등 여러 옵션 존재입출력- MPEG-2/HEVC 코덱 지원, 색상 샘플링(Color Space), Adaptive packaging(HLS, DASH ISO), 4K Resoultion, HDR자동화- API를 통해 자동화가 가능하며, Managed Service(확장/축소, 장애처리, 최적화, 모니터링 등)안정성- AZ를 통해 이중화 되어있음 3. Elastic Transcoder(ETS)와 차이점- Elastic Transcoder는 Video, Audio에 대한 스트림 Preset / Water mark를 제..
AWS Machine Learning 분류 Amazon SageMaker ML을 위한 PaaS로 Jupyter 노트북, 최적화 된 알고리즘(linear_learner 등), 커스텀 알고리즘 그리고 MXNet, TensorFlow 프레임워크가 구성된 관리형 서비스데이터 저장소는 S3를 이용하며 데이터 트레이닝을 위한 EC2가 단일 또는 클러스터로 구성(EC2 Type, 갯수는 사용자 정의)되며, 학습된 모델은 S3에 저장기존 MXNet, TensorFlow 라이브러리 스크립트 사용 가능(인프라 구성 json 형태의 Config만 추가 필요). TensorFlow 는 Estimator API 사용 필요.MXNet, TensorFlow 외 다른 플랫폼 사용 시에는 Docker Image가 필요딥 러닝 모델 배포 환경도 AWS API 호출만으로 생성 가..
AWS NLB(Network Load Balancer) AWS NLB는 AWS Load Balancer에 Elastic IP(고정)을 부여할 수 있는 현재?까진 유일한 Load BalancerL4 수준(TCP)으로 지원합니다. 따라서 http cookie 방식의 sticky는 지원하지 않으며, tcp 세션을 350초 유지 LB와 묶일 수 있는 대상1. VPC 내의 EC2 Instance2. AWS 다른 대역의 리소스 혹은 VPN, DX로 터널링 된 Private IP 대역(10.0.0.0/8, 100.64.0.0/10, 172.16.0.0/12, 192.168.0.0/16만 가능) 1. Instance Taget Group 2. IP Taget Group 둘의 차이점은 1번과 같은 Instance ID를 이용한 형태로 Taget Group 지정 시 DSR(D..
Amazon CloudFront 장애 발생 시 필요 정보 1. CF Resolver DNS Query2. curl 등 다운로드 테스트3. Traceroute 정보log 확인 명령어aws s3 cp s3://'path'/ . --recursive --exclude "*" --include "EXXXXX.2018-07-11*.gz" [Case Open 시 AWS에서 필요 정보 요청]1) What latency do you expect 2) Please provide the Request ID of a request that appears to experience high latency 3) Do "dig resolver-identity.cloudfront.net"; or "nslookup resolver-identity.cloudfront.net" 4) Pleas..
AWS CloudFront Apache 원본 연동(mod_security2) SecRule &REQUEST_HEADERS_NAMES:origin-token "@eq 0" \ "id:52,log,deny,status:403,t:lowercase,msg:'CloudFront Auth failed origin-token'" cf origin-token 값을 통한 apache 원본 제어(헤더 Key 기준)
HTTP 헤더 모니터링 123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113114'use strict'const AWS = require('aws-sdk')AWS.config.region = 'ap-northeast-2'const CronJob = require('cron').CronJobconst sns = new AWS.SNS();const waterfall = req..
AWS Elemental MediaLive AWS에서 Live Encoder가 출시되었다. 기존 Elastic Transcoder의 경우 S3 내의 VOD 파일을 단순히 Transcoding 해준 서비스였다면, 이번 AWS Elemental MediaLive는 여러 input Live stream에 대해 인코딩/트랜스코딩이 가능하다.기존 Elastic Transcoder와 대비되는 서비스는 MediaConvert AWS Elemental MediaLive- AWS의 Encoder 서비스로 Live 비디오 스트림을 실시간으로 인코딩하고 배포하는 서비스 1) 주요 특징- 두 개의 가용 영역에 리소스 분산- 스트림에 따라 리소스를 자동적으로 관리하여 고가용성을 제공- Input Stream은 RTP, RTMP(push), RTMP(pull), HLS ..
AWS ElasticBeanstalk Root 경로 /var/app/current//var/www/html/ .extensinos sample files: "/etc/httpd/conf.d/vhost.conf": mode: "000644" owner: root group: root encoding: plain content: | NameVirtualHost *:80 DocumentRoot "/var/app/current/" Options Indexes FollowSymLinks MultiViews AllowOverride All Require all granted ServerName www.jschoi.net DocumentRoot "/var/app/current/jschoi" Options Indexes FollowSymLinks MultiViews A..
AWS VPC FLOW LOGS AWS VPC Flow Logs는 VPC 내의 로그를 수집할 수 있게 해주는 기능(http://docs.aws.amazon.com/ko_kr/AmazonVPC/latest/UserGuide/flow-logs.html) 각 VM의 네트워크 인터페이스 별로 통신하는 로그를 확인할 수 있다.VPC Flow Log를 활용하면 장애나 보안 문제가 발생 했을 경우 좀 더 많은 정보를 확인할 수 있다. [VPC 우클릭 -> Create Flow Log]VPC Flow Log는 VPC / Subnet / EC2 Network 인터페이스 기준으로 Enable 가능하며 Accept와 Reject 기준으로 필터 설정도 가능하다. 필요한 Role은 아래와 같다. 그리고 CloudWatch Logs 화면으로 돌아가면, 아래와 ..