본문 바로가기

Amazon Web Service

(90)
AWS VPC Peering를 활용하여 VPN 허브 구성 1. 현재 VPN 구성OpenVPN 사용, 계정 2개, 계정당 VPC 2개, 총 4개의 OpenVPN 사용Google OTP 용도나 불편한 작업은 Script를 이용해서 사용 -> 그러나 불편함계정 생성 시 노가다 작업을 4번... KEY도 서버 들락날락 사용자에게 보내주고....2. VPN 구성 변경 제안3. VPN 구성4. VPN 구성 테스트AWS MarketPlace: https://aws.amazon.com/marketplace/pp/B01DE7GEPK Manual: https://docs.openvpn.net/getting-started/amazon-web-services-ec2-tiered-appliance-quick-start-guide/ 5. To Do ListOpenVPN Access S..
Amazon Forecast 먼저 AWS 서비스 중 앞에 붙는 Amazon/AWS 별칭을 이해하자.Amazon의 경우는 단독으로 사용 가능한 서비스며, AWS의 경우는 다른 Amazon, AWS의 서비스들과 연계해야 하는 서비스임.(예 Amazon EC2 / AWS Lambda 등) 그러므로 Amazon Forecast는 단독으로 사용할 수 있는 AWS의 시계열 데이터 기반 ML 서비스다. 기타 서비스처럼 Amazon.com에 적용한 ML 경험을 토대로 만든 서비스.Forecast를 이용하면 ML 지식 없이도 ML을 사용할 수 있다. 본인은 간단한 데이터만 tensorflow/jupyter 끄적여봄. Forecast는 AWS에서 미리 정의해놓은 1.Case템플릿과 2.알고리즘을 사용하는데, 미리 정의한 템플릿은 아래와 같음.(htt..
Python locust load test tool 보통 벤치마크는 간단히 ApacheBenchmark를 통해 Req 임계치, Latency 정도를 확인하거나,(ab -n 100 -c 5 -C "somecookie=rawr" http://google.com/) Jmeter, nGrinder(Java)와 같은 프로그램을 통해 더 많은 정보를 확인하거나(nGrinder는 안 써봄),장점1. GUI 환경2. 필요 시 플러그인 사용 단점1. GUI 환경2. 필요 시 플러그인 사용3. 환경 구성이 짜증남4. 메모리 소모가 매우 큼 구성해놓은 Jmeter 클러스터 VM들은 다시 start 하기도 싫음... 뭔가 버벅이는 느낌.. 그러던 중 Python locust를 발견(https://docs.locust.io/en/stable/installation.html)장점..
AWS DynamoDB 소개 AWS DynamoDB(NoSQL PaaS, Key/Value Store)정확한 그림은 아니라지만, 뭐 대충 요런 포지션이 DynamoDB NoSQL의 사용 이유(RDBMS 한계?)Row->Document 성 데이터 이동Scale-up의 한계 -> Scale-out 가능비정형 데이터의 최적화 DynamoDBIndex는 Local, Global(Optional) Secondary Index 두 Index를 지원(일종의 View로 물리적으로도 저장) LSI: Hash Key는 기본 테이블 키와 동일, Rang(sort) Key는 선택제약: 최대 5개, 테이블 생성 시점만 가능, 10GiB 제한(같은 파티션 내 생성되기 때문?) GSI: Hash Key, Range(sort) 자유롭게 구성 가능제약: 최대 5..
AWS EBS AMI 백업 1. EBS 백업 방법1-1. Data Lifecycle Manager EBS 태그를 기반 12 또는 24 시간 기준으로 EBS의 Snapshot을 수행한다. 또한 Snapshot의 갯수를 조절할 수 있다. (예시 최근 7개) 1-2. CloudWatch Event - EC2 CreateSnapshot API call CloudWatch Event를 통해서도 Snapshot이 가능하다. 문제는 아직 Delete API는 구성되지 않음. 2. EC2 Image 백업 방법아직 AWS에서 EC2 AMI에 대한 자동 백업 서비스는 없음.그러나 CloudWatch Event -> Lambda(aws sdk)를 통해서 아래와 같이 구현은 가능. ec2List.json: Image를 생성할 EC2와 AMI 이름, e..
AWS ELB Backend Connection Errors 오픈 준비중인 서비스에서 ELB에서 Backend Connection Errors 및 Surge Queue Length 발생.Request가 없으나 Backend Connection Errors가 일정하게 발생되며, Surge Queue Length가 쌓이기 시작.Surge Queue Length는 ELB의 Backend EC2에서 처리하지 못한 Request가 버퍼에 쌓이는 것, Backend Connection Errors는 Backend EC2와 세션 과정에서 문제가 발생되는 것을 의미.주로 Backend 가용성 문제로 인해 발생되는 메트릭으로 준비중인 서비스에서 발생되는게 이상함..업무는 아니지만.. 확인해봄Application, EC2 OS, log 상에서도 특이점은 확인되지 않음. 또한 ELB..
AWS Elemental MediaConevert 1. 개요VOD 컨텐츠에 대한 AWS의 Media 트랜스코더(Live는 MediaLive)2. 기능브로드캐스트- 오버레이, 콘텐츠 보호(DRM), 다국어 오디오, 자막, 광고(SCTE-35) 등 여러 옵션 존재입출력- MPEG-2/HEVC 코덱 지원, 색상 샘플링(Color Space), Adaptive packaging(HLS, DASH ISO), 4K Resoultion, HDR자동화- API를 통해 자동화가 가능하며, Managed Service(확장/축소, 장애처리, 최적화, 모니터링 등)안정성- AZ를 통해 이중화 되어있음3. Elastic Transcoder(ETS)와 차이점- Elastic Transcoder는 Video, Audio에 대한 스트림 Preset / Water mark를 제공-..
AWS Machine Learning 분류 Amazon SageMaker ML을 위한 PaaS로 Jupyter 노트북, 최적화 된 알고리즘(linear_learner 등), 커스텀 알고리즘 그리고 MXNet, TensorFlow 프레임워크가 구성된 관리형 서비스데이터 저장소는 S3를 이용하며 데이터 트레이닝을 위한 EC2가 단일 또는 클러스터로 구성(EC2 Type, 갯수는 사용자 정의)되며, 학습된 모델은 S3에 저장기존 MXNet, TensorFlow 라이브러리 스크립트 사용 가능(인프라 구성 json 형태의 Config만 추가 필요). TensorFlow 는 Estimator API 사용 필요.MXNet, TensorFlow 외 다른 플랫폼 사용 시에는 Docker Image가 필요딥 러닝 모델 배포 환경도 AWS API 호출만으로 생성 가..