본문 바로가기

AWS

(9)
AWS와 GCP 클라우드 상품 비교 클라우드란 기존 서버를 구입하고 IDC에 상면을 임차하여 IT 서비스를 하던 방식과 달리 Google, Amazon, MS 그리고 국내 NAVER 등 밴더 업체를 통해 웹 콘솔로 서버를 빌려서 사용하고 사용한 시간만큼만 비용을 지불하는 방식을 말한다. 클라우드 시장의 지속적인 성장으로 인해 많은 관심을 받고 있다. 그래서 클라우드 사업자 1위인 AWS와 후발주자인 Google Cloud를 비교해본다. 현재 클라우드 시장에서 1위는 단연 Amazon의 AWS 다. 그 이유는 아래 그림을 통해 알 수 있다. AWS의 경우 고객의 요구사항을 충실하게 서비스에 반영하고 있으며 매우 많은 옵션들이 있다. 반면 GCP는 빅쿼리 등을 앞세워 빅데이터, ML 등 특화된 영역을 앞세워 시장에 대응하고 있다. 실제로 고객..
AWS EC2 User data script sample(node.js) AWS EC2의 User data에서 yarn install/run 명령어 수행이 되지 않음.. 초기 EC2 생성 시의 User data 아래와 같이 구성하면 되고 시작 시 Linux 인스턴스에서 명령 실행 - Amazon Elastic Compute Cloud 시작 시 Linux 인스턴스에서 명령 실행 Amazon EC2에서 인스턴스를 시작할 때 사용자 데이터를 인스턴스에 전달하여 일반적인 구성 작업을 자동으로 수행하는 데 사용하도록 할 수 있고, 인스턴스가 시작된 후에 스크립트를 실행할 수도 있습니다. Amazon EC2에 shell 스크립트 및 cloud-init 명령이라는 두 가지 유형의 사용자 데이터를 전달할 수 있습니다. 시작 마법사에 이 데이터를 일반 텍스트, 파일(명령줄 도구를 사용하여 인..
AWS MediaStore 오랜만에 업데이트... 요새 딴 일을 하느라...🙏 아무툰... AWS MediaStore는 Live 스트리밍 전용으로 메모리 기반의 S3로 이해하면 된다. 그러니까 실시간 레이턴시가 중요한 Live 미디어 서비스의 MediaStore 사용을 권장한다. S3만큼 여러 기능도 없다. 그냥 easy easy... 보편적인 Live Streaming 구성 [Encoder Appliance] -> [MediaLive] -> [MediaStore] -> [CloudFront] MediaStore를 사용 시에는 MediaLive에서 endpoint에 mediastore(ssl)://mediastoreEndpoint/'path' chunk: '/path' 혹은 'path' 로 구성하면 되는데, /path로 구성했을 ..
Amazon API Gateway Signature v4(Authorization) API Gateway는 AWS의 Managed HTTP(S) Proxy 서비스로 HTTP(S) / Websocket 프로토콜을 지원하며, EC2 / Lambda / DynamoDB / 외부 HTTP(S) 통신 등 다양한 Application과 Integration 되어있다. API Gateway는 기본적으로 AWS에서 관리하는 VPC 내에 존재하기 때문에 Public 서비스로 WAF와 연동도 가능하다. 또한 End-Point(Private Link)도 지원하기 때문에 사용자의 VPC 내에서 Security Group을 통해서도 네트워크 제어가 가능하다. 그 외 Caching, Header, QueryString 조작, 요청 Threshold 관리 등 매우 다양한 기능이 있음. 이번 블로깅은 API Gat..
Amazon Forecast 먼저 AWS 서비스 중 앞에 붙는 Amazon/AWS 별칭을 이해하자. Amazon의 경우는 단독으로 사용 가능한 서비스며, AWS의 경우는 다른 Amazon, AWS의 서비스들과 연계해야 하는 서비스임.(예 Amazon EC2 / AWS Lambda 등) 그러므로 Amazon Forecast는 단독으로 사용할 수 있는 AWS의 시계열 데이터 기반 ML 서비스다. 기타 서비스처럼 Amazon.com에 적용한 ML 경험을 토대로 만든 서비스. Forecast를 이용하면 ML 지식 없이도 ML을 사용할 수 있다. 본인은 간단한 데이터만 tensorflow/jupyter 끄적여봄. Forecast는 AWS에서 미리 정의해놓은 1.Case템플릿과 2.알고리즘을 사용하는데, 미리 정의한 템플릿은 아래와 같음. P..
AWS ELB Backend Connection Errors 오픈 준비중인 서비스에서 ELB에서 Backend Connection Errors 및 Surge Queue Length 발생. Request가 없으나 Backend Connection Errors가 일정하게 발생되며, Surge Queue Length가 쌓이기 시작. Surge Queue Length는 ELB의 Backend EC2에서 처리하지 못한 Request가 버퍼에 쌓이는 것, Backend Connection Errors는 Backend EC2와 세션 과정에서 문제가 발생되는 것을 의미. 주로 Backend 가용성 문제로 인해 발생되는 메트릭으로 준비중인 서비스에서 발생되는게 이상함.. 업무는 아니지만.. 확인해봄 Application, EC2 OS, log 상에서도 특이점은 확인되지 않음. 또..
AWS NLB(Network Load Balancer) AWS NLB는 AWS Load Balancer에 Elastic IP(고정)을 부여할 수 있는 현재까진 유일한 Load Balancer 이다. TCP 레이어까지만 지원한다. 따라서 http cookie 방식의 sticky는 지원하지 않으며, tcp 세션을 350초 유지한다고 한다. NLB의 장점은 클라이언트의 요청에 대해서 낮은 대기 시간으로 높은 처리가 가능하다. 따라서 기존 ELB 사용 시에는 짧은 시간 내 스파크성 트래픽 발생에 대한 대응이 어려웠으나 NLB를 사용함으로 ELB의 단점을 해소할 수 있을 것이다. 또한 이벤트 등으로 사이트의 유입이 늘어날 것을 대비해 ELB의 Prewarm을 준비하곤 했으나, NLB를 사용함으로 ELB의 단점을 해소할 수 있을 것이다. NLB와 묶일 수 있는 대상은 ..
AWS WAF&Shield 소개 AWS WAF&Shield 소개 AWS Shield 작동 방식 - AWS WAF, AWS Firewall Manager 및 AWS Shield Advanced AWS Shield 작동 방식 DDoS(분산 서비스 거부)공격은 여러 개의 손상된 시스템이 네트워크 또는 웹 애플리케이션과 같은 대상에 많은 양의 트래픽으로 대상에 서비스 장애를 일으키려고 시도하는 공격입니다. DDoS 공격은 합법적 사용자의 서비스 액세스를 방해할 수 있으며 과도한 트래픽 볼륨으로 인해 시스템에 충돌이 발생할 수 있습니다. AWS는 DDoS 공격에 대해 AWS Shield Standard 및 AWS Shield Advanced라는 두 가 docs.aws.amazon.com AWS는 Document 정리가 잘 되어 있어서 좋다. 너..
AWS EBS Daily Snapshot aws node sdk를 이용해서 EBS Daily Snapshot를 생성해본다. aws sdk 사용 방법은 이번 블로깅 범위가 아니니 생략한다. 사전에 sdk 사용 방법은 숙지해야 한다. 참고 Node.js의 JavaScript용 AWS SDK Mac/Linux의 경우 ~/.aws/credentials에, Windows의 경우 C:\Users\USERNAME\.aws\credentials에 자격 증명 파일을 생성 [기본값] aws_access_key_id = your_access_key aws_secret_access_key = your_secret_key 자격 증명을 로드하는 다른 방법은 시작 안내서를 참조하십시오. 버킷 이름은 소문자, 숫자, 하이픈(-)을 포함할 수 있습니다. 각 레이블은 aws...