본문 바로가기

Storage&CDN

(16)
Amazon CloudFront 장애 발생 시 필요 정보 1. CF Resolver DNS Query2. curl 등 다운로드 테스트3. Traceroute 정보log 확인 명령어aws s3 cp s3://'path'/ . --recursive --exclude "*" --include "EXXXXX.2018-07-11*.gz" [Case Open 시 AWS에서 필요 정보 요청]1) What latency do you expect 2) Please provide the Request ID of a request that appears to experience high latency 3) Do "dig resolver-identity.cloudfront.net"; or "nslookup resolver-identity.cloudfront.net" 4) Pleas..
AWS CloudFront Apache 원본 연동(mod_security2) SecRule &REQUEST_HEADERS_NAMES:origin-token "@eq 0" \ "id:52,log,deny,status:403,t:lowercase,msg:'CloudFront Auth failed origin-token'" cf origin-token 값을 통한 apache 원본 제어(헤더 Key 기준)
AWS Storage Gateway(File gateway) 성능 AWS Storage Gateway는 IDC 혹은 AWS EC2 간 스토리지(EBS)를 S3와 연동하여 하이브리드 형태로 사용할 수 있는 서비스입니다. 지원되는 프로토콜은 NFS(파일게이트웨이), iSCSI(볼륨 게이트웨이), VTL(테이프 게이트웨이)가 있습니다. 데이터 백업 및 데이터 S3 이전 용도로 사용합니다. 구성은 document에 설명이 잘 되어있습니다. Web Console을 통해 Cache 디스크 및 권한 관리 등을 설정할 수 있습니다. (Document - https://d0.awsstatic.com/whitepapers/aws-storage-gateway-file-gateway-for-hybrid-architectures.pdf)File Gateway(EC2) 내 OS는 직접 접근할 ..
Amazon S3-CloudFront Redirect(IDC Content S3로 이관 시) [리소스] AWS S3 원본: leedoing2.s3-website-ap-northeast-1.amazonaws.com IDC 원본(가정): leedoing.s3-website.ap-northeast-2.amazonaws.com CF: d1e5lqevy0hhfg.cloudfront.net 사용자 Request: d1e5lqevy0hhfg.cloudfront.net/test.jpg S3 원본에는 test.jpg 파일 없음 IDC 원본에는 test.jpg 파일 존재 [시나리오] 사용자 요청 -> CloudFront -> S3(원본) S3(원본)에서는 404/403에 대해 IDC 원본으로 Redirect 302 Response CF에서는 S3(원본)의 302 Redirect Reponse를 사용자에게 bypa..
AWS CloudFront SignedURL/Cookie 사용 AWS CloudFront로 비공개 컨텐츠 혹은 유료 컨텐츠를 서빙할 때는 Signed URL/Cookie 라는 토큰 기반의 인증 옵션을 사용한다. 1. 구성은 뭐 인증 API 서버가 필요할테고 일반적인 인증 구성 2. CloudFront Signed URL/Cookie를 위한 Key Pair 생성[Root 계정 로그인] > [우측 계정명] > [My Security Credentials] > [CloudFront Key Pairs] > [Create New Key Pair] Private, Public Key 그리고 Key Pair ID를 저장 3. CloudFront Signed URL/Cookie 미리 준비된 정책 vs 사용자 정책(https://docs.aws.amazon.com/ko_kr/Ama..
AWS CloudFront 및 기타 CDN 성능 측정 솔루션(Keynote) AWS 서비스는 아니지만, CDN 및 기타 글로벌 성능 측정을 위해 사용되는 Keynote 솔루션을 소개합니다.Keynote는 각국 ISP 서버를 통해 HTTP 및 기타 프로토콜에 대한 성능을 측정합니다. (Keynote: http://www.keynote.com/about/partners)회원가입은 패스하고, HTTP 통신에 대해 설정하는 방법을 빠르게 알아봅시다.[keynote.com 접속] > [Keynote Service Center][Measurements] > [Add] 선택Service Center 하단 목록은 현재 성능 측정중인 리스트를 보여줍니다. Keynote의 Product 메뉴들이 확인됩니다. [Application Perspective 선택]브라우저를 통한 response-time..
Amazon CloudFront SSL 인증서 설정하기 안녕하세요. 아래 그림과 같이 Application 서비스에서 로그인, 결제 등 보안이 필요한 페이지는 HTTPS 통신이 필요합니다. 간단한 SSL 관소개 웹툰: http://minix.tistory.com/395, http://minix.tistory.com/397 경험상 HTTPS는 HTTP 대비 약 1/3~1/5 수준의 성능을 보입니다. 가령 1Gbps HTTP 통신이 가능한 인프라가 HTTPS를 사용할 경우 200Mbps~500Mbps 정도로 성능에 제약이 발생됩니다. 서버 성능에 따라 결과는 달라질 수 있지만, 기본적으로 성능 저하가 발생됩니다. -> HTTP2 AWS을 사용할 경우 QoS, 비용, 글로벌 서비스를 위해 CDN 서비스인 CloudFront를 필수적으로 사용합니다.AWS에서 HTT..
Amazon S3 SoftNAS 성능 검증 AWS 상에서 파일 서버 구축은 여러가지 방법이 있습니다. 첫 번째, AWS EFS을 사용. 비용만 감당되면 가장 베스트한 방법이지만, 아직 서울 리전을 지원하지 않습니다.두 번째, S3를 이용하여 EC2 Client에서 CLI, SDK 등을 사용하는 방법입니다. 개발 단 수정이 필요하지만 비용 및 성능 면에서 좋은 방법입니다.세 번째, S3 mount를 위해 오픈소스를 사용하는 방법이 있습니다. S3FS, goofys 등의 오픈소스를 사용하면 됩니다. 이 방법은 read가 주로 필요한 경우 추천합니다. write의 경우 성능에 약점이 있으나, read의 경우 cache 옵션을 사용하면 상용 서비스 수준으로 사용할 수 있습니다. goofys가 오픈소스 중 가장 우월한 성능을 보여줍니다. 그러나 오픈소스인..