Analytics (3) 썸네일형 리스트형 Amazon Athena의 SQL 정리 Amazon Athena의 SQL 기초를 정리한다. 이번 내용에는 Amazon Athena의 기본 사용 방법을 익히고, 활용하여 S3에 업로드 된 CloudTrail 로그들을 이용해서 MFA 없이 AWS Web Console에 접근하는 사용자를 찾아보도록 하자. Amazon Athena의 기본적인 구성은 아래와 같다. S3 Location 확인 분석하기 위한 로그 파일들이 S3 버킷에 업로드 되었다는 가정하에 진행한다. 따라서 사전에 각종 로그 파일들을 S3에 업로드 해놓도록 하자. DDL Create Query(테이블 생성) 기본적으로 Athena 쿼리 엔진의 DDL은 Hive DDL을 기반으로 한다. Create Syntax는 아래와 같다. CREATE Syntax CREATE [EXTERNAL] T.. AWS ElasticSearch를 이용한 CloudFront 로그 분석(Amazon Linux/ES) ElasticSearch 설치ElasticSearch: 5.4https://www.elastic.co/guide/en/beats/libbeat/current/getting-started.html EC2 Discovery Plugin(Cluster)https://www.elastic.co/guide/en/elasticsearch/plugins/current/discovery-ec2.html elasticsearch-head Plugin(5.x site plugin 지원하지 않음)https://github.com/mobz/elasticsearch-head Limitvim /etc/security/limits.confec2-user soft memlock unlimitedec2-user hard memlock.. Amazon ElasticSearch 이모저모 AWS ElasticSearch는 간단하게 ElasticSearch를 AWS 내에서 제공하는 서비스 구성은 간단히 Web Console에서 Name(Master), Data Node 구성 가능, 자동 백업이 가능사용 방법은 http://mykumi.tistory.com/entry/AWS-ElasticSearchKibanaFluentd-1-AWS-ElasticSearch-%EC%83%9D%EC%84%B1 에서 확인 가능 문제는 ElasticSearch는 VPC 내의 Private 서비스가 아닌 Public 구간의 서비스.따라서 접근 제어는 Public IP 혹은 ARN과 Signature 구성을 통해 가능. 접근 제어 변경 시 약 5분에서 길게는 20분까지 반영되는데 시간이 걸림 Signature 구성 방.. 이전 1 다음
