로그 데이터 처리를 위한 AWS Athena 환경 구성

1. 데이터 원본 생성

- 콘솔을 접속해서 Athena 페이지로 이동

- 왼쪽 메뉴에서 데이터 원본 클릭

- 오른쪽에 데이터 원본 생성 버튼 클릭 ( 생성하려고 하는 데이터 원본이 AWS Glue 데이터 카탈로그라 있으면 패스 )

데이터 원본 생성 화면

2. 데이터 원본 선택

- Glue 검색 후 S3 - AWS Glue 데이터 카탈로그 선택 후 다음 버튼 클릭

데이터 카탈로그 선택

3. 데이터 원본 세부정보 입력

- AWS Glue 데이터 카탈로그 선택에서 '이 계정의 AWS Glue 데이터 카탈로그' 선택

- 테이블 생성 방법 선택에서 '수동으로 테이블 생성' 선택 후 테이블 생성 버튼 클릭

데이터 원본 세부 정보 입력 화면

4. S3 버킷 데이터에서 테이블 생성

- 테이블 이름 입력

- 데이터베이스 구성에서 '데이터베이스 생성' 선택

- 데이터베이스 이름 입력

테이블 세부 정보 및 데이터베이스 구성 입력

- 데이터 세트 항목에서 S3 찾아보기 버튼 클릭

데이터 세트 입력

- Athena 용으로 생성한 S3 버킷 선택

S3 버킷 선택

- 데이터 형식 항목에서 JSON - Hive SerDe 선택 ( 속도 개선을 위한 파티셔닝 처리를 위한 선택 )

데이터 형식

- 필요한 열 세부 정보 입력

열 세부 정보 입력

- 속도 개선을 위한 파티셔닝 열 정보 입력

파티션 열 입력

- 위의 항목을 다 입력하면 하단에 테이블 쿼리 미리 보기 스크립트가 생성됩니다. 

테이블 생성 쿼리

- 하단에 테이블 생성 버튼을 클릭하면 쿼리가 실행되고 테이블 및 데이터베이스가 생성 됩니다.

테이블 생성 완료

 

이상으로 AWS Athena 데이터베이스 생성 및 테이블 생성을 정리해 보았습니다.