로그 데이터 처리를 위한 AWS Glue 환경 구성

1. AWS Glue Crawler 추가

- 클롤러 추가 버튼 클릭 합니다.

크롤러 목록

- 크롤러 이름을 입력 후 다음을 버튼 클릭합니다.

크롤러 이름

- 크롤러 소스 타입

    : 이미 테이블을 생성했기 때문에 Existing catalog tables 선택 후 다음 버튼 클릭

크롤러 소스 타입

- Catalog table 추가

    : AWS Athena 용으로 생성한 S3 선택 후 다음 버튼 클릭

카탈로그 테이블

- IAM 역할 선택

    : 적당한 이름 입력 후 다음 버튼을 클릭합니다.

IAM 역할

- 크롤러 일정 생성

    : 일단은 테스트용이기 때문에 온디맨드로 설정하고 다음 버튼을 클릭합니다.

    : 추후 필요하다면 수정할 수 있습니다.

크롤러 실행 일정 선택

- 크롤러 출력 구성

    : 디폴트로 그냥 놔두고 다음 버튼을 클릭합니다.

크롤러 출력 구성

- 크롤러 정보 확인

    : 입력한 크롤러 정보가 맞는지 확인 후 마침 버튼을 클릭합니다.

크롤러 정보 확인

- 생성 완료

    : 생성한 크롤러가 정상적으로 추가되었습니다.

크롤러 목록

 

- 이상으로 크롤러 생성을 정리해 보았습니다.