DEV/AWS
로그 데이터 처리를 위한 AWS Glue 환경 구성
거대한 개발자
2022. 6. 27. 16:16
반응형
1. AWS Glue Crawler 추가
- 클롤러 추가 버튼 클릭 합니다.
- 크롤러 이름을 입력 후 다음을 버튼 클릭합니다.
- 크롤러 소스 타입
: 이미 테이블을 생성했기 때문에 Existing catalog tables 선택 후 다음 버튼 클릭
- Catalog table 추가
: AWS Athena 용으로 생성한 S3 선택 후 다음 버튼 클릭
- IAM 역할 선택
: 적당한 이름 입력 후 다음 버튼을 클릭합니다.
- 크롤러 일정 생성
: 일단은 테스트용이기 때문에 온디맨드로 설정하고 다음 버튼을 클릭합니다.
: 추후 필요하다면 수정할 수 있습니다.
- 크롤러 출력 구성
: 디폴트로 그냥 놔두고 다음 버튼을 클릭합니다.
- 크롤러 정보 확인
: 입력한 크롤러 정보가 맞는지 확인 후 마침 버튼을 클릭합니다.
- 생성 완료
: 생성한 크롤러가 정상적으로 추가되었습니다.
- 이상으로 크롤러 생성을 정리해 보았습니다.