반응형
Notice
| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | |||
| 5 | 6 | 7 | 8 | 9 | 10 | 11 |
| 12 | 13 | 14 | 15 | 16 | 17 | 18 |
| 19 | 20 | 21 | 22 | 23 | 24 | 25 |
| 26 | 27 | 28 | 29 | 30 | 31 |
Tags
- Log
- AWS Athena
- naver smartEditor
- jQuery
- java8
- AWS SQS
- Git
- 자바
- 자바8
- AWS Glue
- aws S3
- 인텔리J
- Study
- 카이호스트만
- 자바스크립트
- aws lambda
- 로그 데이터
- AWS
- 아이비시트
- db
- 환경 구성
- intellij
- athena
- s3
- function
- Java
- 환경구성
- JavaScript
- ibsheet
- #jQuery
Archives
- Today
- Total
목록파티셔닝 (1)
애매한 잡학사전
AWS Athena, Glue, S3 활용으로 로그 데이터 처리하기 with Batch
1. Flow - Batch 프로그램으로 별도의 시스템을 사용하지 않고 바로 S3로 데이터를 저장하는 프로세스 2. 환경 세팅 - 내용이 너무 많아 별도로 정리 하였습니다. 각 링크를 참고하시면 되겠습니다. 2-1. Batch - 일반 Java application (maven) 프로젝트 생성 2-2. AWS S3 로그 데이터 처리를 위한 AWS S3 환경 구성 - 버킷 생성 : 버킷 이름 작성 후 나머지 옵션들은 그냥 기본으로 놓고 스크롤 제일 하단으로 내린 후 버킷 만들기 버튼 선택 dev-gabriel.tistory.com 2-3. AWS Glue 로그 데이터 처리를 위한 AWS Glue 환경 구성 1. AWS Glue Crawler 추가 - 클롤러 추가 버튼 클릭 합니다. - 크롤러 이름을 입력 ..
DEV/AWS
2022. 6. 28. 17:00