목록aws S3 (6)

애매한 잡학사전

AWS S3 파일 업로드에 Dependency Injection 적용

아래 링크의 로그 데이터 처리하기에서 S3에 로그 파일을 업로드하는 배치 프로그램을 개발했었는데 비슷한 로그 파일 및 통계 프로그램들이 늘어서 비슷한 배치 프로그램도 계속 추가되어야 하는 상황이 발생하였습니다. 그래서 고민하다 DI 적용으로 코어 로직은 그대로 두고 옵션 형태로 조건만 변경해서 동작하는 방식으로 리팩터링을 진행하여 정리하고자 합니다. AWS Athena, Glue, S3 활용으로 로그 데이터 처리하기 with Batch 1. Flow - Batch 프로그램으로 별도의 시스템을 사용하지 않고 바로 S3로 데이터를 저장하는 프로세스 2. 환경 세팅 - 내용이 너무 많아 별도로 정리 하였습니다. 각 링크를 참고하시면 되겠습 dev-gabriel.tistory.com 순서는 다음과 같습니다. 1..
DEV/AWS 2022. 10. 20. 14:22
AWS Athena, Glue, S3 활용으로 로그 데이터 처리하기 with Batch

1. Flow - Batch 프로그램으로 별도의 시스템을 사용하지 않고 바로 S3로 데이터를 저장하는 프로세스 2. 환경 세팅 - 내용이 너무 많아 별도로 정리 하였습니다. 각 링크를 참고하시면 되겠습니다. 2-1. Batch - 일반 Java application (maven) 프로젝트 생성 2-2. AWS S3 로그 데이터 처리를 위한 AWS S3 환경 구성 - 버킷 생성 : 버킷 이름 작성 후 나머지 옵션들은 그냥 기본으로 놓고 스크롤 제일 하단으로 내린 후 버킷 만들기 버튼 선택 dev-gabriel.tistory.com 2-3. AWS Glue 로그 데이터 처리를 위한 AWS Glue 환경 구성 1. AWS Glue Crawler 추가 - 클롤러 추가 버튼 클릭 합니다. - 크롤러 이름을 입력 ..
DEV/AWS 2022. 6. 28. 17:00
AWS Athena, Glue, S3 활용으로 로그 데이터 처리하기 with Batch, AWS Lambda, AWS SQS

1. Flow - Batch, AWS SQS, AWS Lambda 사용 2. 환경 구성 - 내용이 너무 많아 별도로 정리 하였습니다. 각 링크를 참고하시면 되겠습니다. 2-1. Batch - 일반 Java application (maven) 프로젝트 생성 2-2. AWS SQS 로그 데이터 처리를 위한 AWS SQS 환경 구성 1. 대기열 생성 - AWS 콘솔 접속 후 AWS SQS 페이지로 이동 - 대기열 생성 버튼 클릭 - 대기열 세부 정보 입력 - 구성 정보 입력 (default 유지, 필요시 수정) - 액세스 정책 선택 (default 유지) - 대기열.. dev-gabriel.tistory.com 2-3. AWS Lambda 로그 데이터 처리를 위한 AWS Lambda 환경 구성 1. 람다 함수..
DEV/AWS 2022. 6. 28. 15:33
AWS Athena, Glue, S3 활용으로 로그 데이터 처리하기 with AWS Lambda, AWS SQS

1. Flow - AWS SQS, AWS Lambda 사용 2. 환경 세팅 - 내용이 너무 많아 별도로 정리 하였습니다. 각 링크를 참고하시면 되겠습니다. 2-1. AWS SQS 로그 데이터 처리를 위한 AWS SQS 환경 구성 1. 대기열 생성 - AWS 콘솔 접속 후 AWS SQS 페이지로 이동 - 대기열 생성 버튼 클릭 - 대기열 세부 정보 입력 - 구성 정보 입력 (default 유지, 필요시 수정) - 액세스 정책 선택 (default 유지) - 대기열.. dev-gabriel.tistory.com 2-2. AWS LAMBDA 로그 데이터 처리를 위한 AWS Lambda 환경 구성 1. 람다 함수 생성 - AWS 콘솔 접속, lambda 검색 후 서비스 선택 - 왼쪽 메뉴에서 함수 선택 후 오른..
DEV/AWS 2022. 6. 28. 14:06
AWS Athena, Glue, S3 활용으로 로그 데이터 처리하기 with REDIS

1. Flow - Redis, Batch 프로그램 사용 2. 환경 세팅 - 내용이 너무 거대해지는 것 같아서 별도로 정리하였습니다. 각 링크를 참고하시면 되겠습니다. 2-1. Redis 개발(로컬) PC에 REDIS 테스트 환경 세팅 - 2022년 6월 27일 Redis for windows 는 공식적으로 지원하지 않기 때문에 개발pc에서 테스트를 하고 싶을 경우 Microsoft Store에서 Ubuntu 22.04 LTS 를 설치해서 사용할 수 있습니다. - 공식 홈페이지 Redis R.. dev-gabriel.tistory.com 2-2. AWS S3 로그 데이터 처리를 위한 AWS S3 환경 구성 - 버킷 생성 : 버킷 이름 작성 후 나머지 옵션들은 그냥 기본으로 놓고 스크롤 제일 하단으로 내린 ..
DEV/AWS 2022. 6. 27. 17:46
로그 데이터 처리를 위한 AWS S3 환경 구성

- 버킷 생성 : 버킷 이름 작성 후 나머지 옵션들은 그냥 기본으로 놓고 스크롤 제일 하단으로 내린 후 버킷 만들기 버튼 선택
DEV/AWS 2022. 6. 27. 15:38
Prev 1 Next