| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | |||
| 5 | 6 | 7 | 8 | 9 | 10 | 11 |
| 12 | 13 | 14 | 15 | 16 | 17 | 18 |
| 19 | 20 | 21 | 22 | 23 | 24 | 25 |
| 26 | 27 | 28 | 29 | 30 | 31 |
- jQuery
- Java
- intellij
- AWS
- 아이비시트
- Git
- 자바
- aws lambda
- 인텔리J
- 환경 구성
- db
- 카이호스트만
- JavaScript
- 환경구성
- naver smartEditor
- #jQuery
- java8
- aws S3
- ibsheet
- function
- 자바스크립트
- s3
- Log
- athena
- AWS Glue
- AWS Athena
- 로그 데이터
- 자바8
- Study
- AWS SQS
- Today
- Total
목록개발 (2)
애매한 잡학사전
AWS를 이용한 대용량 Log 데이터 처리하기 시행착오 정리
1. 개요 - 상황 1) 사용자가 Web에서 클릭한 모든 기능에 대해 데이터베이스에 저장 2) 하루 평균 40만 ~ 50만 건의 데이터가 저장 3) 현재까지 약 4억 건의 데이터가 저장 되어 있음 4) DBMS에서 쿼리 실행 시 Web 사용자가 많을 경우 DB lock 현상이 발생 5) 운영 DB와 Data log 데이블이 한 서버에 있어서 log 데이터 조회 시 DB 커넥션 증가 : 위 상황으로 인해 log data를 효율적으로 활용할 수 있게 새로운 시스템으로 이관이 필요해 진행 하였고 히스토리를 정리하려고 합니다. 2. 환경 - 데이터베이스 : MS-SQL - 개발언어 : JAVA - 도입 시스템 : AWS S3, AWS Athena, AWS Lambda, AWS SQS, AWS Glue, Java..
개발(로컬) PC에 REDIS 테스트 환경 세팅
- 2022년 6월 27일 Redis for windows 는 공식적으로 지원하지 않기 때문에 개발pc에서 테스트를 하고 싶을 경우 Microsoft Store에서 Ubuntu 22.04 LTS 를 설치해서 사용할 수 있습니다. - 공식 홈페이지 Redis Redis is an open source (BSD licensed), in-memory data structure store, used as a database, cache, and message broker redis.io - 설치 명령어 curl -fsSL https://packages.redis.io/gpg | sudo gpg --dearmor -o /usr/share/keyrings/redis-archive-keyring.gpg echo "d..