🧪 MVP2: 서버 최대 부하 찾기

테스트 계획

1. 원본 상태
2. 스트림 개선
3. 데이터베이스 커넥션 풀 개선
4. 벌크 사이즈 개선

테스트 환경

1. Read uncommited database mode
2. 복합 인덱스 2개
3. 50만개 데이터 insert
4. 5만개의 데이터, Lambda로 insert (warm up)
5. 10개의 인스턴스에서 vUser 50개로 무한 요청(100개 로그씩)

1. 원본상태

	최적화 전 톰캣(100 fixed)
최대 RPS	803
시작 시간	03:15
RPS 0시간	04:25
diff	1:10

최대 RPS가 803에서 1:10 초만에 서버 down

2. 스트림 개선

가설

• 요청 한번에 여러개의 스트림을 사용해서 검증과 변환을 한다
• 스트림은 일회용 객체를 생성하므로 GC가 될지라도 메모리 부하가 클것이다
• Controller Layer의 검증과, Service Layer의 검증이 중복됨

개선

• 스트림 사용을 반복문으로 변경
  • 불필요한 일회용 객체 생성 방지
• Contorller Layer의 중복 검증 젝

	stream 최적화 톰캣(100 fixed)
최대 RPS	967
시작 시간	55:13
RPS 0시간	56:01
diff	0:48

결과

48초만에 죽었지만 최대 처리율 803 → 967 되어서 데이터가 더 빨리 차서 죽었다

3-1.데이터베이스 커넥션 풀 개선

가설

• 데이터가 더 많아져서 OOM이 생겨 죽는다
• 데이터가 남지 않도록 빠르게 데이터베이스로 Flush를 해준다

개선

• 사용하지 않던 더 많은 connection을 사용할 수 있도록 개션
• 10개의 50%에서 80%로 증설

	stream + 톰캣 + 스레드풀 50%	stream + 톰캣 + 스레드풀 80%
최대 RPS	967	891
시작 시간	55:13	13:33
RPS 0시간	56:01	14:36
diff	0:48	1:03

결과

최대 처리율은 늘었는데, 역시 죽었다

3-1. 데이터베이스 커넥션 풀 개선

가설

• 더 빨리 많은 양의 데이터베이스로의 Flush 가 필요할것이다

개선

• connections pool 10 →20 (8 → 16)

	stream + 톰캣 + 스레드풀 80%	stream + 톰캣 + 스레드풀 80%+ 히카리 20
최대 RPS	891	1073
시작 시간	13:33	20:39
RPS 0시간	14:36	21:37
diff	1:03	58

결과

처리율은 늘었는데 역시 죽었다

4-1. 벌크 사이즈 개선

가설

• 데이터베이스로의 flush 하는 대역폭은 늘렸으니, 양을 늘려야한다
• bulk insert 사이즈를 늘리면 개선될 것이다

개선

• bulk size 100 → 1000

	stream + 톰캣 + 스레드풀 80% + 히카리 20	stream + 톰캣 + 스레드풀 80% + 히카리 20 + bulk size 1000
요청 수		40000
최대 RPS	1073	716
시작 시간	20:39	26:34
RPS 0시간	21:37	27:52(response time peak)
diff	58

결과

서버가 죽지는 않았으나 응답시간이 2초 이상 걸리는 문제가 생김

4-2. 벌크 사이즈 개선

가설

• 더 많은 양씩 flush해야한다

개선

• bulk size 1000 → 2000

	stream + 톰캣 + 스레드풀 80% + 히카리 20 + bulk size 1000	stream + 톰캣 + 스레드풀 80% + 히카리 20 + bulk size 2000
요청 수	40000	37167
최대 RPS	716	655
시작 시간	26:34	48:15
RPS 0시간	27:52(response time peak)	49:45

결론

개선점이 없다

→ 로직 점검

5. 로직 개선

사실상 로직에 문제가 있음을 확인

log를 flush 할 조건

1. queue.size() > defailtBulkSize
   • 큐의 사이즈가 flush해야 할 bullksize보다 크다
2. currentTime > lastflushTime + defaultTimeout
   • 마지말 flush 시간보다 timeout 시간이 지난다

기존 코드

void leaderTask(Consumer<List<Log>> saveFunction) {
    while (!Thread.currentThread().isInterrupted()) {
        try {
            final Log log = logQueue.poll(defaultTimeout, TimeUnit.MILLISECONDS);
            /*
             * Log가 천천히 들어오는 경우 Timeout에 한 번씩 저장
             *
             * Log가 높은 부하로 들어오는 경우 Bulk Size만큼 한 번에 저장
             *
             * Timeout동안 들어온 Log가 없는 경우 다음 반복문 cycle 수행
             */
            if (log == null) {
                continue;
            }
            List<Log> logs = new ArrayList<>();
            logs.add(log);
            //drainTo는 Queue에 있는 요소를 maxElements만큼 꺼내서 Collection에 담아준다.
            logQueue.drainTo(logs, defaultBulkSize - 1);
            // Follower Thread Pool에 저장 요청
            followerExecutor.execute(() -> saveFunction.accept(logs));

        } catch (InterruptedException e) {
            Thread.currentThread().interrupt();
            log.error("Leader thread was interrupted. Exiting.", e);
            break;
        } catch (Exception e) {
            log.error("Unexpected error in leader thread", e);
        }
    }
}    

logQueue.drainTo(logs, defaultBulkSize - 1); 에서 log가 하나라도 나오면 defaultBulkSize 만큼 다 차지 않더라도 모든 로그를 추출해서 flush를 한다.

void leaderTask(Consumer<List<Log>> saveFunction) {
    long lastFlushTime = System.currentTimeMillis();

    while (!Thread.currentThread().isInterrupted()) {
        try {
            int size = logQueue.size();

            // 현재 시간 확인
            long currentTime = System.currentTimeMillis();

            // 2초가 지났거나, 큐의 크기가 defaultBulkSize 이상인 경우 flush
            if ((currentTime - lastFlushTime > defaultTimeout) || size >= defaultBulkSize) {
                List<Log> logs = new ArrayList<>();

                // 로그를 최대 defaultBulkSize 개수만큼 큐에서 가져옴
                logQueue.drainTo(logs, defaultBulkSize);

                if (!logs.isEmpty()) {
                    followerExecutor.execute(() -> saveFunction.accept(logs));
                }
                lastFlushTime = currentTime;
            }
        } catch (Exception e) {
            log.error("Unexpected error in leader thread", e);
        }
    }
}

lastFlushTime 을 기록해서 조건을 명확하게 설정해서 제대로 로그가 쌓였을때 모든 데이터를 가져갈 수 있도록 변경했습니다.

6. 다시 테스트

150 TPS로 고정 안정화 됨을 확인