목차

문제 상황

• 성능을 테스트 하던 중, 처리량과 Latency가 매우 낮은 API들에 대해 분석 및 개선 진행

테스트 환경

• 부하 테스트 도구 : nGrinder
  • vUser : 300
    • Agent 2대
  • 5분간 부하 유발
• 목표 수치
  • TPS : 500 이상
  • Latency : 1초 미만

시도해본 것

메서드 단위 별로 @Transactional 로 묶어주기

• 기존에는 모두 분리된 트랜잭션을 사용했다 (트랜잭션을 짧게 가져가보기 위함)
• 일부 API는 이걸로 개선이 되었으나, 처리량과 Latency가 매우 낮은 API들은 개선이 되지 않았다.
• 개선이 된 이유는 뭘까?
  • Network I/O 횟수가 감소했다는 것이 가장 큰 이유일 것 같다.
  • 추가로, 트랜잭션을 걸게되면, 시작할 때마다 트랜잭션 매니저를 할당하고, 커넥션을 얻는 작업 등의 오버헤드가 있기 때문인 것 같다. 트랜잭션을 작게 쪼개면서 그러한 오버헤드가 과하게 발생되었었던 것이고, 이를 작업 단위로 트랜잭션을 묶음으로써 오버헤드가 감소되며 어느정도 개선이 된 것 같다.
    • 커넥션을 얻고, 디비에 연결하고, 커넥션을 내려놓는 작업도 오버헤드가 있을 것이다
    • 일련의 작업들은 트랜잭션으로 묶어서 처리하는게 나을수도 있을 것 같다
  • 더 나아가, DB 자체의 커넥션 풀도 제한적이기 때문이었을 것 같다. 트랜잭션을 단위로 묶으면 단위 당 하나의 커넥션만 요구하지만, 트랜잭션이 잘게 나뉘면 트랜잭션 당 커넥션을 요구하게 된다. DB 자체 커넥션 풀도 제한이 있으므로 더 많은 부하를 유발하여 느려졌을 수도 있을 것 같다.

특정 커넥션 풀에만 PendingThread가 과하게 몰리는 현상이 발생함을 확인

• 해당 스레드 풀을 사용하는 메서드에는 카페인 캐시가 적용된 상황인데도 불구하고 Connection 경쟁이 발생하였다. 이는 캐시를 타지 못한다는 것 같은데… 캐싱이 되지 않고 있는것 아닐까?
• 해결

  • 문제점 : 캐싱이 적용된 메서드를 트랜잭션이 걸린 메서드에서 호출함

    public class TxClass {
    		@Transactional  // 트랜잭션이 시작되면서 커넥션을 획득 (불필요한 작업)
    		public Object txMethod() {  
    				/* 작업 수행 */
    				return cacheMethod();
    		}
    }
    
    public class CacheClass {
    		@Cacheable
    		public Object cacheMethod() {
    				/* 작업 수행 */
    				return obj;
    		}
    }
    

  • 해결 : txMethod()에 트랜잭션이 걸릴 이유가 없어 cacheMethod()쪽으로 트랜잭션을 이동

    • 이로 인해 ConnectionPool 경합은 감소하였으나, 별다른 성능 개선 효과는 볼 수 없었다.

AOP를 이용한 병목지점 탐색

@Slf4j
@Aspect
@Component
public class TimeTraceAop {
    @Around("within(com.mrblue.home.*..*) && !this(com.mrblue.home.common.EnvironmentRepository)")
    public Object timeLog(ProceedingJoinPoint joinPoint) throws Throwable {
        long start = System.currentTimeMillis();
        log.info("START: %s".formatted(joinPoint));
        try {
            return joinPoint.proceed();
        } finally {
            long finish = System.currentTimeMillis();
            long timeMs = finish - start;
            log.info("END: %s %dms".formatted(joinPoint, timeMs));
        }
    }
}