실전 스프링부트와 JPA 활용2 - API 개발과 성능 최적화 강의 정리

• JPA에서 DTO로 바로 조회
  • 일반적인 SQL을 사용할 때 처럼 원하는 값을 선택해서 조회
  • new 명령어를 사용해서 JPQL의 결과를 DTO로 즉시 변환
  • SELECT 절에서 원하는 데이터를 직접 선택하므로 DB -> 애플리케이션 네트웤 용량 최적화(생각보다 미비)
  • 리포지토리 재사용성 떨어짐, API 스펙에 맞춘 코드가 리포지토리에 들어가는 단점.

정리

* 엔티티를  DTO로 변환 하거나 DTO로 바로 조회하는 두가지 방법은 각각 장단점이 있다. 둘중 상황에 따라서 더 나은 방법을 선택하면된다. <br>
엔티티로 조회하면 리포지토리 재사용성도 좋고, 개발도 단순해진다. 따라서 권장하는 방법은 다음과 같다.

쿼리 방식 선택 권장 순서

• 우선 엔티티를 DTO로 변환하는 방법을 선택
• 필요하면 패치 조인으로 성능을 최적화 한다. -> 대부분의 이슈가 해결된다.
• 그래도 안되면 DTO로 직접 조회하는 방법을 사용한다.
• 최후의 방법은 JPA가 제공하는 네이티브 SQL이나 스프링 JDBC Template을 사용해서 SQL을 직접 사용한다.

Collection Fetch Join

• 패치 조인으로 SQL 실행 횟수를 줄일 수 있다.
• distinct 를 사용한 이유는 1 대 다 조인으로 인한 데이터 베이스 ROW가 증가 하므로 그 결과 엔티티의 조회수도 증가 하게 된다.
  JPA 의 distinct는 SQL에 distinct를 추가하고 더해서 같은 엔티티가 조회될 시 애플리케이션에서 중복을 걸러준다.
• 단점
  • 페이징 불가능
  • 컬렉션 패치 조인을 사용하면 페이징이 불가능하다. 하이버네이트는 경고 로그를 남기면서 모든 데이터를 DB에서 읽어 오고, 메모리에서 페이징 해버린다. (매우 위험하다).
    자세한 내용은 자바 ORM 표쥰 JPA 프로그래밍의 패치 조인 부분을 참고하자.
  • 컬렉션 패치 조인은 1개만 사용할 수 있다. 컬렉션 둘 이상에 패치 조인을 사용하면 안된다. 데이터가 부정합하게 조회될 수 있다. 자세한 내용은 자바 ORM 표준 JPA 프로그래밍을 참고하자.

페이징과 한계 돌파

• 컬렉션을 패치 조인 하면 페이징이 불가능하다.
  • 컬렉션을 패치 조인하면 일대다 조인이 발생하므로 데이터가 예측할 수 없이 증가한다.
  • 일대다에서 일을 기준으로 페이징을 하는것이 목적이다. 그런데 데이터는 다(N)을 기준으로 row가 생성된다.
  • Order를 기준으로 페이징을 하고 싶은데, 다(N)인 OrderItem을 조인하면 OrderItem이 기준이 되어 버린다.
• 이 경우 하이버네이트는 경고 로그를 남기고 모든 DB데이터를 읽어서 메모리에서 페이징을 시도한다.
• 한계 돌파
  • 먼저 XToOne(OneToOnem ManyToOne)관계를 모두 패치조인한다. ToOne관계는 row수를 증가시키지 않으므로 페이징 쿼리에 영향을 주지 않든다.
  • 컬렉션은 지연 로딩으로 조회한다.
  • 지연 로딩 성능 최적화를 위해 hibernate.default_batch_fetch_size, @BatchSize를 적용한다.
    • hibernate.default_batch_fetch_size : 글로벌 설정
    • @BatchSize : 개별 최적화
    • 이 옵션을 사용하면 컬렉션이나 프록시 객체를 한꺼번에 설정한 size만큼 IN 쿼리로 조회한다.
    • 개별로 설정하려면 @BatchSize를 적용하면 된다. (컬렉션은 컬렉션 필드에, 엔티티는 엔티티 클래스에 적용)
  • 장점
    • 쿼리 호출 수가 1+ N -> 1 + 1로 최적화 된다.
    • 조인보다 DB 데이터 전송량이 최적화 된다. (Order 와 OrderItem을 조인하면 Order가 OrderItem만큼 중복해서 조회된다.)
    • 패치 조인 방식과 비교해서 쿼리 호출 수가 약간 증가하지만 DB 데이터 전송량이 감소한다.
    • 컬렉션 채피 조인은 페이징이 불가능하지만 이 방법은 페이징이 가능하다.
  • 결론
    • ToOne관계는 패치 조인해도 페이징에 영향을 주지 않는다. 따라서 ToOne관계는 패치조인으로 쿼리 수를 줄이고 해결하고, 나머지는 hibernate.default_batch_fetch_size로 최적화 하자.
  • 참고
    • default_batch_fetch_size는 적당한 크기를 골라야 한다. (100 ~ 1000)

JPA에서 DTO 직접 조회

• Query : 루트 1번, 컬렉션 N번 조회
• ToOne(N : 1, 1:1) 관계들은 먼저 조회 하고, ToMany(1:N) 관계는 각각 별도로 처리한다.
  • 이런 방식을 선택한 이유는 다음과 같다.
  • ToOne 관계는 조인해도 데이터 ROW 수가 증가하지 않는다.
  • ToMany(1:N) 관계는 조인하면 Row수가 증가한다.
• Row 수가 증가하지 않는 ToOne관계는 조인으로 최적화 하기 쉬우므로 한번에 조회하고, ToMany관계는 최적화 하기 어려우므로 FINDORDERITEMS 같은 별도의 베서드로 조회한다.

JPA에서 DTO 직접 조회 - 컬렉션 조회 최적화

• Query : 루트 1번, 컬렉션 1번
• ToOne 관계들을 먼저 조회하고, 여기서 얻은 식별자 orderId로 ToMany관계인 OrderItem을 한꺼번에 조회
• MAP을 사용해서 매칭 성능 향상(O(1))

JPA에서 DTO로 직접 조회, 플랫 데이터 최적화

• Query : 1번
• 단점
  • 쿼리는 한번이지만 조인으로 인해 DB에서 애플리케이션에 전달하는 데이터가 중복 데이터가 주가되므로 상황에 따라 V5보다 더 느릴수 있다,
  • 애플리케이션에서 추가 작업이 크다.
  • 페이징 불가능

API 개발 정리

• 엔티티 조회

  • 엔티티를 조회해서 그대로 반환 : V1
  • 엔티티 조회 후 DTO로 변환 : V2
  • 페치 조인으로 쿼리 수 최적화 : V3
  • 컬렉션 페이징과 한계 돌파 : V3.1
    • 컬렉션은 페치 조인 시 페이징이 불가능
    • ToOne 관계는 페치 조인으로 쿼리 수 최적화
    • 컬렉션은 페치 조인 대신에 지연 로딩을 유지하고,. hibernate.default_batch_fetch_size, @BatchSize로 최적화

• DTO 직접 조회

  • JPA에서 DTO를 직접 조회 : V4
  • 컬렉션 조회 최적화 - 일대다 관계인 컬렉션은 IN절을 활용해서 메모리에 미리 조회해서 최적화 : V5
  • 플랫 데이터 최적화 - JOIN 결과를 그대로 조회 후 애플리케이션에서 원하는 모양으로 직접 변환 : V6

• 퀀장 순서

  1. 엔티티 조회 방식으로 우선 접근
     1. 페치조인으로 쿼리 수를 최적화
     2. 컬렉션 최적화
        1. 페이징 필요 hibernate.default_batch_fetch_size , @BatchSize로 죄적화
        2. 페이징 필요 X -> 페치 조인 사용
  2. 엔티티 조회 방식으로 해결이 안되면 DTO 조회 방식 사용
  3. DTO 조회 방식으로 해결이 안되면 NativeSQL or 스프링 JdbcTempalte
  • 참고: 엔티티 조회 방식은 페치 조인이나, hibernate.default_batch_fetch_size, @BatchSize같이 코드를 거의 수정하지 않고.
    옵션만 약간 변경해서, 다양한 성능 최적화를 시도할 수 있다. 반면에 DTO를 직접 조회하는 방식은 성능을 최적화 하거나 성능 최적화 방식을 변경할 때 많은 코드를 변경해야 한다.

• DTO 조회 방식의 선택지

  • DTO로 조회하는 방법도 각각 장단이 있다. V4, V5, V6에서 단순하게 쿼리가 1번 실행된다고 V6가 항상 좋은 방법은 아니다.
  • V4는 코드가 단순하다. 특정 주분 한건만 조회하면 이 방식을 사용해도 성능이 잘 나온다. 예를 들어서 조회한 Order 데이터가 1건이면 OrdetItem을 찾기 위한 쿼리도 1번만 실행하면 된다.
  • V5는 코드가 복잡,여러 주문을 한꺼먼에 조회하는 경우엔 V4대신에 이것을 화적화한 V5방식을 사용해야 한다.
    예를 들어서 조회한 Order데이터가 1000건인데 V4방식을 그대로 사용하면 쿼리가 총 1+ 1000번 실행된다. 여기서 1은 Order를 조회한 쿼리고 1000은 조회한Order의 row수다.
    v5방식으로 최적화 하면 쿼리가 총 1 + 1번만 실행된다. 상황에 따라 다르겠지만 운영 환경에서 100배 이상의 성능 차이가 날 수 있따.
  • V6는 완전히 다른 접근 방식이다. 쿼리 한번으로 최적화 되어서 상당히 좋아 보이지만, Order를 기준으로 페이징이 불가능하다. 실무에서는 이정도 데이터면 수백이나 수천건 단위로 페이징 처리가 꼭 필요하므로
    이 경우 선택하기는 어려운 방식이다. 그리고 데이터가 많으면 중복 전송이 증가해서 V5와 비교해서 성능차이도 미비하다.

OSIV와 성능 최적화

• Open Session In View : hibernate
• Open EntityManager In View : JPA
• OSIV On
  • osiv 옵션은 기본적으로 켜져 있으며 요청이 들어오면 View 또는 Controller 단에서 요청을 리턴 할때까지 영속성 컨텍스트 와 데이터 베이스 커넥션이 살아있는 옵션이다.
  • View Template까지 API 컨트롤러에서의 지연로딩이 가능하다.
  • 지연로딩은 영속성 컨텍스트가 살아있어야 하며 영속성 컨텍스트는 기본적으로 데이터베이스 커넥션을 유지한다. 이것이 장점이다.
  • 단점으로는 데이터베이스 커넥션을 오래 유지하기 때문에 실시간 트래픽이 중요한 애플리케이션에서는 커넥션이 부족할 수 있다.
• OSIV Off
  • osiv를 끄면 트랜잭션을 종료할때 영속성 컨텍스트를 닫고 데이터 베이스 커넥션도 반환한다. 따라서 커넥션 리소스를 낭비하지 않는다,.
  • osiv를 끄면 모든 지연로딩을 트랜잭션 안에서 처리해야한다. view template에서는 지연로딩이 동작하지 않는다.
• 커멘드와 쿼리 분리
  • 실무에선 osiv를 끈 상태로 복잡성을 관리하는 방법이 있다. command와 query를 분리하는 것이다.
  • 보통 비즈니스 로직은 특정 엔티티 몇개를 등록하거나 수정하는 것이므로 성능이 크게 문제되지 않지만 복잡한 화면을 위한 쿼리는 화면에 맞추어 성능을 최적화 하는것이 중요하다.
  • 크고 복잡한 애플리케이션을 개발한다면, 이 둘의 관심사를 분리하는것이 좋다.
  • OrderService
    • OrderService : 핵심 비즈니스 로직
    • OrderQueryService : 화면이나 API에 맞춘 서비스 (주로 Readonly 트랜잭션 사용)

스프링 데이터 JPA

• 스프링 데이터 JPA는 JpaRepositoy라는 인터페이스를 제공, 기본적인 CRUD 기능이 모두 제공
• findByName 과 같은 일반화 하기 어려운 기능도 메서드 이름으로 정확한 JPQL쿼리를 실행한다.
• 스프링 데이터 JPA는 JPA를 사용해서 이런 기능을 제공하지만 JPA 자체를 잘 이해하는것이 중요하다.

QueryDSL 소개

• 직관적인 문법
• 컴파일 시점에 빠른 문법 오류 발견
• 코드 자동완성
• 코드 재사용
• JPQL new 명령어와 비교안될정도로 깔끔한 DTO 조회를 지원
• QueryDsl 은 JPQL을 코드로 만드는 빌더 역할을 할뿐이다. 따라서 JPQL을 잘 이해하면 금방 배울 수 있다.