mybatis-spring 사용시 Executor.BATCH 모드의 update속도와 일반적인 트랜잭션사용시의 속도가 크게 차이가 나지 않습니다. 제가 무엇을 놓치고 있는걸까요?

[Unong Jung]

안녕하세요 

항상 도움을 받고 있는 부족한 개발자입니다. 

최근에 3000만건 가량의 데이터를 오라클에 update 혹은 insert 해야 하는 작업을 진행중입니다.

spring-batch를 사용하고 있고 mybatis는 mybatis-spring을 이용하여 디비연동을 하고 있습니다. 

(팀 내에서 mybatis 로 db연동하고 있어서 spring-batch에서 제공하는 jdbc템플릿을 사용치 않고 mybatis를 사용하고 있습니다 ^^;)

3000만건에 대해 update 혹은 insert 시도시 좀 잘게 잘라서 한번에 만건정도를 시도할때,

1. 아래와 같이 @Transactional 어노테이션으로 트랜잭션을 열고 한번의 트랜잭션 안에서 만건에 대해 일부는 update 일부는 insert 를 하는데 걸리는 시간과,

@Transactional

public void insertBatch(List upList) {
  for(item : itemList){
    mapper.insert(item);
  }
}

2. 아래와 같이 session을 받아와서 session을 통해 mapper를 가져와 flushStatements 해주고 commit 하는 방식으로 시도했을때 걸리는 시간이 비슷비슷합니다.

public void insertBatch(List upList) {
  SqlSession sqlSessionTemplate = sqlSessionFactory.openSession(ExecutorType.BATCH);
  mapper = sqlSessionTemplate.getMapper(Mapper.class);
  for(item : itemList){
    mapper.insert(item);
  }
  List<BatchResult> results = sqlSessionTemplate.flushStatements();
  sqlSessionTemplate.commit();
}

둘다 만건에 대해 약 10초~15초 정도 걸리는데.. 더 걸릴때도 있습니다.. 

어떤 부분을 살펴봐야 속도를 개선할 수 있을까요? ㅠㅠ 

선배님들의 조언을 꼭 듣고 싶습니다.

감사합니다. 

[전형민]

혹시 아래 부분에 insertBatch 를 호출하기 전에 transaction을 걸어 보셨나요..??

내용인 즉..

로그를 확인해 보시면 

insert 할때마다 db pool 에서 connection을 borrow 하고 return 을 반복하지 않던가요.??

------------------------------------
당신의 과거가 당신을 만든다.

2013년 4월 29일 오후 8:33, Unong Jung <yos...@gmail.com>님의 말:

--
Google 그룹스 'Korea Spring User Group' 그룹에 가입했으므로 본 메일이 전송되었습니다.
이 그룹에서 탈퇴하고 더 이상 이메일을 받지 않으려면 ksug+uns...@googlegroups.com에 이메일을 보내세요.
이 그룹에 게시하려면 ks...@googlegroups.com(으)로 이메일을 보내세요.
http://groups.google.com/group/ksug?hl=ko-KR에서 그룹을 방문하세요.
더 많은 옵션을 보려면 https://groups.google.com/groups/opt_out을(를) 방문하세요.
 
 

[이상용]

ExecutorType 은 batch로 하셨는지요?

2013년 4월 29일 오후 10:58, 전형민 <supe...@wellsoft.co.kr>님의 말:

--

[Unong Jung]

로그는 ibatis, mybatis, springframework.transaction 부분에 DEBUG 모드로 걸고 찍고 있지만 해당 로그는 찍히지 않고 있습니다.

단 한번 connection을 사용한다는 로그와 insert sql을 prepare 하는 로그만 찍힙니다.

트랜잭션을 쓰지 않고 배치모드로 세션을 여는 부분에 트랜잭션도 걸어보기도 했지만 차이는 없었습니다.. 

2013년 4월 29일 월요일 오후 10시 58분 35초 UTC+9, 전형민 님의 말:

[Unong Jung]

네 두번째 타입의 경우 sessionFactory 에서 executortype.BATCH로 session을 엽니다..

하지만 일반적인 방법으로 트랜잭션을 열고 만건을 인서트한 다음 커밋하고 닫는거랑 속도차이가 없네요.. 

2013년 4월 30일 화요일 오전 9시 32분 52초 UTC+9, GoodwillDD 님의 말:

[코바(이수홍)]

혹시 mybatis 설정 중에 보면 데이터 저장 하는 부분이 기본적으로 batch로 설정 해두는 부분이 있는데

그 부분 설정 해두신 적이 있는지 한번 확인해보세요. 

<configuration>

...

<settings>

...

<setting name="defaultExecutorType" value="BATCH" /> <!-- 이부분 옵션이 존재하면 기본적으로 BATCH를 탑니다. -->
....

</settings>

...

</configuration>
2013년 4월 29일 월요일 오후 8시 33분 55초 UTC+9, Unong Jung 님의 말:

[Unong Jung]

해당 설정은 없습니다 ^^;

현재 잠정적으로 트랜잭션을 열고 여러건을 insert 하고 닫는거랑.. 

배치타입으로 실행하는거랑 속도차이는 크게 없지 않나.. 하고 결론을 내린 상태입니다.

롤백이나.. 여러건 insert 한 후에 동작방식의 차이가 있지 않나.. 하는 생각입니다만 자세히는 모르겠네요.. 

2013년 5월 2일 목요일 오전 9시 11분 5초 UTC+9, 코바(이수홍) 님의 말: