2.5.0 설치후 모니터링시 gc 후에도 지속적으로 heap 사이즈가 Xmx설정 근처까지 올라가다가 톰캣 행이 걸립니다.

[babi...@gmail.com]

안녕하세요 최근에 스카우터를 접한 사람입니다.

우선 이런 훌륭한 도구를 배포해 주셔서 감사합니다.

그런데 테스트 도중에 힙 사이즈가 gc 후에도 조금씩 전고점이 계속 증가하다가 2~3시간에 한번씩 Xmx설정 값까지 올라가다가 톰캣 행이 걸립니다.

* 에이전트 환경

- centos6.X

- 톰캣 6.0.43

- jre1.6.0_43

* 서버 환경 

- centos6.X

- jdk1.8.0_191

테스트 서버에서 톰캣에 스카우터 에이전트를 셋팅하지 않고 톰캣에 아무런 동작을 하지 않으니까 heap변화가 없습니다.

jstat -gc PID값 2000 | awk '{split($0,a," "); sum=a[3]+a[4]+a[6]+a[8]; print sum " Kb"}'

톰캣에 스카우터 에이전트를 셋팅하고 톰캣에 아무런 동작도 하지 않았는데 heap이 계속 증가합니다.

gc후애 조금씩 떨어지기는 하지만 전고점이 계속 올라서 수시간 내에 Xmx 설정 값 까지 올라갑니다.

톰캣 힙 덤프를 떠보면 스카우터가 97프로를 점유하는 걸로 나오고 있습니다.

메모리 릭인 것인지? 정상 동작인데 제가 모르는 것이 있는지 궁금합니다.

힙덤프 경로 입니다.. http://naver.me/GNoeBfZE

다시 한번 이런 좋은 도구를 만들어 주신 것에 감사 드립니다.

[babi...@gmail.com]

필요하신 정보가 있으면 말씀해 주시면 올려 드리겠습니다.

[Gunhee Lee]

일단 jmx_counter_enabled=false를 적용해보세요.
특정 was환경에서 문제가 리포팅된 적이 있습니다.

[babi...@gmail.com]

중간에 크게 한번 떨어졌을때는 톰캣 재기동 시켰을때입니다. 

jmx_counter_enabled=false 옵션을 적용해도 동일한 결과가 나옵니다. 

한번 떨어지기전이 옵션 적용전이고 옵션 적용 이후에도 1시간 정도 사용하면 heap이 맥스치까지 올라가네요.

스카우터를 사용하지 않았을때는 거의 heap 변화가 일어나지 않습니다.

힙 덤프를 떠보면 아래와 같이 ClassPathList에서 힙의 메모리를 다 먹고 있습니다.

One instance of "scouter.javassist.ClassPool" loaded by "<system class loader>" occupies 497,250,064 (97.47%) bytes. The memory is accumulated in one instance of "scouter.javassist.ClassPathList" loaded by "<system class loader>".

좀더 해 볼수 있는게 있을까요?

[Gunhee Lee]

2.5에 javassist 버전이 올라갔는데 관련해서 발생하는 문제일듯합니다.
만약 java8 이하버전이라면 탑재한 javassist를 그버전으로 다시 빌드해드릴수 있을듯한데 금주 주말전에는 개인적 사정으로 작업이 어려울듯 합니다.
워크어라운드로 script plugin 을 사용하지 않으신다면 해당 파일을 전부 삭제하시면 아마 해결될듯합니다.
혹시 해당 설정을 끄는 옵션이 있다면 꺼보시고요. 지금 확인이안되서..

[Gunhee Lee]

아마 해당 javassist가 java 1.8 미만에서 문제가 있을듯합니다.

[babi...@gmail.com]

네. 저도 바빠서 확인 못하다가 이제서야 확인했습니다.

1.8 이상으로 올려서 테스트 해보겠습니다.