혼자공부하는 머신러닝 + 딥러닝 질문입니다.

[뷁뷁]

과소 과대 적합에 대한 질문입니다.

교안에서 훈련 세트에 대한 성능이 약 0.97, 테스트 세트에 대한 성능이 약 0.977 인 경우에 대해 테스트 성능이 여전히 0.007 정도 높아 약간의 과소 적합이 남아 있다고 판단하였습니다. 

또한, 이전에 훈련 세트에 대한 성능이 약 0.93 , 테스트 세트에 대한 성능이 약 0.99 인 경우에 대해서도 테스트 성능이 더 높기 때문에 과소 적합이라 판한하였습니다. 

여기서 저의 첫번째 질문은, 0.007과 같이 미세한 차이로 테스트 성능이 높다면 그것도 개선의 여지가 필요한 과소적합이라 판단하는 것은 어떠한 이유인지 궁금합니다. 단지 교육을 위해 상대적으로 훈련 성능이 더 낮을 경우에 과소 적합임을 인지하게 하기 위함인지 진짜 저자님께서 판단하실 때 그렇게 판단하시는지 궁금합니다.

두번째 질문은, 0.99의 테스트 성능이면 굉장히 잘 일반화generalization 되었다고 판단해야할 것 같은데, 이와 같은 경우도 훈련 세트가 더 성능이 모자라기 때문에 과소 적합이라고 판단하셨습니다. 이에 대한 판단 기준도 궁금합니다. 일반화를 위해서 약간의 훈련 성능의 희생이 있어도 테스트 성능을 높히는 것도 어느정도 허용한다고 알고 있습니다. 사실 교안에서 나온 성능들은 대부분 0.90 이상의 성능을 내어 높은 수준의 성능을 내기도 하여, 단지 교육을 위한 설명인지 설명 부탁드립니다.

감사합니다.

[Haesun Park]

안녕하세요. 박해선입니다.

과대적합과 과소적합은 절대적인 기준이 없어 상대적으로 (그리고 개인적으로) 판단하게 됩니다.

문제에 따라서 0.9 이상이 좋은 성능일 수도 있고, 부족한 성능일 수도 있습니다.

책에서는 보편적인 기준에 대해 설명하려고 노력했습니다.

다양한 상황에 일률적으로 적용할 수 있는 기준을 제시하기 어려운 점 이해 부탁드립니다.

감사합니다!

2025년 12월 27일 (토) PM 1:40, 뷁뷁 <kangje...@gmail.com>님이 작성:

--
이 메일은 Google 그룹스 '머신러닝/딥러닝 도서 Q&A' 그룹에 가입한 분들에게 전송되는 메시지입니다.
이 그룹에서 탈퇴하고 더 이상 이메일을 받지 않으려면 ml-dl-book-qn...@googlegroups.com에 이메일을 보내세요.
이 토론을 보려면 https://groups.google.com/d/msgid/ml-dl-book-qna/f7eb56e8-5b7d-4ad6-ad40-8950a88af539n%40googlegroups.com 페이지로 이동하세요.