[혼공머신] 04-2 확률적 경사 하강법 질문드립니다

[정유환]

안녕하세요! 

04-2 확률적 경사 하강법 공부하다 궁금한게 있어 질문드립니다~

이 CHAPTER의 실사례에서 발생한 문제는 ' 앞서 훈련한 모델을 버리지 않고 새로운 데이터에 대해서만 조금씩 더 훈련할 수 있는지'에 대한 문제였고, 이에대한 해결방법으로 확률적 경사하강법을 사용하는 것으로 보았습니다

 확률적 경사하강법은 전체 데이터 중 소수의 데이터를 랜덤으로 추출하여 학습하고, 이를 반복하는 알고리즘으로 이해했습니다.

 근데 이부분에서 여기서 잘 이해가 안가는게, '새로운 데이터가 쌓일수록 데이터셋의 크기가 너무 커져,  이 데이터들을 모두 학습하는데 힘이 들기 때문에, 확률적 경사하강법을 이용하여 새로운데이터만 추가적으로 학습한다. '로 이해를 했습니다.

그런데 공부를하다보니 확률적 경사하강법은 이게 아니라 '기존의 데이터에 새로운 데이터를 추가하고 -> 이 전체를 확률적 경사하강법으로 학습한다. '로 설명이 되어있는거 같은데.. 

그러면 따지고 보면 결국 이 방법도 전체 데이터셋으로 학습해야하기 때문에 위에 생긴 문제와 동일하게, 데이터가 쌓일수록 많은 시간과 비용이 드는게 동일한거 아닌가요? 

  이 부분이 이해가 잘안되니 이번 알고리즘은 공부하기도 어려웠었습니다 ㅜㅜ 답변 해주시면 감사하겠습니다 !!

[Haesun Park]

안녕하세요. 박해선입니다.

확률적 경사 하강법을 사용해서 새로 추가된 데이터만 사용할지 기존 데이터에 합쳐서 사용할지는 문제에 따라 다릅니다.

후자의 경우 반드시 전체 데이터를 사용해야 한다는 것은 아닙니다.

새로운 데이터를 기존 데이터에 추가하고 랜덤하게 훈련 세트를 새로 만들어 모델을 훈련할 수 있습니다.

감사합니다!

2023년 9월 19일 (화) 오후 4:31, 정유환 <dbgh...@gmail.com>님이 작성:

--
이 메일은 Google 그룹스 '머신러닝/딥러닝 도서 Q&A' 그룹에 가입한 분들에게 전송되는 메시지입니다.
이 그룹에서 탈퇴하고 더 이상 이메일을 받지 않으려면 ml-dl-book-qn...@googlegroups.com에 이메일을 보내세요.
웹에서 이 토론을 보려면 https://groups.google.com/d/msgid/ml-dl-book-qna/865968bc-0431-4db7-a195-529e36e276aan%40googlegroups.com을(를) 방문하세요.