[Do it! 딥러닝 입문] 무작위 가중치 초기화

[Chan Yong Lee]

저자님 안녕하세요,

먼저 딥러닝에 입문하기에 정말 좋은 책을 써주셔서 감사합니다.

많은 도움을 받고 있습니다.

책 187페이지에서 무작위 가중치 초기화를 소개하시면서 186페이지에 나온 손실 그래프를 가리키며, "아마도 손실 함수가 감소하는 방향을 올바르게 찾는 데 시간이 많이 소요된 것 같습니다"라고 말씀 하셨는데, 혹시 이 설명을 시각화해주는 예시가 있을까요?

그리고 이 말은 무작위로 가중치를 초기화 시켰을 때에는 손실함수가 감소하는 방향을 올바르게 찾는데 시간이 덜 소요된다는 뜻인것 같은데, 이것을 시각화 해주는 예시도 있을까요?

만약 두 현상을 시각화 해주는 예시가 없다면 조금더 자세히 설명만 해주셔도 매우 감사하겠습니다.

[Haesun Park]

안녕하세요. 박해선입니다.

책이 도움이 된다니 기쁘네요. :)

p125에서와 같이 가중치 변화를 그래프로 그려보면 어떨까요?

가중치를 1로 초기화한 경우와 랜덤한 작은 값으로 초기화한 경우가

왠지 다르게 나올 것 같습니다(제가 그려 본 적은 없지만..). 

감사합니다!

2022년 2월 5일 (토) 오전 6:46, Chan Yong Lee <chant...@gmail.com>님이 작성:

--
이 메일은 Google 그룹스 '머신러닝/딥러닝 도서 Q&A' 그룹에 가입한 분들에게 전송되는 메시지입니다.
이 그룹에서 탈퇴하고 더 이상 이메일을 받지 않으려면 ml-dl-book-qn...@googlegroups.com에 이메일을 보내세요.
웹에서 이 토론을 보려면 https://groups.google.com/d/msgid/ml-dl-book-qna/bf2a5017-7038-4a42-980f-3762d17503b4n%40googlegroups.com을(를) 방문하세요.