[머신러닝교과서: 파이토치편] p.69 질문드립니다.

[최한별]

안녕하세요. 

초기 가중치가 0인 상황에서 결정 경계가 바뀌지 않는 상황에 대해서 질문드립니다.

교재에는 초기 가중치를 0으로 설정하면 학습률 eta가 결정 경계에 영향을 미치지 못하는, 즉 가중치 벡터의 업데이트를 통해 가중치 벡터의 방향을 변경할 수 없다고 서술되어 있습니다.

그래서 관련 참고자료들을 조금 찾아봤는데 다층 신경망에서 첫 번째의 출력값이 모두 0으로 출력되어 무의미한 신경망이 되는 것 때문에 0이나 전부 동일한 값으로 초기화 하면 안된다는 것은 이해했으나 퍼셉트론같은 단층 신경망에서의 설명이 잘 이해가 가지 않아 따로 질문드립니다.

퍼셉트론 알고리즘에서 초기 가중치가 0이므로 첫 번째 가중치 업데이트는 온전히 각 x(data)의 영향만 있을 것입니다. 그러면 각 x의 크기와 부호에 따라 eta가 충분히 크다면 다음 두 번째 업데이트때 가중치의 방향이 바뀔 수 있을 것이라고 생각했습니다.

이에 대해서 시간이 괜찮으시다면 답변을 요청드립니다.

책 항상 잘 읽고 있습니다.

감사합니다.

최한별 드림

[Haesun Park]

안녕하세요. 박해선입니다.

입력 x의 부호에 대한 가정이 없기 때문에 w의 부호가 바뀔 수 있을지 예상하긴 어려울 것 같아요.

여기서는 학습률이 w의 부호에 미치는 영향에 대해 언급하고 있어서 

입력 x의 부호를 같이 고려하지 않은 것 같습니다.

감사합니다! :)

2025년 2월 26일 (수) 오후 4:17, 최한별 <chb...@gmail.com>님이 작성:

--
이 메일은 Google 그룹스 '머신러닝/딥러닝 도서 Q&A' 그룹에 가입한 분들에게 전송되는 메시지입니다.
이 그룹에서 탈퇴하고 더 이상 이메일을 받지 않으려면 ml-dl-book-qn...@googlegroups.com에 이메일을 보내세요.
이 토론을 보려면 https://groups.google.com/d/msgid/ml-dl-book-qna/71a682ae-18f3-4bc6-b5ad-393193bb1012n%40googlegroups.com 페이지로 이동하세요.