[혼자공부하는 머신러닝+딥러닝] 질문입니다.

[기문배]

안녕하세요. Chapter8-3. 합성곱 신경망 시각화 부분 476 페이지에서 질문있습니다.

"마지막 필터"에 대해 설명해주실 때, 마지막 필터의 가중치가 전체적으로 낮은 음수 값이기 때문에, 필터와 큰 양수가 곱해지면 더 큰 음수가 되고, 배경처럼 0에 가까운 값과 곱해지면 작은 음수가 되기 때문에, 부츠의 배경이 상대적으로 크게 활성화 된다고 설명해주셨습니다.

그런데 ,429 페이지 설명("여기서 잠깐" 부분)에 의하면 이 특성 맵은 활성화함수를 적용한 값에 해당하고, 이 합성곱 층의 활성화 함수는 "relu"이기 때문에 0보다 작은 음수 값이 입력되면,  0이 출력되기 때문에 필터값이 전체적으로 음수이면 특성 맵에 나타나는 값은 대부분 0입니다. 

이 부분이 혼동되어 질문드립니다.

딥러닝 모델 형성과정에서의 무작위성으로 인해, 제 모델에서는 저런 특징이 나타나지 않았습니다.

감사합니다.

[Haesun Park]

안녕하세요. 박해선입니다.

어떤 부분이 혼동이 되신다는 것인지 자세히 언급하지 않으신 것 같습니다.

혹시 렐루 함수가 필터의 가중치를 0으로 만드는 것으로 혼돈하시는 것 아닌가 생각됩니다.

감사합니다.

2024년 2월 17일 (토) 오후 10:08, 기문배 <qorla...@gmail.com>님이 작성:

--
이 메일은 Google 그룹스 '머신러닝/딥러닝 도서 Q&A' 그룹에 가입한 분들에게 전송되는 메시지입니다.
이 그룹에서 탈퇴하고 더 이상 이메일을 받지 않으려면 ml-dl-book-qn...@googlegroups.com에 이메일을 보내세요.
웹에서 이 토론을 보려면 https://groups.google.com/d/msgid/ml-dl-book-qna/2071db18-b241-4f66-a068-eacefdba752cn%40googlegroups.com을(를) 방문하세요.

[기문배]

필터 가중치의 대부분 값이 음수이면, 부츠의 중심부와 가장자리 모두 필터의 가중치를 곱한 값이 음수가 되어, 이 값을 활성화함수 relu 에 입력하면 결과적으로 특성맵 대부분이 0이어야 하는데, 어떻게 중심부와 가장자리 사이에, 색 차이가 있을 수 있는지 궁금합니다.

추가적으로, 540페이지의 GRU 부분도 혼동이 됩니다.

538 그림과 다른 부분은  Wx,Wh이고, Wz,Wr의 경우에는 540, 538 두 페이지에서 동일합니다.

그런데, 왜 Wz,Wr,Wh 모두에 절편을 하나씩 더해주나요?

538페이지에서 달라지는 점으로 인해(Wx,Wh 가중치 별도 처리)로 인해, Wh에 절편 하나가 더 추가되어야 하는 것은 이해를 하였지만, 총 24개 parameter이 추가되기 위해서는 Wz,Wr에도 각각 절편이 추가되어야 하는데, Wz,Wr에 절편이 추가되어야하는 이유가 궁금합니다.

감사합니다.

2024년 2월 18일 일요일 오후 7시 34분 42초 UTC+9에 Haesun Park님이 작성:

[Haesun Park]

안녕하세요. 박해선입니다.

아, 어떤 부분을 질문하시는지 이해했습니다.

오해가 될만한 설명을 한 점 양해 부탁드립니다.

476페이지 위에서 7번째 줄을 다음과 같이 수정해 주세요.

"이 필터와 큰 양수가 곱해지면 더 큰 음수가 되고 배경처럼 0에 가까운 값과 곱한 후 절편을 더하면 양수가 될 수 있습니다"

텐서플로에서 순환 신경망의 입력과 은닉 상태를 한번에 계산할 수 있으면 절편 하나만 사용해도 됩니다.

하지만 w_x와 w_h를 나누어 계산하려면 절편이 두 개 필요합니다.

하지만 작은 셀들은 모두 같은 계산 로직을 사용하기 때문에 모두 절편이 하나씩 더 들어가게 됩니다.

감사합니다.

2024년 2월 18일 (일) 오후 10:10, 기문배 <qorla...@gmail.com>님이 작성:

웹에서 이 토론을 보려면 https://groups.google.com/d/msgid/ml-dl-book-qna/a69f1b3e-486e-4beb-bf4d-33959f74196dn%40googlegroups.com을(를) 방문하세요.