반응형 Xavier1 weight 설정 이때까지 우리는 많은 내용을 다루었습니다. 하지만 이런 생각을 할 수 있습니다. + "weight의 초기값은 어떻게 설정 하는 거지?" + 이런 생각을 다들 해보셨을것 같습니다. + 이제부터 이 그 내용을 다루어 보겠습니다. Ⅰ. weight - 신경망에서 weight 초기값을 무엇으로 설정하느냐는 매우 중요한 문제입니다. - 초기값 설정에 따라서, learning의 결과는 크게 달라질 수도 있습니다. + 아래 그림을 보면, Sigmoid의 출력이 0과 1에 몰려 있습니다. 이는 Backpropagation 시에 gradient vanishing 문제 발생 가능성이 있다는 것입니다. + 아래의 그림을 다시 보시겠습니다. 전과 달리 Sigmoid의 출력이 0.5 부근에 몰려 있습니다. 이는 모든 neura.. 2022. 11. 23. 이전 1 다음 반응형
