반응형 nomalization1 Batch normalization Ⅰ. Batch 단위 학습의 문제점 - SGD의 경우, Batch 단위로 학습을 진행하게 됩니다. 이때 발생하는 문제가 ‘internal covariant shift’이며, 이를 해결하기 위한 방법이 "Batch normalization" 입니다. + internal covariant shift : learning 과정에서 layer 별로 입력의 데이터 분포가 달라지는 현상을 말합니다. - Batch 단위로 학습을 하게 되면 Batch 단위 간에 데이터 분포의 차이가 발생하는데, 학습 과정에서 각 배치 단위 별로 데이터가 다양한 분포를 가지더라도 각 배치별로 평균과 분산을 이용해 정규화하는 것입니다. + 분포를 zero mean gaussian 형태로 만듭니다. - 아래의 그림을 보시면 바로 이해가 되실.. 2022. 11. 23. 이전 1 다음 반응형
