반응형 gradient1 Weight optimization weight(가중치) 매개변수의 gradient를 계산하는 방법은 1가지만 존재할까요? 대답은 "아닙니다!" 이제부터 몇가지를 알아 보겠습니다. Ⅰ. weight optimization - Backpropagation의 목적은 loss function의 값을 가능한 최소로 하는 weight 값을 찾는 것이라고 이전에 말씀드렸습니다. + 다른 말로는 weight optimization(가중차 최적화)라고 한다는 것이지요. - 그러면 이를 위한 방법에는 어떤 방법이 있는지 알아 보겠습니다. + 이를 위한 알고리즘은 다양하게 있습니다. - Stochastic Gradient Descent(SGD, 확률적 경사 하강법) - Momentum(모멘텀) - AdaGrad(Adaptive gradient, 아다그라드).. 2022. 11. 23. 이전 1 다음 반응형
