경사 하강법의 종류 경사 하강법(Gradient Descent)은 모델을 학습시킬 때 사용되는 최적화 알고리즘 중 하나이며, 경사하강법은 세가지 종류가 있다. 데이터 학습시 한번의 업데이트에 데이터를 얼마나 많이 사용하는지에 따라 분류된다고 볼 수 있다. 실제로는 많은 경우 Mini-Batch 경사하강법을 활용한다. 1) Stochastic Gradient Method 한번에 하나의 데이터 포인트를 사용하여 업데이트한다. 각 훈련 데이터 포인트에 대해 손실 함수의 그래디언트를 계산하고, 이를 사용하여 매개변수를 업데이트하는 방법이다.각 데이터 포인트를 한 번에 처리하기 때문에 계산 속도가 빠르고 대규모 처리가 가능하나, 불안정성이 높고 오래 걸릴 수 있다. 2) Mini-batch Gradie..
