Optimization 은 매우 크고 광범위한 주제이지만, 실제 Optimization 작업을 할 때 꼭 알아야 할 개념들을 중심으로만 소개한 내용 1. Gradient Descent 경사 하강법 - 그것이 줄어 들었을때 Optima를 찾을 수 있을 것이라 기대되는 Loss function이 존재하고, 찾고자 하는 파라미터의 편미분을 이용해서 loss function을 줄이는 방향으로 학습을 하는 것 ('First-order iterative optimization algrithm for finding a local minimum of a differentiable function) 2. Generalization 많은 경우, 모델의 일반화 성능을 높이는 것이 모델링의 목적이 됨. Trai..
