SGD

[BITAmin DL] Session 1.4 - DL Basics 4 (Optimizer - GD, SGD, Momentum, Adagrad, RMSProp, Adam / Backpropagation)

1. Optimization (Normal Equation vs Gradient Descent) d-dimension vector : row 형태로 들어가 있음 $\theta_{0}$에 곱해지는 input parameter = 1로 설정하기 위해 각 vector의 first entry = 1로 처리 최적화 parameter $\theta$ : cost function을 가장 최소화하는 것 Vector $X$, $\Theta$ 내적 : $X^{T}\Theta$ (Transpose가 앞에 붙는다) Transpose 성질 : $(X \Theta)^{T} = \Theta^{T} X^{T}$ : Transpose를 분배하면 순서가 바뀐다 Normal Equation 행렬 미분 법칙 선형 모형: 선형 모형을 미분하..