gradient descent

[BITAmin DL] Session 1.4 - DL Basics 4 (Optimizer - GD, SGD, Momentum, Adagrad, RMSProp, Adam / Backpropagation)

2024.01.30

1. Optimization (Normal Equation vs Gradient Descent) d-dimension vector : row 형태로 들어가 있음 $\theta_{0}$에 곱해지는 input parameter = 1로 설정하기 위해 각 vector의 first entry = 1로 처리 최적화 parameter $\theta$ : cost function을 가장 최소화하는 것 Vector $X$, $\Theta$ 내적 : $X^{T}\Theta$ (Transpose가 앞에 붙는다) Transpose 성질 : $(X \Theta)^{T} = \Theta^{T} X^{T}$ : Transpose를 분배하면 순서가 바뀐다 Normal Equation 행렬 미분 법칙 선형 모형: 선형 모형을 미분하..

AI Fundamentals/BITAmin DL

[BITAmin DL] Session 1.1 - DL Basics 1 (Perceptron, MLP, Gradient Descent, Activation Function)

2024.01.26

1. Machine Learning & Deep Learning AI (Artificial Intelligence) 지능형 기계를 만드는 과학이나 공학의 분야 / 인간의 지능(지적능력, 사고방식) 을 인공적으로 컴퓨터 시스템을 통해 구현한 것 ML (Machine Learning) 입력 데이터가 주어졌을 때 답을 유추해 줄 수 있는 최적의 함수를 기계가 찾는 것 기존 데이터에 알고리즘을 사용해 모델을 만들어내고, 새로운 데이터에 해당 모델을 적용시켜 패턴을 학습하고 결과를 추론하는 기법 데이터를 기반으로 통계적인 신뢰도를 강화 예측 오류를 최소화하기 위해 다양한 수학적 기법을 사용 데이터 내의 패턴을 스스로 인지하고 신뢰도있는 예측결과를 도출해 내는 함수를 찾는 것 머신러닝 개요 DL (Deep Lear..

[BITAmin DL] Session 1.4 - DL Basics 4 (Optimizer - GD, SGD, Momentum, Adagrad, RMSProp, Adam / Backpropagation)

[BITAmin DL] Session 1.1 - DL Basics 1 (Perceptron, MLP, Gradient Descent, Activation Function)

티스토리툴바