728x90
1. Neural Network
- 인간의 뇌를 모방하고, 뉴런의 동작 방법을 모방해서 Neural Network를 구현할 필요는 없다.
- 현재 Neural Network의 동작 방법, 연구 트렌드 :
- 인간의 뇌를 모방해서 잘된다가 아니라, 왜 잘됐는지를 모델 자체만을 놓고 수학적으로 분석하는게 맞는 방향
2. Neural network = function approximators (비선형 연산이 반복적으로 일어나는 함수 근사하는 모델)
3. Linear Regression
- Goals = 입력이 1차원이고, 출력이 1차원인 문제가 있을 때 : Loss function을 최소화시키는 직선을 찾는 것
- 2개의 parameter (기울기 weight , 절편 bias)를 찾는 문제
- Loss : squared loss (mean squared error)
- 편미분 (partial derivative)의 경우, 합을 미분하는 것과 미분하고 합하는 것은 동일하기에 simga 내부로 편미분 기호를 넣을 수 있음
- Backpropagation : 최종 layer에서 나온 loss function을 전체 parameter로 편미분
- Gradient Descent : 각 parameter의 편미분을 업데이트 하는 것
4. Activation Function
- RELU : Max(0,x)
- Sigmoid : 출력을 0에서 1사이로 고정
- Hyperbolic Tangent : 출력을 -1에서 1사이로 고정
5. MLP (Multi-layer Perceptron)
6. Loss Functions
- y : True target
- y^ : Predicted output
- MSE (Regression Task): mean squared error -> 굳이 제곱으로 설계한 이유 = 학습데이터에 error가 많이 꼈다면 그 데이터를 맞추려다가 전반적인 뉴럴 네트워크가 망가지게 됨 -> 원하는 target data를 찾는데 항상 도움이 안될수도 있음
- CE(Classification Task) : cross-entrophy -> 분류 문제의 output은 one-hot vector로 형성이 됨 (뉴럴 네트워크의 출력값 중에서 해당 차원에 해당하는 출력값을 높인다 = 다른 값들 대비 높기만 하면 됨)
- MLE(Probabilistic Task) : maximum-likelihood estimation-> output이 단순 숫자가 아니라 확률로 나타내고 싶을 때
728x90
