[Let's AI] 3-3. 뉴럴 네트워크

1. Neural Network

• 인간의 뇌를 모방하고, 뉴런의 동작 방법을 모방해서 Neural Network를 구현할 필요는 없다. 
• 현재 Neural Network의 동작 방법, 연구 트렌드 :
  • 인간의 뇌를 모방해서 잘된다가 아니라, 왜 잘됐는지를 모델 자체만을 놓고 수학적으로 분석하는게 맞는 방향

 

2. Neural network = function approximators (비선형 연산이 반복적으로 일어나는 함수 근사하는 모델)

 

3. Linear Regression

 

• Goals = 입력이 1차원이고, 출력이 1차원인 문제가 있을 때 : Loss function을 최소화시키는 직선을 찾는 것
• 2개의 parameter (기울기 weight , 절편 bias)를 찾는 문제
• Loss : squared loss (mean squared error)

• 편미분 (partial derivative)의 경우, 합을 미분하는 것과 미분하고 합하는 것은 동일하기에 simga 내부로 편미분 기호를 넣을 수 있음

• Backpropagation : 최종 layer에서 나온 loss function을 전체 parameter로 편미분
• Gradient Descent : 각 parameter의 편미분을 업데이트 하는 것

4. Activation Function

• RELU : Max(0,x)
• Sigmoid : 출력을 0에서 1사이로 고정
• Hyperbolic Tangent : 출력을 -1에서 1사이로 고정

5. MLP (Multi-layer Perceptron)

 

 

6. Loss Functions

• y : True target
• y^ : Predicted output
• MSE (Regression Task): mean squared error -> 굳이 제곱으로 설계한 이유 = 학습데이터에 error가 많이 꼈다면 그 데이터를 맞추려다가 전반적인 뉴럴 네트워크가 망가지게 됨 -> 원하는 target data를 찾는데 항상 도움이 안될수도 있음
• CE(Classification Task) : cross-entrophy -> 분류 문제의 output은 one-hot vector로 형성이 됨 (뉴럴 네트워크의 출력값 중에서 해당 차원에 해당하는 출력값을 높인다 = 다른 값들 대비 높기만 하면 됨)
• MLE(Probabilistic Task) : maximum-likelihood estimation-> output이 단순 숫자가 아니라 확률로 나타내고 싶을 때