[Let's AI] 2-4. 딥러닝의 역사

딥러닝의 역사 - A Brief Historical Review

 

1. AlexNet : CNN 

 

- 이미지를 분류하는 것이 목적

- Deep Learning이 실질적으로 성능을 발휘한 시점 : 이후 Paradigm Shift가 일어남

 

 

 

 

2. DQN

 

- 알파고를 만든 알고리즘 (강화학습 : Q - Learning)

- Google Deepmind

 

 

3.1 Encoder / Decoder

 

-  NMT(Neural Machine Translation)를 풀기 위한 방법론

- 언어로 되어 있는 문장(단어의 연속) -> 잘 표현해서 다른 언어로 되어 있는 문장 

- 기계어 번역의 Trend

 

3.2 Adam Optimizer

 

- Optimizer (Algorithm) : SGD, Adam 등

- Adam을 그냥 쓰는 이유 : 결과 잘 나와서 (웬만하면 잘된다)

 

 

4.1 GAN (Generative Adversial Network)

 

- 이미지/텍스트를 어떻게 만들어내는지

- Network가 Generator / Discriminator 를 학습시킴

 

 

4.2 ResNet (Residual Networks)

 

- 뉴런 네트워크를 많이 쌓아도 학습 data가 아니라 test data에도 성능이 좋게 나오도록 만듦

- 네트워크를 깊게 쌓을 수 있도록 만들어준 Paradigm Shift 

 

5. Transfomer

 

- 웬만한 Recurrent Neural Network의 기존의 구조를 다 대체함

 

 

6. BERT (fine-tuned NLP models)

 

- 이전의 단어가 들어왔을 때 다음에 어떤 단어가 나올지 맞추는 구조 -> 문장,글 등이 생성됨

- 큰 말 뭉치들로 Pre-training -> 풀고자 하는 문제의 소수 Data에 finetuning

 

 

 

7. Big Language Models : GPT-x

 

- 약간의 fine-tuning을 통해서 여러가지 sequential model을 만듦

- 굉장히 많은 parameter로 구성되어 있음

 

8. Self- Supervised Learning

 

- 한정된 학습데이터 외에 Label을 모르는 Unsupervised Data를 학습에 같이 활용

- 진짜 풀고자 하는 분류 문제를 잘 풀겠다