딥러닝의 역사 - A Brief Historical Review
1. AlexNet : CNN
- 이미지를 분류하는 것이 목적
- Deep Learning이 실질적으로 성능을 발휘한 시점 : 이후 Paradigm Shift가 일어남
2. DQN
- 알파고를 만든 알고리즘 (강화학습 : Q - Learning)
- Google Deepmind
3.1 Encoder / Decoder
- NMT(Neural Machine Translation)를 풀기 위한 방법론
- 언어로 되어 있는 문장(단어의 연속) -> 잘 표현해서 다른 언어로 되어 있는 문장
- 기계어 번역의 Trend
3.2 Adam Optimizer
- Optimizer (Algorithm) : SGD, Adam 등
- Adam을 그냥 쓰는 이유 : 결과 잘 나와서 (웬만하면 잘된다)
4.1 GAN (Generative Adversial Network)
- 이미지/텍스트를 어떻게 만들어내는지
- Network가 Generator / Discriminator 를 학습시킴
4.2 ResNet (Residual Networks)
- 뉴런 네트워크를 많이 쌓아도 학습 data가 아니라 test data에도 성능이 좋게 나오도록 만듦
- 네트워크를 깊게 쌓을 수 있도록 만들어준 Paradigm Shift
5. Transfomer
- 웬만한 Recurrent Neural Network의 기존의 구조를 다 대체함
6. BERT (fine-tuned NLP models)
- 이전의 단어가 들어왔을 때 다음에 어떤 단어가 나올지 맞추는 구조 -> 문장,글 등이 생성됨
- 큰 말 뭉치들로 Pre-training -> 풀고자 하는 문제의 소수 Data에 finetuning
7. Big Language Models : GPT-x
- 약간의 fine-tuning을 통해서 여러가지 sequential model을 만듦
- 굉장히 많은 parameter로 구성되어 있음
8. Self- Supervised Learning
- 한정된 학습데이터 외에 Label을 모르는 Unsupervised Data를 학습에 같이 활용
- 진짜 풀고자 하는 분류 문제를 잘 풀겠다
