1. Transformer Seq2Seq Model with attention의 개선판, 최근까지 많이 사용되는 architecture 기존 Model에서는 Sequence를 Encoding, Decoding할 때 RNN 기반의 Module을 사용 Encoder & Decoder가 RNN 기반의 Module로 구성됨 Encoder Decoder Attention Module: Decoder의 각 time step에서 Encoder의 hidden state vector중 원하는 정보를 그때그때 가져갈 수 있도록 하는 추가적인 Module 2. Transformer mdoel에서 sequence를 encoding하는 self-attention Module Transformer Model에서는 attentio..
1. INTRO RNN 자연어라는 data가 특정한 순서를 가지고 들어오는 입력 data라는 것에 착안하여 sequence data를 처리할 수 있는 핵심요소 RNN을 기반으로 입력, 출력이 sequence로 주어지는 Seq2Seq라는 Task 그에 대한 special case인 language modeling task까지 자연어 처리를 중심으로 함 2. RNN Sequence Data에 특화된 형태 RNN이라는 동일한 Function을 반복적으로 호출 $X_{t}$ : 특정 time step $t$에서의 input vector $h_{t-1}$ : 이전 time step $t-1$에서의 동일한 RNN Function이 계산했던 hidden state vector $f_{W}$ : $h_{t-1}, X_..
1. Colab Text와 Python Code를 함께 사용할 수 있는 무료 서비스 Machine Learning, Deep Learning과 관련된 보편적인 라이브러리를 무료로 제공 Deep Learning 을 위한 GPU instance도 무료로 제공 작성된 결과를 Google Drive에 저장 가능 다른 사람에게 전달하여 작업한 결과를 공유 가능 2. Colab 단축키 Jupyter Notebook 에서의 Esc와 Colab에서의 CMD + M은 동일하다 실행 관련 단축키 1. Command + Enter = 해당 셀을 실행하고 커서를 해당 셀에 두는 경우 (결과 값만 보고자 할 때) 2. Shift + Enter = 해당 셀을 실행하고 커서를 다음 셀로 넘기는 경우 (여러가지 값을 빠르게 출력할 ..
1. AI / ML / DL AI 인공지능 인간의 지능(지적능력, 사고방식, 학습, 추론) 을 지닌 컴퓨터 시스템을 인공적으로 구현한 기술 강인공지능, 인공일반지능: 사람과 동일한 지적 지능을 가진 인공지능 시스템 약인공지능: 특정 분야에서 사람의 일을 도와주는 보조역할을 수행 Machine Learning 머신러닝 기존의 데이터를 알고리즘을 사용해 모델을 만들어내고, 새로운 데이터에 해당 모델을 적용시켜 패턴을 학습하거나 결과를 추론하는 기법 대표적인 Machine Learning Library: Scikit-Learn Python API를 사용 Python은 배우기 쉽고 컴파일하지 않아도 됨 Deep Learning 딥러닝 머신러닝의 방법론 중 하나 (비선형 정보처리를 수행하는 계층을 여러 겹으로 ..
1. Various Neural Network Architectures Fully connected Neural Network 입력 노드와 출력 노드가 모두 특정한 가중치의 형태로 연결된 Network Convolution Neural Network (CNN) CV, 영상처리에서 많이 사용 Recurrent Neural Network Sequence data, Time-series data에 적용 Classification: Image recognition (이미지 분류 task) Retrieval: 자연어로 된 query문을 주었을 때 query에 부합하는 관련성이 높은 image들을 검색 사람의 신체를 대상으로 하여 자세를 추정 의료 영상이나 문자 인식, 알파고 Challenges in CV Task..
1. Gradient Descent Training Neural Networks via GD 최적화를 하고자 하는 parameter와 학습 data를 neural network에 입력으로 집어넣기 Ground truth 값과 비교함으로써 차이를 최소화하도록 하는 loss function을 형성 loss function을 최소화하는 parameter를 찾기 $\theta \: \leftarrow \: \theta - \alpha g$ Loss function이 굉장히 복잡한 형태일 경우 Gradient Descent 알고리즘은 수렴속도가 상대적으로 굉장히 느리다 Loss function의 등고선 중앙이 가장 낮은 분지 x축, y축은 neural networ의 weight (parameter) x축을 단면으..
1. Deep Neural Network의 기본 동작 과정 - 인공지능 : 지능형 기계를 만드는 과학이나 공학의 분야 / 인간의 지능(지적능력, 사고방식) 을 인공적으로 만든 것 - 머신러닝 : 기존의 데이터를 알고리즘을 사용해 모델을 만들어내고, 새로운 데이터에 해당 모델을 적용시켜 예측을 하는 방법 - 딥러닝 : 머신러닝의 방법론 중 하나 (비선형 정보처리를 수행하는 계층을 여러 겹으로 쌓아서 학습모델을 구현하는 머신러닝의 한 분야) -> 엄청나게 많은 데이터에서 중요한 패턴을 잘 찾아냄, 규칙도 잘 찾아내고, 의사결정을 잘하게 됨 Artificial Neural Networks linear combination with model parameters & input features Activation..
1. Ensemble Learning 이미 사용하고 있거나 개발한 알고리즘의 간단한 확장 ML에서 알고리즘의 종류와 상관 없이 서로 다르거나, 같은 메커니즘으로 동작하는 다양한 머신러닝 모델을 묶어 함께 사용하는 방식 Supervised learning task에서 성능을 올릴 수 있는 방법 Ensemble (프랑스어) 함께, 동시에, 한꺼번에 협력하여 Classifier Classification Algorithm itself Ensemble Methods train data set을 s1,...,s_n으로 나눈다 각 train data마다 model이 학습을 진행 다수의 model이 각각 결정을 내린 후에 다수결로 예측 결과 제공 Advantages 예측 성능을 안정적으로 향상 (다양한 model의 ..
