https://fastcampus.co.kr/data_online_aideep 혁펜하임의 AI DEEP DIVE (Online.) | 패스트캠퍼스 카이스트 박사, 삼성전자 연구원 출신 인플루언서 혁펜하임과 함께하는 AI 딥러닝 강의! 필수 기초 수학 이론과 인공지능 핵심 이론을 넘어 모델 실습 리뷰까지 확장된 커리큘럼으로 기초 학습 fastcampus.co.kr 1. Transformer Seq2Seq with Attention Encoder, Decoder, Attention Module로 구성 Decoder의 각 Time step에서부터 Encoder의 원하는 Hidden State Vector들 중 원하는 정보를 그때그때 가져가는 Attention Module이 추가됨 Encoder와 Decoder..
https://fastcampus.co.kr/data_online_aideep 혁펜하임의 AI DEEP DIVE (Online.) | 패스트캠퍼스 카이스트 박사, 삼성전자 연구원 출신 인플루언서 혁펜하임과 함께하는 AI 딥러닝 강의! 필수 기초 수학 이론과 인공지능 핵심 이론을 넘어 모델 실습 리뷰까지 확장된 커리큘럼으로 기초 학습 fastcampus.co.kr 1. Seq2Seq Original Seq2Seq Model 앞에서 제시한 5가지 유형 중 Many to Many에 해당된다 (입력, 출력이 모두 sequence 형태인 연속적인 데이터가 들어옴) 하나하나 cell인 plain RNN에서 발전된 형태인 LSTM(Long Short Term Memory)이나 GRU(Gated Recurrent Un..
https://fastcampus.co.kr/data_online_aideep 혁펜하임의 AI DEEP DIVE (Online.) | 패스트캠퍼스 카이스트 박사, 삼성전자 연구원 출신 인플루언서 혁펜하임과 함께하는 AI 딥러닝 강의! 필수 기초 수학 이론과 인공지능 핵심 이론을 넘어 모델 실습 리뷰까지 확장된 커리큘럼으로 기초 학습 fastcampus.co.kr 1. RNN (Recurrent Neural Network) Background 자연어라는 data가 특정한 순서를 가지고 들어오는 입력 data라는 것에 착안하여, sequence data(순서가 있는 연속적인 데이터)를 처리할 수 있는 핵심요소 RNN을 기반으로 입력, 출력이 sequence로 주어지는 Seq2Seq라는 Task 그에 대한 s..
https://www.inflearn.com/questions/282058/%EB%AA%A8%EB%8D%B8-%ED%8F%89%EA%B0%80-%EB%B6%80%EB%B6%84-%EC%A7%88%EB%AC%B8%EB%93%9C%EB%A6%BD%EB%8B%88%EB%8B%A4 모델 평가 부분 질문드립니다. - 인프런 [사진]-, predicted = torch.max(outputs.data, 1)앞에 -, 이부분 코드가 무슨 의미인가요?빨간색 표시한 부분 혹시 자세하게 코드 해설 가능할까요? - 질문 & 답변 | 인프런 www.inflearn.com outputs의 크기가 (배치 크기)x(클래스의 개수) 인데, 열이 하나의 이미지에 대응되는 벡터(하나의 Batch에 대응)를 나타낸다고 볼 수 있다. 따라서..
왜 nn.CrossEntropyLoss 사용시 F.softmax를 output activation으로 사용하지 않아도 되는가? Cross-Entropy Loss (CELoss)와 Softmax를 결합한 형태로 간단하게 정리할 수 있기 때문이다. PyTorch에서 제공하는 nn.CrossEntropyLoss( )는 아래의 간소화된 형태의 식을 사용한다. $CELoss = -x_{i} + log\sum_{c=1}^{N}e^{x_{c}}$ 위의 식은 Softmax와 CELoss를 각각 계산하는 것보다 한번에 계산하기에 computationally efficient 하기 때문이다. 그렇기에 PyTorch의 nn.CrossEntropyLoss( )는 내부적으로 Softmax 연산을 수행한다고 볼 수 있다. htt..
1. Deep Learning Framework Framework 'Framework'란 Frame(틀, 규칙)과 Work(일, 소프트웨어의 목적)의 합성어로, 일정한 틀과 뼈대를 가지고 무언가를 만드는 일을 의미 그렇기에 Deep Learning에서 사용하는 Framework는 '딥러닝을 쓰고 싶은 사람들이 쉽게 사용할 수 있도록 다양한 기능을 구현한 작성 규칙이 있는 라이브러리' 를 의미 DL Framework 종류 theano Tensorflow Keras PyTorch theano 최초의 딥러닝 라이브러리 파이썬 기반이며 CPU 및 GPU의 수치 계산에 매우 유용 다만 확장성이 뛰어나지 않고 다중 GPU지원이 부족하다는 단점이 있음 Tensorflow 인기있는 DL 라이브러리 중 하나이며, 구글에..
1. Module Import & GPU Usage Basic Module import import torch import torch.nn as nn import torch.nn.functional as F import torch.optim as optim from torchvision import datasets, transforms from torchvision.transforms import autoaugment from torch.utils.data import DataLoader, random_split import numpy as np import os from PIL import Image import matplotlib.pyplot as plt M1 Macbook에서 GPU 사용: mps ..
1. Optimization (Normal Equation vs Gradient Descent) d-dimension vector : row 형태로 들어가 있음 $\theta_{0}$에 곱해지는 input parameter = 1로 설정하기 위해 각 vector의 first entry = 1로 처리 최적화 parameter $\theta$ : cost function을 가장 최소화하는 것 Vector $X$, $\Theta$ 내적 : $X^{T}\Theta$ (Transpose가 앞에 붙는다) Transpose 성질 : $(X \Theta)^{T} = \Theta^{T} X^{T}$ : Transpose를 분배하면 순서가 바뀐다 Normal Equation 행렬 미분 법칙 선형 모형: 선형 모형을 미분하..
