1. Deep Learning Framework Framework 'Framework'란 Frame(틀, 규칙)과 Work(일, 소프트웨어의 목적)의 합성어로, 일정한 틀과 뼈대를 가지고 무언가를 만드는 일을 의미 그렇기에 Deep Learning에서 사용하는 Framework는 '딥러닝을 쓰고 싶은 사람들이 쉽게 사용할 수 있도록 다양한 기능을 구현한 작성 규칙이 있는 라이브러리' 를 의미 DL Framework 종류 theano Tensorflow Keras PyTorch theano 최초의 딥러닝 라이브러리 파이썬 기반이며 CPU 및 GPU의 수치 계산에 매우 유용 다만 확장성이 뛰어나지 않고 다중 GPU지원이 부족하다는 단점이 있음 Tensorflow 인기있는 DL 라이브러리 중 하나이며, 구글에..
1. Optimization (Normal Equation vs Gradient Descent) d-dimension vector : row 형태로 들어가 있음 $\theta_{0}$에 곱해지는 input parameter = 1로 설정하기 위해 각 vector의 first entry = 1로 처리 최적화 parameter $\theta$ : cost function을 가장 최소화하는 것 Vector $X$, $\Theta$ 내적 : $X^{T}\Theta$ (Transpose가 앞에 붙는다) Transpose 성질 : $(X \Theta)^{T} = \Theta^{T} X^{T}$ : Transpose를 분배하면 순서가 바뀐다 Normal Equation 행렬 미분 법칙 선형 모형: 선형 모형을 미분하..
1. Overfitting & Underfitting Overfitting : Train data에 대해서 과도하게 학습 & Test data에 대해서는 잘 동작 X Overfitting은 학습 데이터(Training Set)에 대해 과하게 학습된 상황 따라서 학습 데이터 이외의 데이터(Test Set)에 대해선 모델이 잘 동작하지 못함 학습 데이터가 부족하거나, 데이터의 특성에 비해 모델이 너무 복잡한 경우 발생 Training Set에 대한 loss는 계속 떨어지는데, Test Set에 대한 loss는 감소하다가 다시 증가 Underfitting : Train data 조차도 학습 X 할 정도로 부족하게 학습 Underfitting(과소적합)은 이미 있는 Train set도 학습을 하지 못한 상태를 ..
python List vs numpy array NumPy는 Python List에 비해 빠른 연산을 지원하고 메모리를 효율적으로 사용한다 NumPy array 정적 할당 불가능 단일 타입 빠름 Python List 동적 할당 가능 혼합 타입 느림 List 가변적인 크기 객체의 참조를 저장하는 배열로 구성 리스트의 각 원소는 서로 다른 데이터 타입을 가질 수 있음 메모리는 공간이 필요하거나 확보되면 동적으로 재할당-> 메모리 사용량이 높아지고 메모리 접근이 느려질 수 있음 Numpy.ndarray List와 가장 큰 차이점, Dynamic typing not supported 실행시점에 data type을 결정 X : 미리 결정하고 시작 메모리 공간을 어떻게 잡을지 미리 선언 고정된 크기 -> 메모리 S..
1. MNIST MNIST 사람이 수기로 쓴 0~9까지의 digit data train data = 55,000장 test data = 10,000장 각 Image는 Preprocessing 완료 각 한장의 이미지는 28 x 28 size Digit들은 Center-Aligned Digit Size는 각 Image당 비슷한 Size로 Rescaled 2. MNIST Classification Model (Sigmoid) Activation Function: Sigmoid Loss Function: MSE Sigmoid Function을 이용하여 784개의 Input Feature를 바탕으로 Output Layer의 값을 손글씨가 각 digit에 해당할 확률로 반환 Sigmoid Outputs & MSE ..
1. Machine Learning & Deep Learning AI (Artificial Intelligence) 지능형 기계를 만드는 과학이나 공학의 분야 / 인간의 지능(지적능력, 사고방식) 을 인공적으로 컴퓨터 시스템을 통해 구현한 것 ML (Machine Learning) 입력 데이터가 주어졌을 때 답을 유추해 줄 수 있는 최적의 함수를 기계가 찾는 것 기존 데이터에 알고리즘을 사용해 모델을 만들어내고, 새로운 데이터에 해당 모델을 적용시켜 패턴을 학습하고 결과를 추론하는 기법 데이터를 기반으로 통계적인 신뢰도를 강화 예측 오류를 최소화하기 위해 다양한 수학적 기법을 사용 데이터 내의 패턴을 스스로 인지하고 신뢰도있는 예측결과를 도출해 내는 함수를 찾는 것 머신러닝 개요 DL (Deep Lear..
https://fastcampus.co.kr/data_online_aideep 혁펜하임의 AI DEEP DIVE (Online.) | 패스트캠퍼스 카이스트 박사, 삼성전자 연구원 출신 인플루언서 혁펜하임과 함께하는 AI 딥러닝 강의! 필수 기초 수학 이론과 인공지능 핵심 이론을 넘어 모델 실습 리뷰까지 확장된 커리큘럼으로 기초 학습 fastcampus.co.kr 1. Taylor Series 전개 Multivariate Scalar Function $L(\textbf{w})$를 $\textbf{w} = \textbf{w}_{k}$에서 1차항까지만 Taylor Series 전개하자 $\textbf{w}_{k} = \left [ \textbf{w}_{k, 1}, \textbf{w}_{k, 2}, \cdots..
https://fastcampus.co.kr/data_online_aideep 혁펜하임의 AI DEEP DIVE (Online.) | 패스트캠퍼스 카이스트 박사, 삼성전자 연구원 출신 인플루언서 혁펜하임과 함께하는 AI 딥러닝 강의! 필수 기초 수학 이론과 인공지능 핵심 이론을 넘어 모델 실습 리뷰까지 확장된 커리큘럼으로 기초 학습 fastcampus.co.kr 1. Multivariate Scalar Function (다변수 스칼라함수 = 벡터변수 스칼라함수) 목적함수 (손실함수, 비용함수): 함수값을 줄이면 어떠한 목적이 달성되는 함수 대부분의 ML 알고리즘은 목적함수의 최소값을 만드는 point를 찾아내는 과정을 거침 목적함수들이 다변수 스칼라함수 입력이 여러 개이고 출력이 하나인 함수 Input:..
https://fastcampus.co.kr/data_online_aideep 혁펜하임의 AI DEEP DIVE (Online.) | 패스트캠퍼스 카이스트 박사, 삼성전자 연구원 출신 인플루언서 혁펜하임과 함께하는 AI 딥러닝 강의! 필수 기초 수학 이론과 인공지능 핵심 이론을 넘어 모델 실습 리뷰까지 확장된 커리큘럼으로 기초 학습 fastcampus.co.kr m 입력과 출력에 따른 함수의 분류 스칼라 : 크기만을 가지는 값, 숫자 하나로 표현되는 값 ex)재산, 온도의 크기 벡터 : 크기와 방향을 모두 가지는 값, 숫자 여러 개인 값, 벡터는 기본적으로 열벡터 ex) 속도 일변수 스칼라함수, 일변수 벡터함수, 다변수 스칼라함수, 다변수 벡터함수 2. Univariate Scalar Function (..
