티스토리

Steady & Persistent

검색하기

블로그 홈

Steady & Persistent

jwk0302.tistory.com/m

Jae. 님의 블로그입니다.

구독자: 3

방명록 방문하기

공지 Progress 모두보기

주요 글 목록

[Let's AI] 4-5. PyTorch MNIST Tutorial 손으로 쓴 숫자 0~9 사이의 흑백 이미지로 구성된 클래식 MINST 데이터셋을 사용함 경로 설정을 담당하는 pathlib 라이브러리를 사용 requests를 이용하여 데이터셋를 다운로드 In [2]: from pathlib import Path import requests DATA_PATH = Path("data") PATH = DATA_PATH / "minst" PATH.mkdir(parents=True, exist_ok=True) URL = "https://github.com/pytorch/tutorials/raw/main/_static/" FILENAME = "mnist.pkl.gz" if not (PATH / FILENAME).exists(): conten.. 공감수 0 댓글수 0 2023. 7. 2.
[Let's AI] 4-4. Model Compression 1. Model Compression (모델 경량화) 목적 On-device AI AI on cloud Computation 경량화 모델의 연구와는 별개로, 산업에 적용되기 위해서 거쳐야하는 과정 요구조건(하드웨어 종류, latency 제한, 요구 throughput, 성능)들 간의 trade-off를 고려하여 모델 경량화/최적화를 수행 경량화, 최적화의 대표적인 종류 네트워크 구조 관점 Efficient architecture design : 경량화에 특화된 모델을 설계 Network Pruning : 중요도가 낮은 파라미터를 제거 Knowledge Distillation : 학습된 큰 네트워크를 작은 네트워크의 학습 보조로 사용 Matrix/Tensor Decomposition : 하나의 Tensor.. 공감수 0 댓글수 0 2023. 7. 2.
[Let's AI] 4-3. NLP Intro 1. Intro to NLP NLP (Natural Language Processing) Low-level parsing Word and phrase level sentence level Multi-sentence and paragraph level 2. Text Mining Big data analysis 3. Information retrieval 검색 성능이 고도화되면서 검색 기술 발전은 상대적으로 1,2번에 비해 느림 Recommendation system (자동화) 4. NLP Trend 공감수 0 댓글수 0 2023. 7. 2.
[Let's AI] 4-2. CV Intro 1. Course Overview AI (인공지능) : 인간의 지능을 인공적으로 만든 것 인간의 지능 : visual perception, speech recognition, decision-making, translation between languages 지능을 구현하기 위해서 perception(지각능력)이 제일 중요 : (Input, Output) Data와 관련 인간은 압도적으로 시각에 의존해서 많이 살아가고 있음 2. What is CV? - 사람의 구조를 모방하는 것이 자연스러운 시작 - 그러나 사람의 어떤 측면에서 Bias가 존재할 수 있는 확률이 높음 - 사람이 일일이 Feature Extraction을 하는 것보다 다른 Optimizer를 사용하는 것이 더 유리 3. What will.. 공감수 0 댓글수 0 2023. 7. 2.
[Let's AI] 4-1. Pytorch Intro 1. Backgrounds TensorFlow & Pytorch : 둘의 가장 큰 차이점은 Static graphs vs Dynamic computation graphs 2. Computational Graphs vs Define and Run 3. Why PyTorch - TensorFlow : production, Cloud 연결, Multi-GPU 측면에서 유리 (실제 제품을 만들고 출시할 때 유리) - PyTorch : 개발 과정에서 디버깅이 쉬움 -> 논문 작성 or 내 아이디어를 작성하는데 유리 PyTorch 특징 Numpy AutoGrad (자동미분이 가능) Function (다양한 딥러닝 함수 제공) Tensor Matrix는 Tensor 연산의 도구 Scalar (rank=0) Vecto.. 공감수 0 댓글수 0 2023. 6. 30.
[Let's AI] 3-4. Optimization 1. Gradient Descent 2. Important concepts in optimization 1) Generalization iteration이 늘어날수록 training error는 감소하지만 그것이 최적값이라는 보장은 없음 Gerneralization Gap = test error(학습에 사용하지 않은 데이터에 대한 error) - training error(훈련시키는 과정에서 발생하는 error) Gerneralization performance 가 높다 = gerneralization gap이 적음 2) Underfitting vs Overfitting overfitting : training data에 대해서는 잘 동작하지만, test data에 대해서는 잘 동작 X underfitt.. 공감수 0 댓글수 0 2023. 6. 26.
[Let's AI] 3-3. 뉴럴 네트워크 1. Neural Network 인간의 뇌를 모방하고, 뉴런의 동작 방법을 모방해서 Neural Network를 구현할 필요는 없다. 현재 Neural Network의 동작 방법, 연구 트렌드 : 인간의 뇌를 모방해서 잘된다가 아니라, 왜 잘됐는지를 모델 자체만을 놓고 수학적으로 분석하는게 맞는 방향 2. Neural network = function approximators (비선형 연산이 반복적으로 일어나는 함수 근사하는 모델) 3. Linear Regression Goals = 입력이 1차원이고, 출력이 1차원인 문제가 있을 때 : Loss function을 최소화시키는 직선을 찾는 것 2개의 parameter (기울기 weight , 절편 bias)를 찾는 문제 Loss : squared loss.. 공감수 0 댓글수 0 2023. 6. 26.
[Let's AI] 3-2. 딥러닝 학습방법 이해하기 1. Neural Network (Nonlinear model) 신경망은 선형모델과 활성함수(activation function)를 합성한 비선형모델(함수) Row Vector(행 벡터) 기준으로 해석 : 하이라이트된 부분끼리 Row Space 행렬 연산 Row Space 행렬 연산 : 결과 행렬의 row 개수 = 왼쪽 행렬의 row 개수 왼쪽 행렬의 row를 하나씩 꺼내서 계산 후 다시 삽입 vector * matrix 연산 수행 : 각 vector의 element를 오른쪽 Matrix의 Row에 분배해서 합하기 각 화살표마다 W_dp가 곱해진다 : X_d 에서 O_p로 향하는 화살표를 W_dp에 대응시킨다 2. Softmax Function 소프트맥스(softmax) 함수는 모델의 출력을 확률로 해석.. 공감수 0 댓글수 0 2023. 6. 26.
[Let's AI] 3-1. Gradient Descent 1. 미분 - Why: 변수의 움직임에 따른 함수값의 변화를 관찰하기 위해 사용 - What : 함수 f의 점 (x,f(x))에서의 접선의 기울기 - When : 함수값을 증가(함수를 최대화) : x + f'(x) -> concave functioin에서 주로 이용 (gradient ascent) 함수값을 감소(함수를 최소화) : x - f'(x) -> convex functioin에서 주로 이용 (gradient descent) 2. Differentiation Introduction 3. Usage of differentiation 1) 함수값의 증가 : x + f'(x) -> Objective function을 최대화시킬 때 사용 2) 함수값의 감소 : x - f'(x) -> Objective fu.. 공감수 0 댓글수 0 2023. 6. 26.
[Let's AI] 2-6. 행렬이란? 1. Matrix(1) : 데이터를 저장 행렬 행렬은 vector를 원소로 가지는 2차원 배열 numpy에서는 row(행)가 기본 단위 : 행벡터를 원소로 가지는 2차원 배열 행(row, i)과 열(column, j)이라는 index를 가짐 : X = (x_ij) i번째 행과 j번째 열에 위치한 원소, i번째 행벡터의 j번째 원소 : x_ij 특정 행(열)을 고정하면 행(열)벡터라 부름 전치 행렬 Transpose : 행과 열의 index가 바뀐 행렬 행벡터 열벡터 행렬을 이해하는 방법 벡터가 공간에서 한 점을 의미한다면 행렬은 '여러 점'들을 나타냄 행렬의 행벡터 X_i는 i번째 데이터를 의미함 x_ij : i번째 데이터의 j번째 변수의 값을 의미함 2. Addition, Subtraction, had.. 공감수 0 댓글수 0 2023. 6. 26.
[Let's AI] 2-5. 벡터란? 1. Vectors 벡터는 숫자를 원소로 가지는 리스트(list) 또는 1차원 배열(array)입니다 수식 : 보통 열벡터로 처리 (column vector) 코드 : 보통 행벡터로 처리 (row vector) 벡터의 차원 : 벡터의 원소의 개수 (d) 공간에서 한 점을 나타냄 보통 기준점(원점)으로부터 상대적 위치를 표현 벡터에 숫자를 곱해주면(스칼라배) 길이만 변함 0보다 작으면 반대 방향이 됨 1보다 크면 길이가 늘어나고, 1보다 작으면 길이가 줄어듦 벡터끼리 같은 크기를 가지면 덧셈, 뺄셈을 계산할 수 있음 (same dimension) 벡터끼리 같은 모양(same size, same dimension)을 가지면 성분곱을 계산할 수 있.. 공감수 0 댓글수 0 2023. 6. 26.
[Let's AI] 2-4. 딥러닝의 역사 딥러닝의 역사 - A Brief Historical Review 1. AlexNet : CNN - 이미지를 분류하는 것이 목적 - Deep Learning이 실질적으로 성능을 발휘한 시점 : 이후 Paradigm Shift가 일어남 2. DQN - 알파고를 만든 알고리즘 (강화학습 : Q - Learning) - Google Deepmind 3.1 Encoder / Decoder - NMT(Neural Machine Translation)를 풀기 위한 방법론 - 언어로 되어 있는 문장(단어의 연속) -> 잘 표현해서 다른 언어로 되어 있는 문장 - 기계어 번역의 Trend 3.2 Adam Optimizer - Optimizer (Algorithm) : SGD, Adam 등 - Adam을 그냥 쓰는 이유 .. 공감수 0 댓글수 0 2023. 6. 26.
[Let's AI] 2-3. 딥러닝이란? 1. Deep Learning Good deep learner 구현 실력 (Tensorflow, Pytorch) 수학 실력 (Linear Algebra, Probability Theory) 현재의 트렌드 (Recent Papers) 2. AI (인공지능) - 인공지능 : 지능형 기계를 만드는 과학이나 공학의 분야 / 인간의 지능(지적능력, 사고방식) 을 인공적으로 만든 것 - 머신러닝 : 기계가 데이터로부터 직접 학습해서 실행할 수 있는 알고리즘을 개발하는 연구분야 - 딥러닝 : 머신러닝의 방법론 중 하나 (비선형 정보처리를 수행하는 계층을 여러 겹으로 쌓아서 학습모델을 구현하는 머신러닝의 한 분야) -> 엄청나게 많은 데이터에서 중요한 패턴을 잘 찾아냄, 규칙도 잘 찾아내고, 의사결정을 잘하게 됨 3... 공감수 0 댓글수 0 2023. 6. 26.
[Let's AI] 2-2. 파이썬으로 시각화하기 - Matplotlib 1. matplotlib pyplot 객체를 사용하여 데이터를 표시 pyplot 객체에 그래프들을 쌓은 다음 show로 flush show를 치는 순간 화면에 보여주고 이후 pyplot에 쌓인 객체들은 초기화 Set color color 속성을 사용 float -> 흑백, rgb color, predefined color 사용 Set linestyle ls or linestyle parameter 사용 Set title Pyplot에 title 함수 사용, figuredml subplot별 입력 가능 Latex 타입도 표현 가능 ( 수식 표현 가능) Set legend Legend 함수로 범례를 표시함, loc 위치 등 속성 지정 Set grid & xylim graph 보조선을 긋는 grid와 xy축 .. 공감수 0 댓글수 0 2023. 6. 26.
[Let's AI] 2-1. 파이썬으로 데이터 처리하기 - Pandas Library는 여러 패키지와 모듈들을 모아놓은 것을 의미한다. package는 특정 기능과 관련된 여러 모듈을 한 폴더 안에 넣어 관리하는데 이를 패키지라고 한다. 예를 들어 Test라는 폴더 안에 init.py, test.py와 같은 파일들이 모여있는 것이다. Module은 함수, 변수, 클래스를 모아놓은 것을 말함 일반적으로 한 파일을 말하는데 예를 들어 .py와 같은 하나의 파일 안에 함수와 변수, 클래스가 모여있는 것으로 볼 수 있음 라이브러리 >= 패키지 >= 모듈 구조화된 데이터의 처리를 지원하는 Python 라이브러리 Python계의 엑셀! 고성능 Array 계산 라이브러리인 Nu.. 공감수 0 댓글수 0 2023. 6. 26.
[Let's AI] 1-6. Numpy 1. 행렬의 곱셈 4가지 관점 Rank 해당 행렬의 Column Space의 dimension Column Space 해당 행렬을 구성하는 column vector들이 span 하는 공간 Span vector들의 선형결합으로 나타낼 수 있는 벡터공간 행렬의 곱셈 중 Inner product를 이용한 방법: i번째 행벡터와 j번째 열벡터 사이의 내적을 성분으로 가지는 행렬 행렬의 곱셉 중 Column Space를 이용한 방법 : 1) 결과 행렬의 column 개수 = 오른쪽 행렬의 column 개수 -> 오른쪽 행렬의 column을 하나씩 꺼내서 계산 후 다시 삽입 : matrix * matrix 연산을 matrix * vector 연산 여러개로 분리 2) Matrix * Vector 연산 수행 : -> .. 공감수 0 댓글수 0 2023. 6. 25.
[Let's AI] 1-5.머신러닝 모델의 구조 다음과 같은 식을 활용해서 Dot prodcut를 통해 처리할 수 있다. 공감수 0 댓글수 0 2023. 6. 25.
[Let's AI] 1-4. Machine Learning 1. 머신러닝 기존의 데이터를 알고리즘을 사용해 모델을 만들어내고, 새로운 데이터에 해당 모델을 적용시켜 패턴을 학습하거나 결과를 추론하는 기법 -> 핵심은 머신러닝 알고리즘 & 모델 2. 알고리즘 어떠한 문제를 풀기 위한 과정, Model을 생성하기 위한 (훈련) 과정 : training process 3. 모델 예측을 위한 수학 공식, 함수, 1차 방정식, 확률분포, condition rule(If문, 조건절) 4. 모델을 학습할 때 고려요인들 y 값에 영향을 주는 x 값은 하나가 아니다 - > 여러 개의 x 값들이 존재 5. Feature - 머신러닝에서 데이터의 특징을 나타내는 변수 - feature, 독립변수, input 변수 등은 동일의미로 사용 - 일반적으로 Table 상에 Data를 표현할.. 공감수 0 댓글수 0 2023. 6. 25.
[Let's AI] 1-3. 데이터 분석 프로세스 1. 데이터 분석 프로세스 1. 기획 (process 설계도를 제작) 문제 정의 : 어떤 문제를 해결할 것인가? 분석 방법론 정의 기술 통계 분석 가설 검증 예측 모델 개발 (최근의 ML 모델 사용) 2. 데이터 수집 담당 부서로부터 데이터 입수 (상당히 오랜 시간이 걸림) 데이터 탐색, 오류 검토 3. 데이터 분석 데이터 탐색 (분포, 빈도 등 체크) 및 전처리 (통계분석, 머신러닝 모형에 사용하기 적합한 형태로 가공) 기술 통계 분석 - 집단 간 비교, 시계열 비교 가설 검정 - 가설 지지 확인 예측 모형 개발, 고도화 4. 보고 (시각화) 표, 그래프 제작 : 데이터 시각화 (인포그래픽) 보고서 작성 – 문서화, 대시보드 개발 공감수 0 댓글수 0 2023. 6. 25.
[Let's AI] 1-2. FAQ 1. 도움이 되는 전공들 [ 학부 ] - 컴퓨터공학 - 소프트웨어 공학 - 산업 및 시스템 공학 - 수학 - 통계학 [ 대학원 ] - 해외 온라인 석사 (조지아텍, 미시건, UIUC) - AI 대학원 - Big Data MBA - 통계학 석박사 석사는 필수가 아니다. 실력만 있으면 굳이 석사를 할 필요가 없다. 오픈 소스를 잘 이용하자! 2. 비전공자도 시작하는 방법 - 프로젝트 시작해보기 (대회, 공모전, 캐글 등) - 커뮤니티에서 함께 공부해보기 3. 학습해야 할 과목들 - 분석 도구 : R, Python - 분석 기법 : 통계학, 머신러닝 - 현업 지식 4. Data Science 관련 직무들 - Collect & Move/Store : Data Engineer (데이터를 저장, 최적화, 소프트웨어.. 공감수 0 댓글수 0 2023. 6. 25.
[Let's AI] 1-1. What is Data Science? 데이터 사이언스는 정의내리기에 따라 다르기에 어디에 무게중심을 두느냐에 따라 정해진다. 대체로 가장 사회적으로 합의됐으며, 적절한 정의이자 경계는 다음과 같다. 1. Domain expertise 2. Mathematics 3. Computer science 현실적으로 이 3가지를 모두 완벽하게 달성하는 것은 힘들기에, 셋 중 무게를 둬서 공부할 분야를 정하는 정하는 것이 현실적이다. 나의 경우 반도체공학과에 재학중이기에 도메인 지식(반도체공학)을 기반으로 하여 선형대수, 통계학적 지식과 더불어 CS까지 다룰 수 있는 것이 목표이다. 공감수 0 댓글수 0 2023. 6. 25.
[Let's AI] About contents 1. 개인 블로그에 업로드 가능한 내용 학습 강좌에서 제공되는 강의 내용 학습 강좌에서 제공되는 퀴즈 2. 개인 블로그에 업로드 불가능한 내용 코칭스터디 라이브 방송 캡처화면 코칭스터디 매주 제공되는 미션 코칭스터디 OT 자료 즉, 정리하자면 학습 강의에서 제공되는 강의 내용은 캡처해서 올려도 문제가 없다. 이해를 쉽게 하기 위해 업로드시 캡처본 일부도 함께 첨부하겠다. 공감수 0 댓글수 0 2023. 6. 25.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.