1. Model Compression (모델 경량화) 목적 On-device AI AI on cloud Computation 경량화 모델의 연구와는 별개로, 산업에 적용되기 위해서 거쳐야하는 과정 요구조건(하드웨어 종류, latency 제한, 요구 throughput, 성능)들 간의 trade-off를 고려하여 모델 경량화/최적화를 수행 경량화, 최적화의 대표적인 종류 네트워크 구조 관점 Efficient architecture design : 경량화에 특화된 모델을 설계 Network Pruning : 중요도가 낮은 파라미터를 제거 Knowledge Distillation : 학습된 큰 네트워크를 작은 네트워크의 학습 보조로 사용 Matrix/Tensor Decomposition : 하나의 Tensor..
1. Intro to NLP NLP (Natural Language Processing) Low-level parsing Word and phrase level sentence level Multi-sentence and paragraph level 2. Text Mining Big data analysis 3. Information retrieval 검색 성능이 고도화되면서 검색 기술 발전은 상대적으로 1,2번에 비해 느림 Recommendation system (자동화) 4. NLP Trend
1. Course Overview AI (인공지능) : 인간의 지능을 인공적으로 만든 것 인간의 지능 : visual perception, speech recognition, decision-making, translation between languages 지능을 구현하기 위해서 perception(지각능력)이 제일 중요 : (Input, Output) Data와 관련 인간은 압도적으로 시각에 의존해서 많이 살아가고 있음 2. What is CV? - 사람의 구조를 모방하는 것이 자연스러운 시작 - 그러나 사람의 어떤 측면에서 Bias가 존재할 수 있는 확률이 높음 - 사람이 일일이 Feature Extraction을 하는 것보다 다른 Optimizer를 사용하는 것이 더 유리 3. What will..
1. Backgrounds TensorFlow & Pytorch : 둘의 가장 큰 차이점은 Static graphs vs Dynamic computation graphs 2. Computational Graphs vs Define and Run 3. Why PyTorch - TensorFlow : production, Cloud 연결, Multi-GPU 측면에서 유리 (실제 제품을 만들고 출시할 때 유리) - PyTorch : 개발 과정에서 디버깅이 쉬움 -> 논문 작성 or 내 아이디어를 작성하는데 유리 PyTorch 특징 Numpy AutoGrad (자동미분이 가능) Function (다양한 딥러닝 함수 제공) Tensor Matrix는 Tensor 연산의 도구 Scalar (rank=0) Vecto..
1.슬라이딩 윈도우 (Sliding Window) 특징 '연속된 배열 안에서 범위의 크기가 일정할 때' 2개의 포인터로 범위를 지정한 다음, 범위를 유지한 채로 이동하며 문제를 해결 서브 배열 합계 체크 import sys def max_sub_array(arr, k): maxsum = -sys.maxsize - 1 arraysize = len(arr) for i in range(arraysize - k + 1): current_sum = 0 for j in range(i, i + k): current_sum += arr[j] maxsum = max(maxsum, current_sum) return maxsum if __name__ == '__main__': print(max_sub_array([2, 4..
https://www.acmicpc.net/problem/1253 [G4] 좋다 문제 N개의 수 중에서 어떤 수가 다른 수 두 개의 합으로 나타낼 수 있다면 그 수를 “좋다(GOOD)”고 한다. N개의 수가 주어지면 그 중에서 좋은 수의 개수는 몇 개인지 출력하라. 수의 위치가 다르면 값이 같아도 다른 수이다. 입력 첫째 줄에는 수의 개수 N(1 ≤ N ≤ 2,000), 두 번째 줄에는 i번째 수를 나타내는 Ai가 N개 주어진다. (|Ai| ≤ 1,000,000,000, Ai는 정수) 출력 좋은 수의 개수를 첫 번째 줄에 출력한다. 예제 입력 1 10 1 2 3 4 5 6 7 8 9 10 예제 출력 1 8 힌트 3,4,5,6,7,8,9,10은 좋다. 기존의 투 포인터 유형 중 양끝에서 포인터들이 시작하는..
https://www.acmicpc.net/problem/1940 1940번: 주몽 첫째 줄에는 재료의 개수 N(1 ≤ N ≤ 15,000)이 주어진다. 그리고 두 번째 줄에는 갑옷을 만드는데 필요한 수 M(1 ≤ M ≤ 10,000,000) 주어진다. 그리고 마지막으로 셋째 줄에는 N개의 재료들이 가진 고 www.acmicpc.net [S4] 주몽 문제 주몽은 철기군을 양성하기 위한 프로젝트에 나섰다. 그래서 야철대장을 통해 철기군이 입을 갑옷을 만들게 하였다. 야철대장은 주몽의 명에 따르기 위하여 연구에 착수하던 중 아래와 같은 사실을 발견하게 되었다. 갑옷을 만드는 재료들은 각각 고유한 번호를 가지고 있다. 갑옷은 두 개의 재료로 만드는데 두 재료의 고유한 번호를 합쳐서 M(1 ≤ M ≤ 10,00..
https://www.acmicpc.net/problem/2018 2018번: 수들의 합 5 어떠한 자연수 N은, 몇 개의 연속된 자연수의 합으로 나타낼 수 있다. 당신은 어떤 자연수 N(1 ≤ N ≤ 10,000,000)에 대해서, 이 N을 몇 개의 연속된 자연수의 합으로 나타내는 가지수를 알고 싶어한 www.acmicpc.net [S4] 수들의 합 5 문제 어떠한 자연수 N은, 몇 개의 연속된 자연수의 합으로 나타낼 수 있다. 당신은 어떤 자연수 N(1 ≤ N ≤ 10,000,000)에 대해서, 이 N을 몇 개의 연속된 자연수의 합으로 나타내는 가지수를 알고 싶어한다. 이때, 사용하는 자연수는 N이하여야 한다. 예를 들어, 15를 나타내는 방법은 15, 7+8, 4+5+6, 1+2+3+4+5의 4가지..
1. Two Pointer Algorithm 전제 투 포인터 알고리즘 : 리스트(배열)가 '정렬'이 되어있어야 함! 특징 리스트에 순차적으로 접근해야 할 때 두 개의 점의 위치를 기록하면서 처리하는 알고리즘 구간 합의 경우 오직 누적 합(합 배열)에서 기존의 배열을 순차적으로 접근(X), 기존의 배열의 합에 접근(O) 이기 때문에 다름 흔히 2,3,4,5,6,7번 학생을 지목해야 할 대 간단히 '2번부터 7번까지의 학생'이라고 부름 리스트에 담긴 데이터에 순차적으로 접근해야 할 때는 시작점과 끝점 2개의 점으로 접근할 데이터의 범위를 표현할 수 있음 Caution 포인터 2개가 모두 한 쪽 끝에서 시작할 수도 있으나, 양쪽 끝에서 시작할 수도 있음 연속한 구간 합을 구하는 경우 : 한 쪽 끝에서 시작 두..
