또르르's 개발 Story

1️⃣ Kernel 1) Linear transformation Linear transformation은 변환 후에 덧셈과 scalar를 보존하는 변환입니다. 2) Kernel Kernel은 알맹이, 핵심이란 의미입니다. 남기고 싶은 부분 또는 핵심을 저장할 때 사용합니다. 3) Kernel Method Kernel Method는 Kernel 하고 약간 다릅니다. 예를 들어, 아래 그림에서 빨간 점과 초록 점을 classification하고 싶을 때 저차원 -> 고차원으로 보내면 확실히 구분되는 경우가 있습니다. 따라서 $$ 부분에서 $z_{x}$부분에 $x^{2}_{1} + x^{2}_{2}$, $z_{y}$부분에 $y^{2}_{1} + y^{2}_{2}$로 만들어서 사용하면 ..

1️⃣ 양자화 (Quantization) 양자화는 아날로그 데이터, 즉 연속적인 값을 디지털 데이터, 즉 띄엄띄엄한 값으로 바꾸어 근사하는 과정을 뜻합니다. 양자화를 하면 다음과 같은 특징이 있습니다. model size가 줄어듦 memory bandwidth requirements가 줄어듦 inference의 speed up을 위해 가장 중요한 기술 하지만 양자화를 하면 정보 손실이 일어나게 됩니다. 아래 그림과 같이 float32는 크기에 비해 적은 범위를 사용하고 있고, 이 것을 int8에 mapping 시키면 모든 공간 사용이 가능하지만 정보 손실이 일어납니다. 1) Affine quantization Affine transform은 어떤 linear map에서 형태는 똑같지만(닮음은 유지하면서)..

1️⃣ Pruning 1) Weighted sum Weighted sum은 가중해서 sum을 한다는 의미입니다. 결정 이론에서 "중요도가 있는 것"은 "높은 가중(weight)"을 곱하고, "중요도가 낮은 것"은 "낮은 가중(weight)"을 곱해서 어떤 부분에 중점을 두어야 하는지를 알려줍니다. $$S = \sum_{i}^{N} w_{i}x_{i}$$ 2) Pruning "자주 사용하는 node" 또는 "중요한 node"는 놔두고, "자주 사용하지 않는 node"나 "중요하지 않는 node"는 pruning(가지치기)를 통해 없애주는 기법입니다. Prunning을 하면 얻는 점과 잃는 점이 존재합니다. 얻는 점 - Inference speed (속도) - Regularization (lessen mod..

1️⃣ Graph lowering High-level IR로 만든 Software (model)가 Hardware에서 동작하기 위해서는 DL compiler을 통해 Hardware가 이해할 수 있는 형태로 변환해야 합니다. 이 과정을 Graph lowering이라고 합니다. 2️⃣ Acceleration 관련 용어 Bandwidth : 데이터가 한 번에 이동할 수 있는지 용량 Latency : 정보가 매질 자체를 통과할 때 걸리는 시간 Throughput : 실제로 전송되는 양 (성능) 3️⃣ 머신러닝에서 Acceleration 머신러닝에서 계산량이 많은 layer일수록 병목현상이 일어납니다. 따라서 머신러닝에서는 계산량이 많은 layer의 Bandwidth와 Latency들을 개선하는 것이 목표입니다...

1️⃣ hyperparameter search 1) Grid Layout vs Random Layout Grid Layout은 y축 learning rate, x축 Batch size 등 hyperparameter 조합을 Grid 하게 찾아 최적 조합을 찾아내는 방식 Random Layout은 y축 learning rate, x축 Batch size 등 hyperparameter 조합을 Random하게 찾아 최적 조합을 찾아내는 방식 2) Surrogate Model Surrogate Model은 ML 모델을 정의하는 hyperparameter들을 위한 머신러닝 모델입니다. 따라서 Surrogate Model은 hyperparameter set를 input으로 가집니다. hyperparameter set..

1️⃣ Entropy 관점 Entropy는 불확실성의 측정을 뜻합니다. 아래 그림과 같이, 정렬된 왼쪽 상태를 Low Entropy라 부르며 경우의 수는 거의 1개 밖에 없습니다. 불규칙한 오른쪽 상태를 High Entropy라 부르며 경우의 수는 여러개로 나올 수 있습니다. Low Entropy는 과거의 상태이며, 여기에 Energy를 집어넣게 되면, 미래의 상태 High Entropy로 변화합니다. 딥러닝에서도 적용해보면 다음과 같습니다. 무질서한 사진들 (High Entropy, 오른쪽)을 딥러닝에 넣고 돌리면 Classification된 사진들 (Low Entropy, 왼쪽)으로 나오게 됩니다. 통계학적 관점에서 보면 다음과 같습니다. 아래 그림과 같이 uniform distribution (ex..

1️⃣ 결정 (Decision) 연역적 결정 (연역적 논리) : Defnition(정리) -> Theorem(증명) 전제가 참이면 결론이 무조건 참 귀납적 결정 (귀납적 논리) : 개별적인 특수한 사실이나 현상(항상 참이 아닐 수 있음)에서 그러한 사례들이 포함되는 일반적인 결론을 이끌어내는 추론 형식의 추리 방법 2️⃣ 결정기 (Decision making machine) 결정기 (Decision making machine)는 원래 사람이 내려야 하는 결정 부분을 기계가 대신해주는 것을 의미합니다. 즉, 데이터 기반으로 의사결정을 내리는 지원 시스템이며, 머신러닝 모델을 의미합니다. 가장 기본적인 결정기 (모델) : "평균" 최근 결정기 : "다양한 모델" 3️⃣ 가벼운 결정기 (Lightweight ..

1️⃣ Triangulation Camerea는 3D 장면을 2D image로 projection 시키는 물체입니다. 그런데 재밌는 사실은 projection 된 사진 2개만 있으면 3D를 추출할 수 있습니다. 한 점에서 교차하는 부분이 3D 포인트가 됩니다. 이 것을 Triangulation이라고 합니다. 그렇기 때문에 2D image에서 3D를 구하는 방법은 Triangulation이라는 방법에 의존하게 됩니다. 2️⃣ 3D data 표현 방법 2D image는 각각의 pixel에 대해 RGB value를 가지고 2D array에 저장이 됩니다. 3D를 표현하는 방법은 다음과 같습니다. Multi-view images : 3D 물체가 있을 때 물체를 중심으로 여러 각도에서 사진 촬영 후 보관 Volu..

Multi-modal learning은 다양한 데이터 type (Vision, Audio 등)을 사용해서 학습하는 것을 의미합니다. Mutli-modal learning의 어려운 점은 다음과 같습니다. (1) 데이터들이 서로 다른 표현방법을 가지고 있기 때문에 학습이 쉽지 않습니다. (2) 서로 다른 데이터들의 양이 unbalance 하고 각각의 feature space도 unbalance 합니다. (3) 모델을 사용해서 학습을 할 때 여러 modality를 사용하게 될 경우에 여러 modality를 fair 하게 참조하지 못하고 bias 되는 경향이 있습니다. 따라서 Multi-modal learning 이용하는 데에는 일정한 pattern이 있습니다. Matching : 하나의 데이터 type의 da..

보호되어 있는 글입니다.