또르르's 개발 Story

1️⃣ Entropy 관점 Entropy는 불확실성의 측정을 뜻합니다. 아래 그림과 같이, 정렬된 왼쪽 상태를 Low Entropy라 부르며 경우의 수는 거의 1개 밖에 없습니다. 불규칙한 오른쪽 상태를 High Entropy라 부르며 경우의 수는 여러개로 나올 수 있습니다. Low Entropy는 과거의 상태이며, 여기에 Energy를 집어넣게 되면, 미래의 상태 High Entropy로 변화합니다. 딥러닝에서도 적용해보면 다음과 같습니다. 무질서한 사진들 (High Entropy, 오른쪽)을 딥러닝에 넣고 돌리면 Classification된 사진들 (Low Entropy, 왼쪽)으로 나오게 됩니다. 통계학적 관점에서 보면 다음과 같습니다. 아래 그림과 같이 uniform distribution (ex..

Model Conversion은 하나의 모델을 여러 Library로 변경하는 방법을 뜻합니다. 아래 그림과 같이 pytorch (.pth)로 pre-trained된 alexnet을 불러온다고 할 때 ONNX (.onnx) -> Tensorflow (.pb) Tensorflow (.pb) -> tensorrt (.trt) PyTorch (.pth) -> ONNX (.onnx) ONNX (.onnx) -> PyTorch (.pth) ONNX (.onnx) -> Keras (.h5) Tensorflow (.pb) -> Tensorflowlite (.tflite) 로 변경할 수 있습니다. 즉, 대부분 ONNX 형식으로 변환 후 Model을 conversion 할 수 있습니다. 1️⃣ 설정 Onnx, tensor..

1️⃣ 결정 (Decision) 연역적 결정 (연역적 논리) : Defnition(정리) -> Theorem(증명) 전제가 참이면 결론이 무조건 참 귀납적 결정 (귀납적 논리) : 개별적인 특수한 사실이나 현상(항상 참이 아닐 수 있음)에서 그러한 사례들이 포함되는 일반적인 결론을 이끌어내는 추론 형식의 추리 방법 2️⃣ 결정기 (Decision making machine) 결정기 (Decision making machine)는 원래 사람이 내려야 하는 결정 부분을 기계가 대신해주는 것을 의미합니다. 즉, 데이터 기반으로 의사결정을 내리는 지원 시스템이며, 머신러닝 모델을 의미합니다. 가장 기본적인 결정기 (모델) : "평균" 최근 결정기 : "다양한 모델" 3️⃣ 가벼운 결정기 (Lightweight ..

보호되어 있는 글입니다.

1️⃣ Triangulation Camerea는 3D 장면을 2D image로 projection 시키는 물체입니다. 그런데 재밌는 사실은 projection 된 사진 2개만 있으면 3D를 추출할 수 있습니다. 한 점에서 교차하는 부분이 3D 포인트가 됩니다. 이 것을 Triangulation이라고 합니다. 그렇기 때문에 2D image에서 3D를 구하는 방법은 Triangulation이라는 방법에 의존하게 됩니다. 2️⃣ 3D data 표현 방법 2D image는 각각의 pixel에 대해 RGB value를 가지고 2D array에 저장이 됩니다. 3D를 표현하는 방법은 다음과 같습니다. Multi-view images : 3D 물체가 있을 때 물체를 중심으로 여러 각도에서 사진 촬영 후 보관 Volu..

Multi-modal learning은 다양한 데이터 type (Vision, Audio 등)을 사용해서 학습하는 것을 의미합니다. Mutli-modal learning의 어려운 점은 다음과 같습니다. (1) 데이터들이 서로 다른 표현방법을 가지고 있기 때문에 학습이 쉽지 않습니다. (2) 서로 다른 데이터들의 양이 unbalance 하고 각각의 feature space도 unbalance 합니다. (3) 모델을 사용해서 학습을 할 때 여러 modality를 사용하게 될 경우에 여러 modality를 fair 하게 참조하지 못하고 bias 되는 경향이 있습니다. 따라서 Multi-modal learning 이용하는 데에는 일정한 pattern이 있습니다. Matching : 하나의 데이터 type의 da..

Hourglass Network는Landmark Localization의 대표적인 Network입니다. 이 코드는 basic code이며, 전체 코드는 링크에서 볼 수 있습니다. 1️⃣ 설정 필요한 모듈을 import 합니다. # Seed import torch import numpy as np import random torch.manual_seed(0) torch.cuda.manual_seed(0) np.random.seed(0) random.seed(0) # Ignore warnings import warnings warnings.filterwarnings('ignore') 2️⃣ Hourglass 모듈 Hourglass Network는 Hourglass 모듈의 stack으로 구성되어 있고, Hou..

Pre-trained된 VGG11을 backbone network로 사용해서 visualization을 할 수 있습니다. 1️⃣ Visualizing model activations hook을 사용해서 중간에 있는 layer에 있는 activation map을 추출할 수 있습니다. 1) Plot_filters 함수 plot_filters함수는 weight들의 data를 시각화해주는 function입니다. def plot_filters(data, title=None): """ Take a Tensor of shape (n, K, height, width) or (n, K, height, width) and visualize each (height, width) thing in a grid of size a..

보호되어 있는 글입니다.

1️⃣ Conditional Generative Model 일반적인 generative model은 영상, sample을 생성할 수 있지만 조작은 불가능했습니다. Conditional generative model은 조건(condition)이 주어졌을 때 영상, sample을 생성하는 모델입니다. 따라서 user의 조작이 더 쉬어졌습니다. Conditional GAN이 기존 GAN과 다른점은 C라는 Conditional input을 넣어주는 부분이 다릅니다. Conditional GAN의 예시는 Super resolution 기법이 있습니다. input : Low resolution image (저해상도 image) output : high resoulution image (고해상도 image) 구조는 ..