또르르's 개발 Story

PyTorch profiler는 컴퓨팅 자원의 사용량 모니터링할 수 있는 모듈입니다. reference: https://pytorch.org/tutorials/recipes/recipes/profiler.html https://pytorch.org/tutorials/recipes/recipes/profiler.html pytorch.org 1️⃣ 설정 필요한 모듈을 불러옵니다. import torch import torchvision.models as models import torch.autograd.profiler as profiler Pre-trained 된 모델을 불러오고, random값으로 구성된 input을 만듭니다. model = models.resnet18() inputs = torch.r..

1️⃣ hyperparameter search 1) Grid Layout vs Random Layout Grid Layout은 y축 learning rate, x축 Batch size 등 hyperparameter 조합을 Grid 하게 찾아 최적 조합을 찾아내는 방식 Random Layout은 y축 learning rate, x축 Batch size 등 hyperparameter 조합을 Random하게 찾아 최적 조합을 찾아내는 방식 2) Surrogate Model Surrogate Model은 ML 모델을 정의하는 hyperparameter들을 위한 머신러닝 모델입니다. 따라서 Surrogate Model은 hyperparameter set를 input으로 가집니다. hyperparameter set..

1️⃣ Entropy 관점 Entropy는 불확실성의 측정을 뜻합니다. 아래 그림과 같이, 정렬된 왼쪽 상태를 Low Entropy라 부르며 경우의 수는 거의 1개 밖에 없습니다. 불규칙한 오른쪽 상태를 High Entropy라 부르며 경우의 수는 여러개로 나올 수 있습니다. Low Entropy는 과거의 상태이며, 여기에 Energy를 집어넣게 되면, 미래의 상태 High Entropy로 변화합니다. 딥러닝에서도 적용해보면 다음과 같습니다. 무질서한 사진들 (High Entropy, 오른쪽)을 딥러닝에 넣고 돌리면 Classification된 사진들 (Low Entropy, 왼쪽)으로 나오게 됩니다. 통계학적 관점에서 보면 다음과 같습니다. 아래 그림과 같이 uniform distribution (ex..

Model Conversion은 하나의 모델을 여러 Library로 변경하는 방법을 뜻합니다. 아래 그림과 같이 pytorch (.pth)로 pre-trained된 alexnet을 불러온다고 할 때 ONNX (.onnx) -> Tensorflow (.pb) Tensorflow (.pb) -> tensorrt (.trt) PyTorch (.pth) -> ONNX (.onnx) ONNX (.onnx) -> PyTorch (.pth) ONNX (.onnx) -> Keras (.h5) Tensorflow (.pb) -> Tensorflowlite (.tflite) 로 변경할 수 있습니다. 즉, 대부분 ONNX 형식으로 변환 후 Model을 conversion 할 수 있습니다. 1️⃣ 설정 Onnx, tensor..

1️⃣ 결정 (Decision) 연역적 결정 (연역적 논리) : Defnition(정리) -> Theorem(증명) 전제가 참이면 결론이 무조건 참 귀납적 결정 (귀납적 논리) : 개별적인 특수한 사실이나 현상(항상 참이 아닐 수 있음)에서 그러한 사례들이 포함되는 일반적인 결론을 이끌어내는 추론 형식의 추리 방법 2️⃣ 결정기 (Decision making machine) 결정기 (Decision making machine)는 원래 사람이 내려야 하는 결정 부분을 기계가 대신해주는 것을 의미합니다. 즉, 데이터 기반으로 의사결정을 내리는 지원 시스템이며, 머신러닝 모델을 의미합니다. 가장 기본적인 결정기 (모델) : "평균" 최근 결정기 : "다양한 모델" 3️⃣ 가벼운 결정기 (Lightweight ..

보호되어 있는 글입니다.

1️⃣ Triangulation Camerea는 3D 장면을 2D image로 projection 시키는 물체입니다. 그런데 재밌는 사실은 projection 된 사진 2개만 있으면 3D를 추출할 수 있습니다. 한 점에서 교차하는 부분이 3D 포인트가 됩니다. 이 것을 Triangulation이라고 합니다. 그렇기 때문에 2D image에서 3D를 구하는 방법은 Triangulation이라는 방법에 의존하게 됩니다. 2️⃣ 3D data 표현 방법 2D image는 각각의 pixel에 대해 RGB value를 가지고 2D array에 저장이 됩니다. 3D를 표현하는 방법은 다음과 같습니다. Multi-view images : 3D 물체가 있을 때 물체를 중심으로 여러 각도에서 사진 촬영 후 보관 Volu..

Multi-modal learning은 다양한 데이터 type (Vision, Audio 등)을 사용해서 학습하는 것을 의미합니다. Mutli-modal learning의 어려운 점은 다음과 같습니다. (1) 데이터들이 서로 다른 표현방법을 가지고 있기 때문에 학습이 쉽지 않습니다. (2) 서로 다른 데이터들의 양이 unbalance 하고 각각의 feature space도 unbalance 합니다. (3) 모델을 사용해서 학습을 할 때 여러 modality를 사용하게 될 경우에 여러 modality를 fair 하게 참조하지 못하고 bias 되는 경향이 있습니다. 따라서 Multi-modal learning 이용하는 데에는 일정한 pattern이 있습니다. Matching : 하나의 데이터 type의 da..

Hourglass Network는Landmark Localization의 대표적인 Network입니다. 이 코드는 basic code이며, 전체 코드는 링크에서 볼 수 있습니다. 1️⃣ 설정 필요한 모듈을 import 합니다. # Seed import torch import numpy as np import random torch.manual_seed(0) torch.cuda.manual_seed(0) np.random.seed(0) random.seed(0) # Ignore warnings import warnings warnings.filterwarnings('ignore') 2️⃣ Hourglass 모듈 Hourglass Network는 Hourglass 모듈의 stack으로 구성되어 있고, Hou..

Pre-trained된 VGG11을 backbone network로 사용해서 visualization을 할 수 있습니다. 1️⃣ Visualizing model activations hook을 사용해서 중간에 있는 layer에 있는 activation map을 추출할 수 있습니다. 1) Plot_filters 함수 plot_filters함수는 weight들의 data를 시각화해주는 function입니다. def plot_filters(data, title=None): """ Take a Tensor of shape (n, K, height, width) or (n, K, height, width) and visualize each (height, width) thing in a grid of size a..