또르르's 개발 Story

네트워크를 처음부터 학습(scratch training) 하였을 때와 pre-trained 된 네트워크에 fine tuning을 적용하였을 때를 비교하는 문제입니다. 데이터는 저작권 문제로 생략합니다. 1️⃣ 설정 필요한 모듈을 import 합니다. # Seed import torch import numpy as np import random torch.manual_seed(0) torch.cuda.manual_seed(0) np.random.seed(0) random.seed(0) # Ignore warnings import warnings warnings.filterwarnings('ignore') 2️⃣ Dataset 설정하기 DataSet을 새롭게 설정합니다. # Dataset import tor..

1️⃣ 설정 필요한 모듈을 import 합니다. # Seed import torch import numpy as np import random torch.manual_seed(0) torch.cuda.manual_seed(0) np.random.seed(0) random.seed(0) # Ignore warnings import warnings warnings.filterwarnings('ignore') 2️⃣ VGG-11 Implementation 아래 Table은 여러 종류의 VGG 네트워크에 대한 각각의 구성을 나타낸 것입니다. VGG-11은 A에 해당합니다. ✅ MaxPool2d -> Linear로 가기 위한 작업 MaxPool2d의 output : tensor (channel, width, he..

1️⃣ 설정 DGL 모듈을 설치합니다. !pip install dgl 필요한 모듈을 import 합니다. import numpy as np import time import torch import torch.nn as nn # building block들을 제공 import torch.nn.functional as F # 다양한 함수 제공 import dgl # Depp Graph Libaray from dgl.data import CoraGraphDataset from sklearn.metrics import f1_score 하이퍼파라미터를 초기화합니다. dropoutProb = 0.5 learningRate = 1e-2 numEpochs = 50 numHiddenDim = 128 numLayers =..

1️⃣ 설정 Surprise 모듈을 설치합니다. !pip install surprise 필요한 모듈을 import 합니다. import numpy as np import pandas as pd from surprise import SVD # 잠재 인수 모형 from surprise.model_selection import train_test_split from surprise.dataset import DatasetAutoFolds from surprise.model_selection import cross_validate # hyperparameter 찾기 from surprise import Dataset, Reader from surprise import accuracy 2️⃣ 데이터셋 확인하기 데..

Node2vec은 임의보행 기반 접근법에서 2차 치우친 임의보행(Second-order Biased Random Walk)을 사용한 모형입니다. 1️⃣ 설정 networkx와 node2vec을 설치합니다. !pip install networkx !pip install node2vec 필요한 모듈을 import 합니다. import networkx as nx from node2vec import Node2Vec from matplotlib import pyplot as plt 2️⃣ node2vec 1) Node2Vec 함수 Node2Vec 함수는 edge 별 확률 계산(p, q에 따른 edge별 확률 계산) & random walk 생성을 해줍니다. dimensions : embedding 공간 차원 w..

1️⃣ 설정 필요한 모듈을 import 합니다. import numpy as np import pandas as pd from sklearn.metrics import mean_squared_error # MSE를 계산하기 위하여 2️⃣ 데이터셋 확인하기 데이터셋은 다음과 같은 형태로 구성되어 있습니다. ratings.csv : 평점 ### Rating Dataset Format ### userId movieId rating timestamp 0 1 1 4.0 964982703 1 1 3 4.0 964981247 2 1 6 4.0 964982224 3 1 47 5.0 964983815 4 1 50 5.0 964982931 movies.csv : 영화 ### Movie Dataset Format ### C..

1️⃣ 설정 필요한 모듈을 import 합니다. import matplotlib.pyplot as plt # 그래프를 그리기 위한 라이브러리 import numpy as np import networkx as nx # 그래프의 기본적인 연산들을 위한 라이브러리 from networkx.algorithms import community # modularity 계산을 위한 라이브러리 2️⃣ Girvan-Newman Algorithm 1) 전체 코드 def GirvanNewmanAlgorithm(G, nodeColorList): copyG = G.copy() # 기존 그래프를 복사하여, 복사된 그래프를 사용하여 엣지를 하나씩 제거하는 작업을 진행한다. pos = nx.spring_layout(copyG) ""..

Networkx 모듈을 사용하면 한 줄로 PageRank를 구현할 수 있습니다. 1️⃣ 설정 필요한 모듈을 import 합니다. import networkx as nx import os import os.path as osp import numpy as np import sys import matplotlib.pyplot as plt import collections from google.colab import drive drive.mount('/content/drive') np.set_printoptions(threshold=sys.maxsize) 방향이 있는 Graph를 선언합니다. G = nx.DiGraph() 2️⃣ 데이터셋 확인하기 PageRank를 사용하기에 앞서 3개의 Dataset이 필요합..

networkx 모듈을 사용해서 그래프를 컴퓨터 상에서 다루는 기초적인 방법을 알아봅니다. 1️⃣ 설정 필요한 모듈을 import 합니다. import networkx as nx # NetworkX import numpy as np # 선형대수를 위한 라이브러리 import matplotlib.pyplot as plt # 그림을 그리기 위한 라이브러리 np.set_printoptions(threshold=sys.maxsize) 2️⃣ Graph basic 1) Graph init print("###### Graph Init ######") G= nx.Graph() # 방향성이 없는 그래프 DiGraph = nx.DiGraph() # 방향성이 있는 그래프 2) Add Node Node 1을 추가합니다. >..

HuggingFace는 Transformer에 기반한 다양한 모델을 제공합니다. Huggingface's의 다양한 모델과 사용법들은 아래 링크에 존재합니다. https://huggingface.co/transformers/index.html Transformers — transformers 4.3.0 documentation Blenderbot (from Facebook) released with the paper Recipes for building an open-domain chatbot by Stephen Roller, Emily Dinan, Naman Goyal, Da Ju, Mary Williamson, Yinhan Liu, Jing Xu, Myle Ott, Kurt Shuster, Eric M..