또르르's 개발 Story

1️⃣ 설정 필요한 모듈을 import 합니다. from tqdm import tqdm from torch import nn from torch.nn.utils.rnn import pack_padded_sequence, pad_packed_sequence # zero padding은 상당히 많은 부분을 차지하기 때문에 많은 메모리를 사용하게 됩니다. 이 문제를 해결하기 위해 나온 모듈 입니다. import torch 2️⃣ 데이터 전처리 아래의 sample data를 확인해봅시다. 전체 단어 수와 pad token의 id도 아래와 같습니다. vocab_size = 100 pad_id = 0# 배치화를 시키기 위해서는 문장의 길이를 동일하게 만들어주어야함 => padding data = [ [85,14,8..

[14] RNN, LSTM, GRU 정리 (1)에서 추가된 내용을 정리했습니다. [14] RNN, LSTM, GRU 정리 (1) RNN은 Recurrent Neural Network의 약자로서, MLP(Multi Layer Perceptron)에 기반을 두고 있습니다. 하지만 RNN의 기본 모형은 많은 문제로 인해 LSTM, GRU 모델을 많이 사용합니다. 이번 시간에는 RNN, LSTM, GR.. dororo21.tistory.com 1️⃣ Vanilla RNN 1) $y_{t}$는 언제 출력해야 하나요? 예측값을 나타내는 $y_{t}$는 매 타임스텝에 계산해야 할 때도 있고 마지막 타임스텝에 계산해야 할 때도 있습니다. ex) 문장에서 각 품사를 예측 -> 매 타임스텝마다 계산, 문장이 긍정인지 부정..

1️⃣ 설정 spacy 모듈에서 'en'을 load 하면 tokenization를 쉽게 사용할 수 있습니다. import spacy spacy_en = spacy.load('en') nlp = spacy.load('en_core_web_sm') # english의 tokenization이 가능 2️⃣ Tokenezation 위에서 선언한 nlp를 사용하면 쉽게 token을 분리할 수 있습니다. doc = nlp('This assignment is about Natural Language Processing.' 'In this assignment, we will do preprocessing') >>> print ([token.text for token in doc]) ['This', 'assignment..

1️⃣ 설정 konlpy를 설치합니다. konlpy는 다양한 한국어 형태소 분석기가 클래스로 구현되어 있습니다. !pip install konlpy 설치한 konlpy와 나머지 필요한 모듈을 import 합니다. from tqdm import tqdm from konlpy.tag import Okt from torch import nn from torch.nn import functional as F from torch.utils.data import Dataset, DataLoader from collections import defaultdict import torch import copy import numpy as np 2️⃣ 데이터 전처리 데이터를 확인하고 Word2Vec 형식에 맞게 전처리합니..

1️⃣ 설정 konlpy를 설치합니다. konlpy는 다양한 한국어 형태소 분석기가 클래스로 구현되어 있습니다. !pip install konlpy 설치한 konlpy와 나머지 필요한 모듈을 import 합니다. from tqdm import tqdm from konlpy import tag # 다양한 한국어 형태소 분석기가 클래스로 구현되어 있음 from collections import defaultdict import math 2️⃣ 학습 및 테스트 데이터 전처리 NaiveBayes Classifier를 통해 해당 Sentence가 긍정인지 부정인지를 분류할 것입니다. 따라서 class는 긍정(1), 부정(0) 2가지 class로 구성되어 있습니다. train_labels에서 1은 긍정, 0은 부정..

1️⃣ NLP 종류 NLP는 Natural language processing의 약자로 사람들이 일상적으로 쓰는 언어를 뜻합니다. NLP는 컴퓨터가 주어진 단어나 문장, 긴 문단을 이해하는 Nautral Language Understanding (NLU)와 자연어를 생성하는 Nautral Language Generating (NLG)로 구성됩니다. 1) Natural language processing Low-level parsing Tokenization : 토큰화 ( token이라 불리는 단위로 나누는 작업을 뜻함) token의 개념은 의미, 단어 등 여러 가지로 사용될 수 있습니다. Stemming : 다양한 의미변화를 없애고 그 의미만을 보존하는 단어의 어근을 추출하는 것 언어는 어미의 변화가 변..

보호되어 있는 글입니다.

Generative model 즉, 생성 모델은 주어진 학습데이터를 학습하여 학습데이터의 분포를 따르는 유사한 데이터를 생성하는 모델입니다. 학습 데이터와 유사한 샘플을 뽑아야 하기 때문에, - 학습 데이터의 분포를 어느정도 안 상태에서 생성 (Explicit) - 학습 데이터의 분포를 잘 모르지만 생성 (Implicit) 모델이 존재합니다. 생성모델에서의 중요한 점은 "학습 데이터의 분포 ~$P_{data}(x)$와의 차이"가 적을수록 실제 데이터와 비슷한 데이터를 생성할 수 있습니다. 아래 그림과 같이 Generative model은 다양합니다. 1️⃣ Tractable density Tractable density는 Auto-regressive Model(자기 회귀 모델)을 사용합니다. 즉, 이전 ..

Transformer에서 가장 중요하게 여겨지는 부분은 Self-Attention 구조입니다. Self-Attention에서 사용되는 방법 중 하나인 Scaled Dot-Product Attention (SDPA)의 코드 구현입니다. Self-Attention에서 차원이 어떻게 바뀌는지를 최대한 정리해보았습니다. 1️⃣ 설정 import numpy as np import matplotlib.pyplot as plt import torch import torch.nn as nn import torch.optim as optim import torch.nn.functional as F %matplotlib inline %config InlineBackend.figure_format='retina' print..

1️⃣ 설정 1) device 설정 : GPU 사용 or CPU 사용 device = torch.device('cuda:0' if torch.cuda.is_available() else 'cpu') 2) Dataset 가지고 오기 PyTorch에서는 기본적으로 datasets를 지원합니다. from torchvision import datasets,transforms train시킬 데이터를 tensor형태로 불러옵니다. mnist_train = datasets.MNIST(root='./data/',train=True,transform=transforms.ToTensor(),download=True) test할 데이터를 tensor형태로 불러옵니다. mnist_test = datasets.MNIST(roo..