목록전체 글 (160)

또르르's 개발 Story

[Stage 2 - 07] 최적의 Hyperparameter 찾기

1️⃣ Goal [BaseLine 작성] (추가 : 4/12, 새로운 Baseline code) [Data Processing] - Exploratory Data Analysis (추가 : 4/12, 기간 : 4/12 ~ 4/12 ) - Cross-validation 사용 (추가 : 4/12) - 데이터 불균형 해소 (추가 : 4/12, Huggingface Trainer) - 한국어 전처리 (추가 : 4/13, 기간 : 4/13 ~ 4/13 ) - 새로운 tokenizer 사용 (추가 : 4/12, 기간 : 4/13 ~ ) - 형태소 분류기 -> BERT wordpiece (추가 : 4/13) - [ENT][/ENT] tag를 추가해서 train 돌리기 (추가 : 4/14, 기간 : 4/20 ~ ) -..
[P Stage 2] KLUE/프로젝트 2021. 4. 23. 10:08
[Stage 2 - 이론] koGPT-2 챗봇 만들기

보호되어 있는 글입니다.
[P Stage 2] KLUE/이론 2021. 4. 23. 00:05
[Stage 2 - 이론] 다양한 NLP 모델들

1️⃣ XLNet BERT는 MASK된 문장을 다시 복원하는 과정을 통해 훈련합니다. 그렇기 때문에 문제점이 발생할 수 있습니다. BERT는 MASK token을 독립적으로 예측하게 됩니다. 따라서 예측의 대상이 MASK token일 뿐입니다. 그렇기 때문에 token사이의 관계 자체를 학습하는 것이 불가능합니다. 그리고 또한 BERT는Embedding length의 한계(512를 벗어나는)로 새로운 segment에 대해서는 segement간 관계 학습이 불가능합니다. GPT-2는 단일 방향성으로 학습하기 때문에 문제가 있습니다. 1) Relative Postional Encoding XLNet은 positional encoding -> relative postional encoding으로 변경했습니다...
[P Stage 2] KLUE/이론 2021. 4. 22. 23:43
Prev 1 2 3 4 5 6 7 8 ··· 54 Next