목록[P Stage 2] KLUE (22)

또르르's 개발 Story

[Stage 2 - 07] 최적의 Hyperparameter 찾기

1️⃣ Goal [BaseLine 작성] (추가 : 4/12, 새로운 Baseline code) [Data Processing] - Exploratory Data Analysis (추가 : 4/12, 기간 : 4/12 ~ 4/12 ) - Cross-validation 사용 (추가 : 4/12) - 데이터 불균형 해소 (추가 : 4/12, Huggingface Trainer) - 한국어 전처리 (추가 : 4/13, 기간 : 4/13 ~ 4/13 ) - 새로운 tokenizer 사용 (추가 : 4/12, 기간 : 4/13 ~ ) - 형태소 분류기 -> BERT wordpiece (추가 : 4/13) - [ENT][/ENT] tag를 추가해서 train 돌리기 (추가 : 4/14, 기간 : 4/20 ~ ) -..
[P Stage 2] KLUE/프로젝트 2021. 4. 23. 10:08
[Stage 2 - 이론] koGPT-2 챗봇 만들기

보호되어 있는 글입니다.
[P Stage 2] KLUE/이론 2021. 4. 23. 00:05
[Stage 2 - 이론] 다양한 NLP 모델들

1️⃣ XLNet BERT는 MASK된 문장을 다시 복원하는 과정을 통해 훈련합니다. 그렇기 때문에 문제점이 발생할 수 있습니다. BERT는 MASK token을 독립적으로 예측하게 됩니다. 따라서 예측의 대상이 MASK token일 뿐입니다. 그렇기 때문에 token사이의 관계 자체를 학습하는 것이 불가능합니다. 그리고 또한 BERT는Embedding length의 한계(512를 벗어나는)로 새로운 segment에 대해서는 segement간 관계 학습이 불가능합니다. GPT-2는 단일 방향성으로 학습하기 때문에 문제가 있습니다. 1) Relative Postional Encoding XLNet은 positional encoding -> relative postional encoding으로 변경했습니다...
[P Stage 2] KLUE/이론 2021. 4. 22. 23:43
[Stage 2 - 06] xlm-roberta-large 사용하기

1️⃣ Goal [BaseLine 작성] (추가 : 4/12, 새로운 Baseline code) [Data Processing] - Exploratory Data Analysis (추가 : 4/12, 기간 : 4/12 ~ ) - Cross-validation 사용 (추가 : 4/12) - 데이터 불균형 해소 (추가 : 4/12) - 한국어 전처리 (추가 : 4/13, 기간 : 4/13 ~ 4/13 ) - 새로운 tokenizer 사용 (추가 : 4/12, 기간 : 4/13 ~ ) - 형태소 분류기 -> BERT wordpiece (추가 : 4/13) - [ENT][/ENT] tag를 추가해서 train 돌리기 (추가 : 4/14, 기간 : 4/20 ~ ) - Pororo 사용해보기 (추가 : 4/20, ..
[P Stage 2] KLUE/프로젝트 2021. 4. 22. 12:04
[Stage 2 - 이론] 한국어 GPT-2 모델 학습하기

보호되어 있는 글입니다.
[P Stage 2] KLUE/이론 2021. 4. 21. 11:23
[Stage 2 - 이론] GPT 언어 모델

GPT 언어 모델은 BERT와 다르게 단방향 모델입니다. 또한, BERT는 Transformer의 Encoder를 사용했고, GPT는 Transforemer의 Decoder를 사용했습니다. GPT는 현재 token을 토대로 다음에 나올 token을 예측하고, 생성하는 방식을 사용합니다. GPT 모델은 시기적으로 BERT보다 먼저 나왔습니다. GPT는 기존 RNN 모델과 마찬가지로 text가 입력으로 들어갔을 때 입력에 대한 Context vector를 출력하고 그 Context vector 뒤에 linear layer를 붙임으로써 분류 task에 적용하기 위해 설계되었던 모델입니다. 1️⃣ GPT의 장점과 한계점 장점 - 자연어 문장을 분류하는데 성능이 아주 좋은 디코더인 GPT - 적은 양의 데이터에서..
[P Stage 2] KLUE/이론 2021. 4. 21. 10:18
[Stage 2 - 이론] 기계독해 모델 학습

보호되어 있는 글입니다.
[P Stage 2] KLUE/이론 2021. 4. 21. 00:17
[Stage 2 - 이론] 문장 토큰 단위 분류 모델 학습

보호되어 있는 글입니다.
[P Stage 2] KLUE/이론 2021. 4. 20. 22:30
[Stage 2 - 05] Pororo 라이브러리 사용하기

1️⃣ Goal [BaseLine 작성] (추가 : 4/12, 새로운 Baseline code) [Data Processing] - Exploratory Data Analysis (추가 : 4/12, 기간 : 4/12 ~ ) - Cross-validation 사용 (추가 : 4/12) - 데이터 불균형 해소 (추가 : 4/12) - 한국어 전처리 (추가 : 4/13, 기간 : 4/13 ~ 4/13 ) - 새로운 tokenizer 사용 (추가 : 4/12, 기간 : 4/13 ~ ) - 형태소 분류기 -> BERT wordpiece (추가 : 4/13) - [ENT][/ENT] tag를 추가해서 train 돌리기 (추가 : 4/14, 기간 : 4/20 ~ ) - Pororo 사용해보기 (추가 : 4/20, ..
[P Stage 2] KLUE/프로젝트 2021. 4. 20. 17:04
[Stage 2 - 04] Entity Special token

1️⃣ Goal [BaseLine 작성] (추가 : 4/12, 새로운 Baseline code) [Data Processing] - Exploratory Data Analysis (추가 : 4/12, 기간 : 4/12 ~ ) - Cross-validation 사용 (추가 : 4/12) - 데이터 불균형 해소 (추가 : 4/12) - 한국어 전처리 (추가 : 4/13, 기간 : 4/13 ~ 4/13 ) - 새로운 tokenizer 사용 (추가 : 4/12, 기간 : 4/13 ~ ) - 형태소 분류기 -> BERT wordpiece (추가 : 4/13) - [ENT][/ENT] tag를 추가해서 train 돌리기 (추가 : 4/14, 기간 : 4/20 ~ ) [Model] - BERT 모델 사용 (추가 : ..
[P Stage 2] KLUE/프로젝트 2021. 4. 20. 15:43
Prev 1 2 3 Next