또르르's 개발 Story

보호되어 있는 글입니다.

1️⃣ XLNet BERT는 MASK된 문장을 다시 복원하는 과정을 통해 훈련합니다. 그렇기 때문에 문제점이 발생할 수 있습니다. BERT는 MASK token을 독립적으로 예측하게 됩니다. 따라서 예측의 대상이 MASK token일 뿐입니다. 그렇기 때문에 token사이의 관계 자체를 학습하는 것이 불가능합니다. 그리고 또한 BERT는Embedding length의 한계(512를 벗어나는)로 새로운 segment에 대해서는 segement간 관계 학습이 불가능합니다. GPT-2는 단일 방향성으로 학습하기 때문에 문제가 있습니다. 1) Relative Postional Encoding XLNet은 positional encoding -> relative postional encoding으로 변경했습니다...

보호되어 있는 글입니다.

GPT 언어 모델은 BERT와 다르게 단방향 모델입니다. 또한, BERT는 Transformer의 Encoder를 사용했고, GPT는 Transforemer의 Decoder를 사용했습니다. GPT는 현재 token을 토대로 다음에 나올 token을 예측하고, 생성하는 방식을 사용합니다. GPT 모델은 시기적으로 BERT보다 먼저 나왔습니다. GPT는 기존 RNN 모델과 마찬가지로 text가 입력으로 들어갔을 때 입력에 대한 Context vector를 출력하고 그 Context vector 뒤에 linear layer를 붙임으로써 분류 task에 적용하기 위해 설계되었던 모델입니다. 1️⃣ GPT의 장점과 한계점 장점 - 자연어 문장을 분류하는데 성능이 아주 좋은 디코더인 GPT - 적은 양의 데이터에서..

보호되어 있는 글입니다.

보호되어 있는 글입니다.

주어진 문장의 각 token이 어떤 범주에 속하는지 분류하는 task입니다. 1️⃣ Named Entity Recognition (NER) 개체명 인식은 문맥을 파악해서 인명, 기관명, 지명 등과 같은 문장 또는 문서에서 특정한 의미를 가지고 있는 단어 또.는 어구(개체) 등을 인식하는 과정을 의미합니다. 카카오브레인에서 나온 pororo를 사용하면 쉽게 구현 가능합니다. 2️⃣ Part-of-speech tagging (POS TAGGING) 품사란 단어를 문법적 성질의 공통성에 따라 언어학자들이 몇 갈래로 묶어 놓은 것입니다. 품사 태깅은 주어진 문장의 각 성분에 대하여 가장 알맞는 품사를 태깅하는 것을 의미합니다. 3️⃣ 문장 token 분류를 위한 데이터 1) kor_ner 한국해양대학교 자연어 ..

보호되어 있는 글입니다.

보호되어 있는 글입니다.

보호되어 있는 글입니다.