또르르's 개발 Story

문제 정의 성능 높은 모델들에 대한 리뷰 해결 아이디어 논문 : https://arxiv.org/abs/2010.14061 진행 상황 1. Key Idea 이전 논문들에서는 Encoder에서 BERT를 사용하지만, Value Generation부분에서는 RNN Decoder를 사용하는 아이러니.. Purely Transformer-based framework를 사용 즉, Single BERT가 Encoder와 Decoder 모두에서 work → 이렇게 하면 prediction objective와 value generation objective가 BERT 하나만 optimize하게 됨 Encoder(BERT)에서 사용한 hidden states 값을 Decoder(BERT)에서 Re-use가 가능해짐 2...

CHAN-DST slot imbalance 문제를 해결하고자 adaptive objective를 도입. a contextual hierarchical attention network (CHAN)를 사용 : dislogue history에서 relevant context를 찾기 위함. → 각 턴의 발화로부터 word-level 관련 정보 검색 → contextual representation으로 encode → 모든 context표현을 turn-level관련 정보로 집계한 후 word-level 정보와 합친 output 생성. state transition prediction task Definition $T$ : turn $U_t$ : user utterance of turn t $R_t$ : syste..

문제 정의 Open-vocab 기반 DST 중, SOM-DST 가 속도와 성능에 있어 좋은 성능을 보이므로 적용해보기 위함 참고 자료 영상시청: https://www.youtube.com/watch?v=nuclwoebdEM&ab_channel=KoreaUnivDSBA 논문 : SOM-DST 기존 모델의 문제점 Ontology-based DST 문제점 실제 시나리오에 잘 대응하지 못함 unseen value를 처리할 수 없음 ontology가 많으면 처리 시간이 오래 걸림 TRADE 문제점 turn 마다 slot 의 모든 value를 생성해야해서 비효율적임 SOM-DST Definition $t$ : turn $S^j$: slot $V^j_t$: corresponding slot value $J$: tot..

문제 정의 Baseline에 적용되어있는 TRADE에 대한 이해 해결 아이디어 영상시청: https://www.youtube.com/watch?v=nuclwoebdEM&ab_channel=KoreaUnivDSBA 논문 : TRADE 진행 상황 1. 전체 프로세스 대화를 인코더를 통해 인코딩한다. 인코딩된 대화와 슬롯으로 h 를 만들고, 이를 바탕으로 p_value 와 p_hist 를 생성하여 p_final 로 슬롯에 해당하는 value 를 찾는다. 대화와 슬롯으로 만들어진 h_j0 를 사용하여 p_hist 를 만들고, c_j0 를 통해 slot 의 value 를 사용할지 결정한다. 2. Definition (Terminology) $U_{T}$ = User Utterence $R_{T}$ = System..

1️⃣ Notion DST-7조 Chatting Day Notion https://www.notion.so/DST-7-ChattingDay-a167284847994425b72c8dc95bb9f260 DST-7조-ChattingDay ⚖Ground Rule www.notion.so 2️⃣ Github Git Code github.com/bcaitech1/p3-dst-chatting-day Git Discussions (실험 내용 정리) https://github.com/bcaitech1/p3-dst-chatting-day/discussions 3️⃣ 논문 Review TRADE 논문 Review https://dororo21.tistory.com/158 [Stage 3 - 논문 리뷰] TRADE 논문 리뷰..

1️⃣ Task Oriented Dialogue 한계점 매우 좁은 대화 커버러지 (N intents, J slots) 제한된 대화의 주도권 다양한 가정들 Predefined Scenario에 대한 높은 의존도 2️⃣ Cost of Dialogue Collection Human2Human의 Dialogue 수집은 비용이 매우 비쌈 게다가 상당 수의 Annotation Errors를 발생시킴 (MultiWOZ 2.1) Data Distribution을 제어하는 것이 쉽지 않음 (CoCo) 1) M2M M2M은 시나리오를 정의한 (Rule-based 시뮬레이션)을 통해 User chatbot과 System chatbot이 대화를 생성해나가는 방법을 말합니다. M2M을 사용하면 Dialogue를 쉽게 얻을 수는..

1️⃣ TripPy 1) Trip Copy Strategy Span-based Copy mechanism Extraction based 알고리즘 System Inform Memory for Value Prediction DS memory for Coreference Resolution 2) 구조 3) Encoding Module 4) Slot Gates Gate Boolean type gate C_bool = {none, dontcare, true, false} $$softmax(W^{bgate}_{s} \dot r^{CLS}_{t} + b^{bgate}_{s}) \in R^{4}$$ - true : 해당 slot의 value가 'yes' - false : 해당 slot의 value가 'no' 5) Sp..

DST에서 계산복잡도를 최소화하는 것이 매우 중요합니다. 1️⃣ COMER 1) ITC (Inference Time Complexity) Inference Time Complexity를 의미하는 단어 Dialogue turn에서 state (slot-value)를 완료하기위해 inference를 수행해야하는 횟수 2) COMER Model COMER는 Seq2Seq framework를 적용하여 DST를 Sequence generation 문제로 접근했습니다. 3개의 Encoder와 3개의 hierarchically stacked decoder로 구성 되어있습니다. Single Value Assumption - 각 slot type은 해당 turn에서 slot value를 하나밖에 가질 수 없다는 가정 3..

1️⃣ Ontology based vs Open-vocab based 1) Ontology based method 2) Open-vocab based method 2️⃣ Categorical / Non categorical Slot Slot은 특정 시나리오에서 미리 정의된 informable한 특정 유형의 속성을 의미합니다. 다음 논문에서는 slot을 categorical / non categorical slot으로 분류해서 사용했습니다. Towards Scalable Multi-Domain Conversational Agents: The Schema-Guided Dialogue Dataset 1) Categorical Slot 범주형으로 나타낼 수 있는 slot : slot에 할당된 value가 범주형..

1️⃣ Ontology Ontology는 각 Slot j가 가질 수 있는 Value의 후보군을 정의해둔 정보입니다. Ontology는 Model에서 $Set(S^{j})$를 의미합니다. Ontology-based model들은 이 Ontology가 미리 정의되어 있고, 모든 Value는 이 안에서만 등장 한다는 가정을 합니다. 1) 한계점 다루는 Ontology의 Volume이 커질 수록 Computation Cost가 증가합니다. Unseen value가 등장했을 때 Tracking하기 어렵습니다. 2️⃣ 이전 Ontology-based Model 기본적으로 Ontology based DST model은 크게 2가지 모듈이 존재합니다. Encoder: Dialogue Context 등 인풋 인코딩 Sc..