또르르's 개발 Story

1️⃣ Task Oriented Dialogue 한계점 매우 좁은 대화 커버러지 (N intents, J slots) 제한된 대화의 주도권 다양한 가정들 Predefined Scenario에 대한 높은 의존도 2️⃣ Cost of Dialogue Collection Human2Human의 Dialogue 수집은 비용이 매우 비쌈 게다가 상당 수의 Annotation Errors를 발생시킴 (MultiWOZ 2.1) Data Distribution을 제어하는 것이 쉽지 않음 (CoCo) 1) M2M M2M은 시나리오를 정의한 (Rule-based 시뮬레이션)을 통해 User chatbot과 System chatbot이 대화를 생성해나가는 방법을 말합니다. M2M을 사용하면 Dialogue를 쉽게 얻을 수는..

1️⃣ TripPy 1) Trip Copy Strategy Span-based Copy mechanism Extraction based 알고리즘 System Inform Memory for Value Prediction DS memory for Coreference Resolution 2) 구조 3) Encoding Module 4) Slot Gates Gate Boolean type gate C_bool = {none, dontcare, true, false} $$softmax(W^{bgate}_{s} \dot r^{CLS}_{t} + b^{bgate}_{s}) \in R^{4}$$ - true : 해당 slot의 value가 'yes' - false : 해당 slot의 value가 'no' 5) Sp..

DST에서 계산복잡도를 최소화하는 것이 매우 중요합니다. 1️⃣ COMER 1) ITC (Inference Time Complexity) Inference Time Complexity를 의미하는 단어 Dialogue turn에서 state (slot-value)를 완료하기위해 inference를 수행해야하는 횟수 2) COMER Model COMER는 Seq2Seq framework를 적용하여 DST를 Sequence generation 문제로 접근했습니다. 3개의 Encoder와 3개의 hierarchically stacked decoder로 구성 되어있습니다. Single Value Assumption - 각 slot type은 해당 turn에서 slot value를 하나밖에 가질 수 없다는 가정 3..

1️⃣ Ontology based vs Open-vocab based 1) Ontology based method 2) Open-vocab based method 2️⃣ Categorical / Non categorical Slot Slot은 특정 시나리오에서 미리 정의된 informable한 특정 유형의 속성을 의미합니다. 다음 논문에서는 slot을 categorical / non categorical slot으로 분류해서 사용했습니다. Towards Scalable Multi-Domain Conversational Agents: The Schema-Guided Dialogue Dataset 1) Categorical Slot 범주형으로 나타낼 수 있는 slot : slot에 할당된 value가 범주형..

1️⃣ Ontology Ontology는 각 Slot j가 가질 수 있는 Value의 후보군을 정의해둔 정보입니다. Ontology는 Model에서 $Set(S^{j})$를 의미합니다. Ontology-based model들은 이 Ontology가 미리 정의되어 있고, 모든 Value는 이 안에서만 등장 한다는 가정을 합니다. 1) 한계점 다루는 Ontology의 Volume이 커질 수록 Computation Cost가 증가합니다. Unseen value가 등장했을 때 Tracking하기 어렵습니다. 2️⃣ 이전 Ontology-based Model 기본적으로 Ontology based DST model은 크게 2가지 모듈이 존재합니다. Encoder: Dialogue Context 등 인풋 인코딩 Sc..

1️⃣ Task-Oriented dialogue & Open-domain dialogue 2️⃣ Predefined Senario User는 자신의 목적을 System에게 알려주고, System은 Knowledge Base를 활용하여 User가 목적에 달성할 수 있게 만들어줍니다. 자세히 들어다보면 다음과 같습니다. User Goal : 유저는 미리 정의된 KB의 특정 Instance 정보를 찾거나, 추가적인 정보를 제공하여 새로운 Instance를 찾고 싶어 한다는 가정 KB : 시나리오에서 제공하고자 정보 DB Task Schema : User가 원하는 정보를 찾거나 시나리오에 맞는 정보를 줄 수 있도록 정의 된 메타 정보 User Goal은 Informable Slot과 Requestable Slo..