또르르's 개발 Story

1️⃣ Task Oriented Dialogue 한계점 매우 좁은 대화 커버러지 (N intents, J slots) 제한된 대화의 주도권 다양한 가정들 Predefined Scenario에 대한 높은 의존도 2️⃣ Cost of Dialogue Collection Human2Human의 Dialogue 수집은 비용이 매우 비쌈 게다가 상당 수의 Annotation Errors를 발생시킴 (MultiWOZ 2.1) Data Distribution을 제어하는 것이 쉽지 않음 (CoCo) 1) M2M M2M은 시나리오를 정의한 (Rule-based 시뮬레이션)을 통해 User chatbot과 System chatbot이 대화를 생성해나가는 방법을 말합니다. M2M을 사용하면 Dialogue를 쉽게 얻을 수는..

1️⃣ TripPy 1) Trip Copy Strategy Span-based Copy mechanism Extraction based 알고리즘 System Inform Memory for Value Prediction DS memory for Coreference Resolution 2) 구조 3) Encoding Module 4) Slot Gates Gate Boolean type gate C_bool = {none, dontcare, true, false} $$softmax(W^{bgate}_{s} \dot r^{CLS}_{t} + b^{bgate}_{s}) \in R^{4}$$ - true : 해당 slot의 value가 'yes' - false : 해당 slot의 value가 'no' 5) Sp..

DST에서 계산복잡도를 최소화하는 것이 매우 중요합니다. 1️⃣ COMER 1) ITC (Inference Time Complexity) Inference Time Complexity를 의미하는 단어 Dialogue turn에서 state (slot-value)를 완료하기위해 inference를 수행해야하는 횟수 2) COMER Model COMER는 Seq2Seq framework를 적용하여 DST를 Sequence generation 문제로 접근했습니다. 3개의 Encoder와 3개의 hierarchically stacked decoder로 구성 되어있습니다. Single Value Assumption - 각 slot type은 해당 turn에서 slot value를 하나밖에 가질 수 없다는 가정 3..