또르르's 개발 Story

문제 정의 성능 높은 모델들에 대한 리뷰 해결 아이디어 논문 : https://arxiv.org/abs/2010.14061 진행 상황 1. Key Idea 이전 논문들에서는 Encoder에서 BERT를 사용하지만, Value Generation부분에서는 RNN Decoder를 사용하는 아이러니.. Purely Transformer-based framework를 사용 즉, Single BERT가 Encoder와 Decoder 모두에서 work → 이렇게 하면 prediction objective와 value generation objective가 BERT 하나만 optimize하게 됨 Encoder(BERT)에서 사용한 hidden states 값을 Decoder(BERT)에서 Re-use가 가능해짐 2...

CHAN-DST slot imbalance 문제를 해결하고자 adaptive objective를 도입. a contextual hierarchical attention network (CHAN)를 사용 : dislogue history에서 relevant context를 찾기 위함. → 각 턴의 발화로부터 word-level 관련 정보 검색 → contextual representation으로 encode → 모든 context표현을 turn-level관련 정보로 집계한 후 word-level 정보와 합친 output 생성. state transition prediction task Definition $T$ : turn $U_t$ : user utterance of turn t $R_t$ : syste..

문제 정의 Open-vocab 기반 DST 중, SOM-DST 가 속도와 성능에 있어 좋은 성능을 보이므로 적용해보기 위함 참고 자료 영상시청: https://www.youtube.com/watch?v=nuclwoebdEM&ab_channel=KoreaUnivDSBA 논문 : SOM-DST 기존 모델의 문제점 Ontology-based DST 문제점 실제 시나리오에 잘 대응하지 못함 unseen value를 처리할 수 없음 ontology가 많으면 처리 시간이 오래 걸림 TRADE 문제점 turn 마다 slot 의 모든 value를 생성해야해서 비효율적임 SOM-DST Definition $t$ : turn $S^j$: slot $V^j_t$: corresponding slot value $J$: tot..

문제 정의 Baseline에 적용되어있는 TRADE에 대한 이해 해결 아이디어 영상시청: https://www.youtube.com/watch?v=nuclwoebdEM&ab_channel=KoreaUnivDSBA 논문 : TRADE 진행 상황 1. 전체 프로세스 대화를 인코더를 통해 인코딩한다. 인코딩된 대화와 슬롯으로 h 를 만들고, 이를 바탕으로 p_value 와 p_hist 를 생성하여 p_final 로 슬롯에 해당하는 value 를 찾는다. 대화와 슬롯으로 만들어진 h_j0 를 사용하여 p_hist 를 만들고, c_j0 를 통해 slot 의 value 를 사용할지 결정한다. 2. Definition (Terminology) $U_{T}$ = User Utterence $R_{T}$ = System..