[Day 12 - 5/11] DST Remaining & 테크톡 #71
JAEWOOSUN
started this conversation in
Peer Session
Replies: 0 comments
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
-
[Day 12 - 5/11] DST Remaining & 테크톡
피어 세션
베이스라인 코드 수정
word_drop 비율 (0.1)에 따라 해당 token_id를 unk_token_id로 변경
TOD/DST의 한계점 리뷰
1️⃣ Task Oriented Dialogue 한계점
https://www.edwith.org/bcaitech1
2️⃣ Cost of Dialogue Collection
1) M2M
M2M은 시나리오를 정의한 (Rule-based 시뮬레이션)을 통해 User chatbot과 System chatbot이 대화를 생성해나가는 방법을 말합니다.
M2M을 사용하면 Dialogue를 쉽게 얻을 수는 있지만 부자연스러운 대화를 가지고 올 수 있습니다.
[shat et al., arXiv 2018]
[shat et al., arXiv 2018]
2) Zero-shot Domain Transfer
DST모델이 보지 못한 Domain (Unseen Domain = Target Domain)에 대해 Source Domain들만 가지고 맞출 수 있게 하는 방법입니다.
https://www.edwith.org/bcaitech1
3) Abstract Transaction Dialogue Model
따라서 Zero-shot Domain Transfer를 Agenda-based Simulation과 합쳐서 만든 것이 Abstract Transaction Dialogue Model입니다. Agenda-based Simulation보다 복잡한 형태의 Rule-based Simulation입니다.
[Campagna et al., arXiv 2020]
User가 하고싶은 Action들을 여러개로 정의함으로써 복잡한 구조를 띄게 됩니다.
Abstract State는 Domain에 상관없이 Action transition의 추상적 표현 (각각을 정확한 action으로 정의해놓은 것이 아닌 뭉뚱그려서 사용)으로 사용합니다. ( start 단계, confirm 단계 등)
[Campagna et al., arXiv 2020]
따라서 다양한 dialogue들을 뽑아낼 수 있습니다.
[Campagna et al., arXiv 2020]
또한, TRADE와 SUMBT 모델에 Zero-shot (DM), 즉, Zero-shot에 Abstract 모델에서 생성한 Dialogue를 같이 사용했을 경우 엄청난 성능 향상이 있었습니다.
[Campagna et al., arXiv 2020]
3️⃣ Natural Conversation Framework
[Ganhotra et al., arXiv 2020]
따라서 예전 SOTA였던 Model들에 Naturalistic Variation을 줘서 대화를 다시 재구성하게 되면 점수가 반토막나게 됩니다.
[Ganhotra et al., arXiv 2020]
4️⃣ Counterfactual Goal
Counterfactual Goal이라는 것은 MultiWOZ가 현실 세계를 반영하지 못하고 있는 Goal을 의미합니다.
따라서 이 CoCo라는 프레임워크는 Controllable Counterfactuals라고 합니다.
[Li et al., 2020 arXiv]
1) Utterance Generation Model
"시스템 발화"와 "이전 turn의 state 발화"와 "이번 turn에 나올 inform된 slot value"들을 받아서 "User의 발화"를 생성하는 부분입니다.
[Li et al., 2020 arXiv]
2) Counterfacutal Goal Generator
3가지 operation은 Drop, Change, Add입니다.
[Li et al., 2020 arXiv]
3) Utterance Sampling based CF-Goal
시스템 발화와 생성된 Counterfactual Goal $\hat{L}{t}$를 통해 $\hat{U}^{user}{t}$를 Sampling하게 됩니다.
[Li et al., 2020 arXiv]
4) Filtering
User Utterance 모델이 학습된 이후에도 2가지 문제점이 있습니다.
따라서 두가지 경우의 filter를 사용하게 됩니다.
Beam Search를 통해 여러 개의 문장 후보군을 생성하고 이 두 개의 filter을 동시에 통과해야만 문장을 사용할 수 있습니다.
[Li et al., 2020 arXiv]
5) Evaluation Results
[Li et al., 2020 arXiv]
테크톡
파이프라인과 협업
모델링 자동화와 실험 검증 전략 - 구건모 캠퍼
PStage 에서 Git 으로 팀원들과 협업하기 - 최재필 캠퍼
재필님팀의 방법
→ 이 작업에는 알맞는데 깃플로우 써보는게 연습해보는데 좋을듯
Github Workflow 활용하기 - 이정현 캠퍼
액션 vs 워크플로
액션 : 개별작업
워크플로 : 깃헙 저장소에서 사용되는 자동화된 작업
yaml 으로 설정 가능
사용하시는 워크플로
프로그래밍 스킬
내 자식쯤 하나는 있어야죠 - 고지형 캠퍼
Baseline 실험 환경 구축이 중요
다양한 실험 환경을 염두에 둔 유연한 실험 환경 고민/설계하는 태도가 중요
Tip
다른 사람들의 코드를 적극적으로 이해하고 수용해서 사용하는 것이 중요
Beta Was this translation helpful? Give feedback.
All reactions