[실험] CHAN-DST 실험 과정 및 결과

[dkswndms4782]

Description: * TRADE 모델의 Slot Gate 변경 * TRADE 모델의 Encoder 변경

시작일: 2021년 5월 8일

실험자: 유진 안, Moonjong Shin

제안자: 창우 이, Moonjong Shin, 재우 선, 유진 안, HS J

종료일: 2021년 5월 18일

진행상황: 완료

카테고리: Modeling, Training

Issue No. :

#27[Feature] Add CHAN-DST

문제 정의

• 현재 SOTA 모델인 CHAN-DST를 사용하고자 함

---

해결 아이디어

1. 논문 리뷰
2. 현재 데이터에 맞게 전처리코드 생성 후 적용
3. inference코드 생성
4. 최종 코드 적용

---

진행 상황

1. 논문리뷰

2. 현재 데이터에 맞게 전처리코드 생성 후 적용

   # train data example을 만들기 위한 code
   def chan_dst_examples(data_dir, dataset):
       ontology = json.load(open(f"{data_dir}/ontology.json"))
       slot_meta = json.load(open(f"{data_dir}/slot_meta.json"))
       train_dials = dataset
   
       ontology_label = {}
       for idx, i in enumerate(ontology.keys()):
           ontology_label[i] = idx
   
       examples = []
       for dials in train_dials:
           dial_idx = dials["dialogue_idx"].split(":")[0]
           dial_idx = dial_idx.split('-')
           dial_idx = '_'.join(dial_idx)
           guid = "%s-%s" % ("train", dial_idx)
           turn = 0
           label = ["none" for i in range(45)]
           update = [0 for i in range(45)]
           for idx, dial in enumerate(dials["dialogue"]):
               if dial['role'] == 'user':
                   continue
               text_a = dials['dialogue'][idx - 1]['text']
               text_b = dial['text']
               guid_tmp = f"{guid}-{turn}"
               turn += 1
               for state in dials['dialogue'][idx - 1]['state']:
                   d, s, v = state.split('-')
                   if label[ontology_label[f"{d}-{s}"]] == 'none':
                       label[ontology_label[f"{d}-{s}"]] = v
                       update[ontology_label[f"{d}-{s}"]] = 1
                   else:
                       update[ontology_label[f"{d}-{s}"]] = 0
               examples.append(
                   deepcopy(CHANExample(guid=guid_tmp, text_a=text_a, text_b=text_b, label=label, update=update)))
       return examples
   # 각 slot의 label개수 list만들기
   def make_num_label(data_dir):
       ontology = json.load(open(f"{data_dir}/ontology.json"))
       num_label = []
       for i in ontology.keys():
           num_label.append(len(ontology[i]))
       return num_label
   
   # 각 slot의 label들의 list
   def make_label_list(data_dir):
       ontology = json.load(open(f"{data_dir}/ontology.json"))
       label_list = [ontology[slot] for slot in ontology.keys()]
       return label_list
   
   # 각 slo들의 list
   def get_target_slot(data_dir):
       ontology = json.load(open(f"{data_dir}/ontology.json"))
       return list(ontology.keys())

3. inference코드 생성

   # test data example을 만들기 위한 code
   def chan_dst_test():
       ontology = json.load(open("/opt/ml/input/data/train_dataset/ontology.json"))
       train_dials = json.load(open("/opt/ml/input/data/eval_dataset/eval_dials.json"))
   
       ontology_label = {}
       for idx, i in enumerate(ontology.keys()):
           ontology_label[i] = idx
   
       examples = []
       for dials in train_dials:
           dial_idx = dials["dialogue_idx"].split(":")[0]
           dial_idx = dial_idx.split('-')
           dial_idx = '_'.join(dial_idx)
           guid = "%s-%s" % ("train", dial_idx)
           turn = 0
           label = ["none" for i in range(45)]
           update = [0 for i in range(45)]
           for idx, dial in enumerate(dials["dialogue"]):
               if dial['role'] == 'user':
                   continue
               text_a = dials['dialogue'][idx - 1]['text']
               text_b = dial['text']
               guid_tmp = f"{guid}-{turn}"
               turn += 1
               examples.append(
                   deepcopy(CHANExample(guid=guid_tmp, text_a=text_a, text_b=text_b, label=label, update=update)))
       return examples
   
   # 예측값을 줬을때 label값으로 바꿔주는 recover_state
   def recover_state(pred_slot):
       label_list = make_label_list(args.data_dir)
       slot = json.load(open("/opt/ml/input/data/eval_dataset/slot_meta.json"))
       label_map = [{i: label for i, label in enumerate(labels)} for labels in label_list]
       prediction = []
       for i in range(45):
           if label_map[i][int(pred_slot[i])] != 'none':
               prediction.append(f"{slot[i]}-{label_map[i][int(pred_slot[i])]}")
       return prediction
   
   # evaluation dataset의 guid를 dialogue단위로 list로 만들어주는 함수.
   def eval_guid():
       test_dials = json.load(open("/opt/ml/input/data/eval_dataset/eval_dials.json"))
       guids = []
       for dials in test_dials:
           guid = []
           dial_idx = dials['dialogue_idx']
           for i in range((len(dials['dialogue'])//2)):
               guid.append(f"{dial_idx}-{i}")
           guids.append(guid)
       return guids
   
   # inference code
   with torch.no_grad():
                   pred_slot = model(input_ids, input_len, labels = None)
                   if not os.path.exists(args.output_dir):
                       os.mkdir(args.output_dir)
                   for i in range(pred_slot.size(0)): # 16
                       for j in range(len(eval_guid[i + (idx * args.eval_batch_size)])): # turn 개수만큼 pred_slot예측 해줄거
                           prediction[eval_guid[i + (idx * args.eval_batch_size)][j]] = recover_state(pred_slot[i][j])
   
   json.dump(
               prediction,
               open(f"output_model.csv", "w"),
               indent=2,
               ensure_ascii=False,
           )

---

결과

• 100에폭 돌렸을 때
  

• 300에폭 돌렸을 때
  

평가

• ontology기반이기때문에 높은 성능을 낼것이라 예상했지만 joint goal accuracy가 낮음.

후속 실험

• 성능이 낮게 나오는 이유 찾기
• 다른 모델과 앙상블