[Day 14 - 5/13] 멘토님 세션

[karim-moon]

발표내용

1. 문종님 실험
   1. 좋은 실험이었다.
   2. 이런거 하다보면 얻어걸릴 수도 있는거다.
2. Som_DST 정리
   1. 창우님: Multi WOZ에 맞춰져 있기 때문에 우리 모델에 맞게 fit하는 과정이 필요하다.
   2. 멘토님: 구현시 시간이 얼마나 걸릴지 조금 걱정되기는한다.
      다른 팀들도 눈독들이는 모델 → SOM-DST를 적용하는것이 상대적으로 성능이 좋게 나올 것이라 생각한다.
3. Transformer_DST 정리
   1. 모델 최종 선정에 있어서 Due date을 정하는게 중요하다
4. CHAN_DST 정리
5. 깃 관리법

프로세스에서 겪었던 역경이 있을까??

희석님: 논문 구현시 겪는 어려움과 추후 CoCo-DST로 증강 예정→ 시간적인 부분이 정말 걱정된다.

멘토님: 각자 세 논문 → 본인의 영역에서 최선을 다 해야한다. → 뇌를 앙상블하기 위해서 한 모델이 삐걱대면 좋은 방향으로 가기 힘들다.

희석님: 아직 inference를 너무 못해봐서

멘토님: 시간안배를 고려하여 나중에 더 좋은 가설이 있더라도 실험하지 못하니 최대한 시간적인 부분을 효율적으로 활용하는것이 좋다.
다른팀이 한 방향도 체크하는것이 좋다.

dst슬랙 채널에 좋은 리소스들이 많이 올라오니 참고하면 좋을것

유진님 질문

모델을 여러개 다루고있는 와중

• 가장 잘 나온 모델 하나를 사용하는게 좋을까?
• 각 논문, 모델에서 좋은 점을 뽑아서 쓰는것이 좋을까??

각 모델 코스트와 효율이 있는데 결과론적으로는 앙상블이 좋은 결과를 낸다

하지만 시간적인면을 고려해야하고
앙상블을 한다고해서 dramatic한 결과를 낸다면 좋겠지만 만족할만한 임계점을 넘는다는 보장이 없다면 single model이 더 좋을 수 있다

희석님: soft voting, hard voting, stacking이 있는데 어느 앙상블 기법을 주로 사용하시나요?

멘토님:

• hard voting: 다수결의 원칙
• soft voting: MLE(mos liklyhood estimation)

결과를 보고 각 모델의 분산이 크다면 soft voting

분산이 적다면 hard voting쪽으로 가는게 일반전

멘토님은 Soft voting 추천!!

Hard voting을 해봤을 때 더 잘 나오는 경우도 있지만 대부분은 Soft voting을 사용합니다.

질문

1. 저희가 여러 모델을 다뤄보고 있는데 각 모델에서 idea를 합쳐 새 모델을 만드는것은 현실적으로 힘들까요?

이슈

1. 베이스라인 코드 성능저하, 디버깅 필요

계획

1. 각모델 적용 후 성능비교
2. COCO 로 데이터 증강후 학습
3. 후처리 문제 처리

멘토님 마지막 조언

• 실패를 경험삼아 다음 스텝에 적용하는것이 정말 중요하다
• 시간안배를 하는것이 정말정말정말 중요하다
  • 현업에 가서는 시간을 고려하여 일을 하는것이 정말정말 중요하다
  • 나때문에 일 자체가 늦어지는 경우가 있기도....
  • 지금부터 연습을 해보는것이 좋다.