본문 바로가기

NLP 연구실 업무/DSTC9 - SIMMC

 (3)
코드 분석 - Task 3 0. Shell 파일 분석 1) run_preprocess_gp2.sh 1> argument의 개수에 따른 argument 할당 방식 #!/bin/bash if [[ $# -lt 1 ]] then PATH_DIR=$(realpath .) PATH_DATA_DIR=$(realpath ../data) else PATH_DIR=$(realpath "$1") PATH_DATA_DIR=$(realpath "$2") fi 2> 전처리 방식의 분류 DOMAIN : Furniture vs Fashion Multimodal : Multimodal vs non-multimodal dataset 종류 : train vs dev vs devtest (vs test) ※ 그래서 해당 파일처럼 여러가지의 경우의 수가 있을 수 있..
코드 분석 - Task 1, 2 1. 코드 구조 1) shell argument option.py : shell argument add 2) train & validation 진행 train_simmc_agent.py : train SIMMC baseline eval_simmc_agent.py : evaluate 3) dataloader loader/ : DataLoader (SIMMC data) 1> loader_base.py : 추후 loader_simmc가 상속해서 활용 2> loader_simmc.py : simmc dataset의 dataloader 만든다. 4) Model model/ : Model 파일들 존재 0> assistant.py : 아래 모델의 총합 1> encoders/ : Utterance & History E..
[Background] Situated and Interactive Multimodal Conversations Situated and Interactive Multimodal Conversations Seungwhan Moon∗ , Satwik Kottur∗ , Paul A. Crook† , Ankita De† , Shivani Poddar† Theodore Levin, David Whitney, Daniel Difranco, Ahmad Beirami Eunjoon Cho, Rajen Subba, Alborz Geramifard Facebook Assistant & Facebook Conversational AI Research reference : https://arxiv.org/pdf/2006.01460.pdf cf> 용어 정리 Multimodal input : vision, 이전 상호 작용에 대한 기억 (u..

티스토리툴바