NLP 논문 리뷰 (2) 썸네일형 리스트형 Adapter 논문 링크 : https://arxiv.org/pdf/1902.00751.pdf 0. Abstract fine-tuning은 pretrained model을 이용하는 효과적인 방법입니다. 하지만 많은 downstream task에서 fine-tuning을 통해 새로운 model을 다시 만들어야 해서 비효율적입니다. 그에 대한 해결책으로 해당 논문에서는 Adapter Tuning을 제시합니다. 1. Introduction 1> 각 task별로 model을 더 학습하지 않아보려고 함 → compact하면서도 extensible한 model을 만들어보려고 함. (가능한 task는 많은데 parameter는 줄려보려고 함) cf> transfer learning 방식 원래는 feature-based transf.. DeVLBERT : Learning Deconfounded Visio-Linguistic Representations 논문 링크 : https://arxiv.org/pdf/2008.06884.pdf github 링크 : https://github.com/shengyuzhang/DeVLBert Casual Inference에 대한 배경지식 1) Association vs Casuality 1> association : 상관관계 반드시 인과 관계를 의미하는 것이 아니라 관측되는 측정값을 통해 얻는다. 우리가 일반적으로 알고 있는 P(A|B)에 해당합니다. 2> casuality : 인과관계 실제로 두 확률 변수 event에 인과관계가 존재하는지를 파악합니다. 그래서 association과 달리 관측만으로는 알아낼 수 없습니다. P(A|do(B))로 표기합니다. 2) Example 3) Confounder 위의 예시에서 아이.. 이전 1 다음
