NLG (4) 썸네일형 리스트형 [자연어생성] 2-6강~2-8강 참고 강의 :https://bit.ly/3pFI7r5 5. Perplexity 1) NLG에서의 평가 방법 0> 평가 예시 이 중 1에 더 높은 평가를 줍니다. 1> Intrinsic evalution (정성 평가) : 사람이 직접 맞고 틀리고를 평가합니다. ⇒ 정확하지만 ⇒ 시간과 비용이 많이 들어간다. 2> Extrinsic evaluation (정량 평가) : 컴퓨터가 평가합니다. ⇒ 시간과 비용을 절약할 수 있습니다. (Intrinsic evaluation과 평가가 비슷할 수록 좋은 방법) 2) Perplexity 0> 좋은 LM이란? [1] 실제 사용하는 ground truth 언어의 분포를 [2] 잘 근사해야 한다. 실제 사용하는 언어 ⇒ 잘 정의된 test data 분포를 잘 근사 ⇒ 문장의.. [자연어생성] 2-3강~2-5강 참고 강의 :https://bit.ly/3pFI7r5 3. n-gram Language Modeling (Markov Assumption) 0) 좋은 모델이란? generalization이 잘 되어 있는 model ⇒ 최대한 Ground Truth Language Model을 approximate해야 한다. 1) Count based Approximation 0> 예시 1> sequence 다음에 단어가 올 확률 (generalized equation) $$⁍$$ ⇒ $seq_{n-1}$ 다음에 $x_{n}$이 올 확률 2> 문제점 이와 같은 word sequence($seq_{n-1}$)가 없으면 ⇒ 위의 approx 분수식은 분모가 0이 됩니다. 2) Markov Assumption word sequ.. [자연어생성] 1-4강~2-2강 참고 강의 :https://bit.ly/3pFI7r5 5. Intoduction to NLG 1) Our Objective 컴퓨터가 인간이 만들어놓은 대량의 문서를 통해 정보를 얻고, (NLU) 얻어낸 정보를 사람이 이해할 수 있게 사람의 언어로 표현하는 것 (NLG) 2) Before Sequence-to-Sequence : text-to-numeric 단순히 text를 숫자로 변환하는 것에 그쳤습니다. 3) After Sequence-to-Sequence with Attention : numeric-to-text Seq2Seq의 Decoder라는 구조가 있어서 이제는 숫자를 text로 만드는 것도 가능해집니다. 4) Era of Attention 1> Transformer의 등장으로 인해 연구가 더 .. [자연어생성] 1-1강~1-3강 참고 강의 : https://bit.ly/3pFI7r5 1. Probabilistic Perspective 1) Machine Learning을 이용하는 목적성 1> 목표 : input에 대한 output을 잘 출력하는 최적의 신경망(함수) 찾기 ⇒ 최적의 parameter 찾기 (함수를 모사하고 있다.) 2) 사실 최적의 확률 분포 함수를 찾고 있다. ⇒ 이 그림이 토끼일 확률도 있고 오리일 확률도 있습니다. ⇒ 이처럼 '이 사진이 정확히 어떤 class이다' 말하기 어렵고 '이 사진이 어떤 확률 분포를 가진다.'라고 말하는 것이 더 정확합니다. (사실 확률 분포를 모사하고 있다.) 1> 목표 수정 : input에 대한 output을 잘 출력하는 최적의 확률 분포 함수 찾기 2> 가상의 확률 분포 함수.. 이전 1 다음
