728x90 Deeplearnig1 [간단한 Review] Deep contextualized word representations (ELMo) Abstract Deep contextualized word representation 모델은 아래의 사항들을 내포하고 있다. 단어의 복잡한 특성 단어 사용이 언어적인 문맥에서 다양한지 (모델의 다형성) 예를 들어, Bank라는 단어를 생각해보자. Bank Account(은행 계좌)와 River Bank (강둑)에서의 Bank는 전혀 다른 의미를 가지게 된다. 따라서 같은 표기의 단어더라도 문맥에 따라 다르게 워드 임베딩을 한다면 성능을 향상시킬 수 있을 것이다. 따라서 Contextualized Word Embedding 방식 즉, 문맥을 반영한 워드 임베딩을 활용한 모델을 이 논문에서 제안했다. ELMo : Embedding from Language Models RNN 언어 모델은 문장으로부터 단어 .. 2023. 5. 22. 이전 1 다음 728x90
