728x90 Natural Language Processing/Question Answering5 [Paper 간단 리뷰] Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks 기존의 BERT와 RoBERTa 모델은 sentence classification과 sentence-pairregression task에서 SOTA를 달성했다. 하지만, sentence similarity를 탐색하는 task에서는 두 개의 문장을 network에 입력해야 하고, 많은 연산량을 요구하게 된다. 따라서 위 문제점을 해결하기 위해, siamese/triplet network를 이용하여 보완한 SBERT 방법을 제안한다. Introduction 위에서도 잠깐 언급했지만, BERT와 RoBERTa 모델이 sentence-pairregression task에서 SOTA를 달성했지만, 두 개의 문장이 transformer network입력으로 들어가게 되므로(cross encoder) 오버헤드가 발생.. 2023. 8. 25. [ODQA] RAG 이후 간단 리뷰 RAG 이후 나온 논문들은 Retriever-Generator 구조를 취하고 있다. 이는 별도의 Pretrain을 거치지 않고 학습된 Retriever인 DPR을 사용하며 초기 Retriever로 BM25를 사용하는 경우가 있다. 이때, Retriever가 Passage를 산출하는 방식은 REALM과 동일하다. 또한 k개의 Passage에 대해 Reader가 아 Generator의 Encoder가 생성한, 각각의 Passage가 생성 Hidden Representation을 concat을 한다. 이후 concat한 Hidden Representation에 대해서 Decoder가 다 cross attention을 수행해서 Answer를 생성하게된다. 즉, ODQA에서 RAG이전의 논문들은 span을 pre.. 2023. 8. 11. [ODQA] DRQA, ORQA, REALM 간단한 설명 Open Domain Question Answering (ODQA) vs Konwledge-Intensive Task (KIT) ODQA: 연속된 토큰 (Continuous Span)으로 Answer 존재 가능 (항상 그런것은 아님) KIT: Passage 내 Answer 토큰이 존재하지 않음 ODQA의 연구 흐름 RAG는 이전 ODQA 연구를 연결하여 Knowledge Intensive Task로 확장한다. RAG 이후 연구인 FiD ~ Atlas는 RAG 기반이다. DrQA 질문이 주어졌을 경우, Wikipedia로부터 passage로 활용할 수 있는 k개의 후보 문서를 가져온 다음, 가져온 passage와 question을 Reader의 입력으로 활용하여 Answer를 산출하는 방식이다. (이때, .. 2023. 8. 5. [Paper Review] Dense Passage Retrieval for Open-Domain Question Answering 란 Background ORQA가 등장하기 전에는 TF-IDF/BM25를 능가하는 Dense Retrieval이 없었다. 하지만 ORQA 역시 약점을 가지고 있다. ICT(inverse cloze task) pre-training을 활용하였는데 이 방식은 연산량이 많다. ORQA의 경우 BERT로 쪼개진 wiki문장에서 10%의 임의 문장을 가져오는데, 이 문장이 질문으로 적합한지가 애매하다. Passage Encoder를 fine-tuning하지 않기 때문에, 이는 최적화된 방법이 아니다. Question과 Passages(or Answer)만 가지고 추가적인 pretraining없이 더 나은 dense embedding model을 학습할 수 있을까? 위 질문을 기반으로 Dense Passage Retr.. 2023. 6. 28. 이전 1 2 다음 728x90
