[ODQA] RAG 이후 간단 리뷰

RAG 이후 나온 논문들은 Retriever-Generator 구조를 취하고 있다.

 

 

이는 별도의 Pretrain을 거치지 않고 학습된 Retriever인 DPR을 사용하며 초기 Retriever로 BM25를 사용하는 경우가 있다.

이때, Retriever가 Passage를 산출하는 방식은 REALM과 동일하다. 또한 k개의 Passage에 대해 Reader가 아 Generator의 Encoder가 생성한, 각각의 Passage가 생성 Hidden Representation을 concat을 한다. 이후 concat한 Hidden Representation에 대해서 Decoder가 다 cross attention을 수행해서 Answer를 생성하게된다.

 

즉, ODQA에서 RAG이전의 논문들은 span을 prediction하는 방법으로 진행했다면, RAG이후는 Generator의 Decoder가 Passage들의 Hidden Representation에 대해 Cross Attention을 수행하며 Answer를 생성하는 방식이다.

 

그렇다면, 어떻게 Retriever 학습에 필요한 Signal을 생성하는가?

 

• Atlas 등의 RA 기반 모델은 Generator를 통해 Retiever 학습에 필요한 signal을 생성한다.
• 먼저 KL-Divergence Loss를 통해서 Loss function을 고정하게 된다. 학습에 필요한 signal자체는 Pseudo Label을 통해 만들어지게 된다. Pseudo Label은 Attention Score를 기반한다.

REALM에서는 Answer추론 시 Passage가 도움이 되는 정도를 활용했다면, Atlas에서는 Answer 산출 시 Passage에 attention하는 정도를 봤다고 생각하면 된다.

---

아래 유투브 영상을 기반으로 작성된 글 입니다.

https://www.youtube.com/watch?v=gtOdvAQk6YU