728x90 전체 글74 [Paper Review] Dense Passage Retrieval for Open-Domain Question Answering 란 Background ORQA가 등장하기 전에는 TF-IDF/BM25를 능가하는 Dense Retrieval이 없었다. 하지만 ORQA 역시 약점을 가지고 있다. ICT(inverse cloze task) pre-training을 활용하였는데 이 방식은 연산량이 많다. ORQA의 경우 BERT로 쪼개진 wiki문장에서 10%의 임의 문장을 가져오는데, 이 문장이 질문으로 적합한지가 애매하다. Passage Encoder를 fine-tuning하지 않기 때문에, 이는 최적화된 방법이 아니다. Question과 Passages(or Answer)만 가지고 추가적인 pretraining없이 더 나은 dense embedding model을 학습할 수 있을까? 위 질문을 기반으로 Dense Passage Retr.. 2023. 6. 28. [QA task] QA task, Open-domain QA Question Answering 방식은 Method 관점과 Domain 관점으로 분류할 수 있다. Question Answering - Method Method에 기반한 QA 방식은 Extraction-based와 Generation-based로 카테고리를 나눌 수 있다. Extraction-based QA Context 내에 질문에 대한 답변이 존재 Context 내 답변이 위치하는 start/end token의 위치를 예측하는 등의 분류 수행 정답과의 Exact Match (EM), F1 score로 평가 Example) Quesion: 북태평양 기단과 오호츠크해 기단이 만나 국내에 머무르는 기간은? Context: 올여름 장마가 17일 제주도에서 시작됐다. 서울 등 중부지방은 예년보다 사나흘 정도.. 2023. 6. 27. [Poetry 사용법] 설치 및 jupyter-notebook 실행 방법 (참고: ERROR. poetry not found) Poetry는 python package dependancy를 관리하는 패키지 이다. Install curl -sSL https://install.python-poetry.org | python3 - poetry config virtualenvs.in-project true Quick start!! # 작업 폴더 생성 mkdir poetry_test cd poetry_test # poetry initiation poetry init ''' [아래 그림1]poetry init 실행시 Package name, Version, Description, Author, License 등 입력하라고 한다. 다른 것들은 그냥 Enter를 눌러서 스킵해도 되지만, Python version은 ~3.8로 두고 시작. 그렇.. 2023. 6. 15. [논문리뷰] LoRA: Low-Rank Adaptation of Large Language Models 이번에 리뷰할 논문은 모델 Efficency를 개선하는 측면 중 Parameter-Efficient Fine-Tuning (PEFT)에 근간이 될 수 있는 LoRA 논문에 대해 리뷰하려고 한다. Background Pre-trained 모델은 다양한 downstream task에 적용할 수 있다. 이러한 downstream task들은 pre-trained된 모델을 fine-tuning함으로써 성능을 높일 수 있다. ※ Dowmstream task? Summarization, Machine Reading Comprehension 등 그렇다면 fine-tuning은 어떠한 과정으로 이루어 지는것일까? Fine-tuning과정에서 모델은 pre-trained된 weight를 초기화 한 다음, object f.. 2023. 6. 11. 이전 1 ··· 3 4 5 6 7 8 9 ··· 19 다음 728x90