728x90 전체 글74 [Transformer optimize scheduler] Huggingface에서 제공하는 함수 Huggingface에서 제공하는 transformer optimize scheduler중 가장 많이 사용되는 함수에 대해 간략히 정리해보고자 한다. get_constance_schedule 학습률을 일정한 상수로 유지하는 역할을 수행. 따라서 입력된 optimizer에 대한 learning rate scheduler를 생성하고 반환한다. 학습률을 동적으로 조정하는 대신 고정된 학습률을 사용하고자 할떄 유리하다. get_constance_schedule_with_warmup 일정한 상수 학습률을 유지하면서 동시에 warm-up 기간 동안 학습률을 선형적으로 증가시키고 이후에는 일정한 학습률을 유지하는 역할을 한다. num_warmup_steps: 총 훈련 스탭 수에 대한 일정 비율로 설정된다. 예를들어,.. 2023. 5. 26. [Data Augmentation in NLP] 1. NLP에서 데이터 증강 하는 방법 자언어 처리 프로젝트를 진행하다보면, 성능을 높이기 위해 고려되는 방법 중 하나로 "데이터 증강" 이 있다. 데이터 증강에도 여러가지 방법이 있는데, 하나씩 알아보면서 실제 모델을 만들고 패키지로 제공하려고 한다. Paraphrasing-based methods 데이터를 증강하기 위해 아래 그림과 같이, 단어 레벨, 구문 레벨, 문장 레벨로 데이터를 증강하는 방법이 있다. 그 중, 첫번째로 Thasaurus방식에 대해 먼저 알아보고자 한다. Thasaurus (유의어로 대체) 문장이 있을 때, 특정 단어를 비슷한 의미를 가진 단어로 대체하는 방법이 있다. 예를 들어, "나는 정말 굉장한 일을 하고 있어" 라는 문장이 주어졌을 때, "굉장한" 이라는 단어를 "엄청난" 이라는 단어로 바꾸는 것이다. 따라서 .. 2023. 5. 25. [간단한 Review] Deep contextualized word representations (ELMo) Abstract Deep contextualized word representation 모델은 아래의 사항들을 내포하고 있다. 단어의 복잡한 특성 단어 사용이 언어적인 문맥에서 다양한지 (모델의 다형성) 예를 들어, Bank라는 단어를 생각해보자. Bank Account(은행 계좌)와 River Bank (강둑)에서의 Bank는 전혀 다른 의미를 가지게 된다. 따라서 같은 표기의 단어더라도 문맥에 따라 다르게 워드 임베딩을 한다면 성능을 향상시킬 수 있을 것이다. 따라서 Contextualized Word Embedding 방식 즉, 문맥을 반영한 워드 임베딩을 활용한 모델을 이 논문에서 제안했다. ELMo : Embedding from Language Models RNN 언어 모델은 문장으로부터 단어 .. 2023. 5. 22. ImportError: Using the `Trainer` with `PyTorch` requires `accelerate`: Run `pip install --upgrade accelerate`에러 1. accelerate 설치 pip install accelerate 하지만 accelerate 설치 후에도 실행해보면, "NameError: name 'PartialState' is not defined" 에러가 또 뜬다. 2. 재설치 후, 노트북 재 실행 해결 방안으로는 아래 명령어를 입력한 후, 주피터 노트북을 다시 시작하면 해결된다. pip uninstall -y transformers accelerate pip install transformers accelerate 2023. 5. 19. 이전 1 ··· 5 6 7 8 9 10 11 ··· 19 다음 728x90
