[LLM Bootcamp 리뷰] Launch an LLM App in One Hour

Introduction

1960년대에도 인공지능에 대한 이야기가 나왔었다. 하지만, 지금과 예전과 가장 큰 다른점은 현재는 하나의 툴써로 large language model이 사용해 다양한 task를 수행할 수 있다는 점이다.

 

그렇다면 large language model이 무엇인가? 라고 했을 때, 가장 핵심적인 것은 다음에 올 단어를 예측하는 것이다.

 

이렇게 large language model이 사람과 상호작용하기 위해서는 Language User Interface가 가장 중요한 요소다.

 

따라서 Language user interface에 관한 내용 또한 1960년대부터 대두되기 시작했다.

(ELIZA는 채팅 로봇 치료사이며, Ask Jeeves는 최초의 검색엔진 이다.)

이때, 1990년도에는 Natural Language Understanding이 User Interface를 위한 첫 걸음이라고 언급되었다.

 

 

그렇다면 1960년대 이후 AI는 어떻게 되었을 까?

AI 산업의 겨울이 오게 되었다. 그 이유는 높은 기대치와는 다르게 결과가 잘 나오지 않았으며, 비용이 너무나도 많이 들었기 때문이다. 또한 상업적으로 번역을 활용하기 에는 충분하지 않았기 때문이다.

 

 

2020년대에 오면서 AI Winter를 피하기 위해 가치있는 상품을 개발해야 한다.

Good news로는 연구만 되어지는 것이 아니라, Deep Speed, Open Assistant, Paintor 등이 깃에 인기있는 프로젝트로 오르고 Huggingface Spaces에 많은 데모들이 올라오면서 활발하게 발전되고 있다. 

 

하지만, 1988년도부터 꾸준히 자율주행에 관한 연구가 진행되었음에도 불구하고 아직까지도 완전한 자율주행은 없는것이 현실이다.

 

그렇지만, 이전과는 다르게 ChatGPT, Copilot 등 상업적으로도 성과를 보이고 있다. 

 

Prototyping & Iteration

Notebook을 활용함으로써 프로토타입을 만들고, 언어 모델의 한계점을 발견할 수 있다. 따라서 꿀팁으로 논문을 요약하거나 할때, abstract도 함께 prompt에 입력한 다음 요약해달라고 하면 정확한 답변을 얻을 수 있다. (즉 원천을 어느정도 제공한다면 좋은 답변을 얻을 수 있다.) 

위 사진에서 보이는 과정은 Colab을 활용하여 실험환경을 구축할 수 있으며, OpenAI의 API를 활용해서 language model과 상호작용할 수 있다.

또한 Lang chain 오픈소스 프레임워크를 활용해서 OpenAI와 상호작용을 통해 빠르게 애플리케이션을 구축할 수도 있다.

서버같은 경우에도 Modal이라는 툴을 활용해 serveless로 모델을 배포할 수도 있다.

 

따라서 이전에는 MVP를 개발하기 위해 데이터 수집부터, 서버 개발까지 힘든 과정을 거쳤다면 현재는 이 과정을 생략한채로 개발을 쉽게 할 수 있다.

---

느낀점 및 알게된 점

확실히 예전보다 애플리케이션 개발하는것이 쉬워졌다는 생각이 들었다. 그리고 이에 걸맞는 Lang Chain, Modal이라는 새로운 오픈소스도 출현하게 되면서 더욱더 개발을 용이하게 해준다. 하지만, 위에 언급된 프레임워크들은 프론트 엔드 개발 프레임워크인 React또한 빠르게 업데이트 되는것처럼 빠르게 업데이트 된다고 한다. 따라서 이 프레임워크들이 업데이트 되는 것들을 follow-up하면서 내가 개발하는 애플리케이션도 주기적으로 업데이트를 꼭 해야겠다.

 

https://fullstackdeeplearning.com/llm-bootcamp/spring-2023/launch-an-llm-app-in-one-hour/

 

The Full Stack - Launch an LLM App in One Hour

 

https://modal.com/docs/guide

Introduction to Modal

https://github.com/modal-labs/modal-examples/blob/main/06_gpu_and_ml/openllama.py

GitHub - modal-labs/modal-examples: Examples of programs built using Modal