요즘 ChatGPT의 인기 덕분에 LLM(Large Language Model)이 큰 관심을 받고 있습니다.
혹시 LLMOps라는 컨셉에 대해 들어보셨나요?
이미 많이 알고계신 DevOps(Development + Operations)와 같은 원리로 LLM과 Operations가 합쳐진 용어인데요.
LLMOps는 LLM의 전체 라이프 사이클 주기 동안 모델을 효율적으로 개발, 배포, 관리할 수 있도록 특화된 방법론 및 프로세스를 의미합니다.
LLMOps가 필요한 이유
그렇다면 LLMOps가 왜 필요할까요? 가장 큰 이유는 보안 때문입니다.
어떤 기업의 직원이 외부의 LLM 제공업체의 서비스를 이용한다고 가정해보겠습니다. 이 직원은 자신의 업무 수행에 도움을 받기 위해 외부 LLM 서비스에 이것저것 질문을 할 텐데요.
이때 회사 내부 정보도 질문에 포함될 가능성은 충분히 있겠죠. 게다가 이런 질문들은 LLM 제공업체의 서버로 전송되기 때문에, 기업 입장에선 외부 LLM 서비스를 이용하기 어렵습니다.
이런 이유로 기업 내부에서 자체 LLM 서비스를 운영 및 관리하는 경우가 생기기 시작합니다. 그리고 효율적이면서 고도화된 LLM 학습, 운영, 관리를 위해 LLMOps가 필요하게 되는 것이죠.
LLMOps의 동작 방식
LLMOps 주기는 아래와 같이 나눌 수 있습니다.
- FM(Foundation Model) 선정
- Use Case에 맞춰 적용
- 평가(Evaluation)
- 배포
- 모니터링
그리고 LLMOps의 Workflow를 도식화하면 아래 그림처럼 표현할 수 있죠.
MLOps와 LLMOps의 차이점
LLMOps가 나오기 전에 이미 MLOps라는 용어가 있었습니다. 머신러닝 모델의 학습, 개발, 관리를 위해 생겨난 개념인데요.
두 개념 모두 AI 모델의 전체 개발 주기를 대상으로 한다는 공통점이 있지만, 차이점도 있습니다. LLMOps를 좀 더 잘 이해할 수 있도록 MLOps와의 차이점을 살펴보겠습니다.
먼저 LLMOps에서는 FM(Foundation Model)을 사용합니다. 대규모 학습이 필요한 LLM의 특성상, AI 모델을 처음부터 새로 만들고 학습시키려면 엄청난 규모의 자원이 소모되기 때문입니다.
- FM은 기반 모델이란 뜻으로, 다양한 도메인의 대규모 데이터셋으로 미리 학습된 모델을 의미합니다.
- 참고로 이렇게 FM을 기반으로 AI 모델을 학습/운영하는 접근법은 FMOps라고 하며, 현재 FMOps와 LLMOps라는 용어는 엄격히 구분하지 않고 혼용됩니다.
또한 LLMOps 관점에선 사용자의 피드백이 성능 개선에 중요하므로, 피드백 데이터가 모델에 반영될 수 있는 파이프라인 설계가 추가로 필요하다는 차이점도 있습니다.