[비바100] 다 아는 LLM보다 잘 아는 sLM이 뜬다

 

챗GPT4o를 통해 생성한 'sLM과 LLM'. (편집=나유진 기자)

 

“눈물 날 정도로 비싸다.” 샘 올트먼 오픈 AI 최고경영자(CEO)가 챗GPT 출시 후 재정적 부담을 강조하며 한 말이다.

 

인공지능(AI) 시장에서 개발·운영비 문제가 중요해지면서 비용 절감 모델이 주목을 받고 있다. 테크 기업들은 거대언어모델(LLM)보다 비용 효율성이 높은 소형언어모델(sLM) 개발에도 뛰어드는 등 AI 모델 생태계를 확장하고 있다.

LLM은 모든 데이터를 학습해 서비스한다. 반면 도메인특화모델(DSM)이라고도 불리는 sLM은 특정 영역의 데이터만 학습해 이용 목적에 최적화된 서비스를 제공한다.

그간 테크 기업들은 최고의 성능을 갖춘 AI 모델을 개발하기 위해 매개변수(파라미터) 수에 집중했다. 파라미터는 AI가 연산 과정에서 고려하는 다양한 변수로, 파라미터가 많을수록 복잡한 명령어를 더 잘 이해할 수 있다. 

 

LLM인 오픈AI ‘GPT-4o’와 구글 ‘제미나이 1.5프로’의 파라미터는 1조 이상으로 추정된다. sLM의 파라미터는 통상 100억 개 내외이며 많아도 1000억 개 미만이다. 메타의 sLM ‘라마-3’은 80억 개, 마이크로소프트(MS) sLM인 ‘파이-3 미니’는 38억 개, ‘파이-3 스몰’은 70억 개, ‘파이-3 미디’는 140억 개로 알려졌다. 이보다 비교적 파라미터가 많은 sLM ‘라마3 70B’ (700억 개)도 제미나이 1.5프로 보다 적다. 파라미터가 적으면 학습에 필요한 시간과 자원도 많이 들지 않는다. 

 

◇ sLM의 가장 큰 매력은 ‘돈’

sLM은 LLM과 비교해 투자 대비 효율이 높다. 생성형 AI 개발에는 막대한 예산이 동반된다. 학습할 데이터, 학습과 추론에 필요한 그래픽처리장치(GPU) 그리고 이를 감당할 수 있는 전력 등이 필요하다. 
 

(사진=연합뉴스)

미국 스탠퍼드대는 ‘AI 인덱스 2024’ 리포트에서 지난해 오픈 AI LLM인 ‘GPT-4’ 학습 비용으로 7835만달러 (약 1090억원), 구글 ‘제미나이 울트라’는 1억 9140만달러(약 2663억원)로 추정했다. LLM ‘GPT-3’의 2020년 훈련비가 432만 달러(약 60억 원)인 점을 고려하면 4년 사이 학습비가 18배 이상 폭증했다.

모델이 크고 복잡하면 가동·유지·보수 등 관리 인력과 비용 부담도 함께 늘어난다. GPT-4o나 제미나이 1.5프로는 토큰100만개당 비용이 각각 5달러, 7달러로, 라마-3(0.2달러)보다 무려 25배 이상 비싸다. 토큰은 AI가 한 번에 처리할 수 있는 텍스트 양을 의미하는 단위다.

또 sLM은 LLM 대비 필요한 메모리 용량이 적어 여러 개의 그래픽처리장치(GPU)가 필요 없다. GPU 수급난에서도 상대적으로 자유로울 수 있다.

데이터와 연산량이 많으면 이를 처리하기 위한 전력 소비도 만만치 않다. 국제에너지기구(IEA)는 전 세계 에너지 전력 소비량에서 데이터센터와 전송 네트워크망의 비중이 최대 1.5%라고 보고했다. 코넬대학교 연구진은 GPT-3가 데이터를 학습하는 데 사용하는 전력이 1300MWh라고 발표했다. 이는 넷플릭스를 약 186년간 시청할 수 있는 양이다.

◇ '전문성'과 '온디바이스 AI'까지 잡았다

sLM의 두 번째 인기 요인은 목적에 맞는 최적화 모델이라는 점이다. 개발자와 고객들도 필요한 기능 위주로 사용해, 모든 작업에 LLM을 쓰는 것은 비효율적이다. 월스트리트저널(WSJ)은 “문서 요약이나 이미지 생성 등에 LLM을 사용하는 것은 탱크를 몰고 식료품을 사러 가는 것과 마찬가지”라고 비유했다. 로버트 블루모프 아카마이 최고기술책임자(CFO)도 “인터넷에 있는 모든 정보를 학습한 AI모델은 과잉”이라며 “기업에 있어 AI가 영화 ‘대부’의 모든 출연진을 알고, 지금까지 만들어진 모든 TV쇼를 줄줄이 꿰고 있을 필요가 없다”고 꼬집었다.

무엇보다 특정 영역의 데이터만 학습한 만큼 전문성도 높다. 스탠퍼드대 기초연구센터(CRFM)에 따르면 생물의학 논문만 학습한 sLM ‘PubMed 2.75B’은 같은 크기의 범용 모델 5개보다 더 나은 답변을 제공했다.

이외에도 MS, 삼성전자, 애플이 최근 ‘온디바이스 AI’ (기기 자체에서 AI 구동) 제품을 출시하면서 이에 적합한 sLM 수요도 증가하고 있다. sLM은 데이터를 클라우드가 아닌 기기에서 처리할 수 있어 보안 측면에서도 안전성이 높다.

◇ 글로벌 빅테크 기업들은 sLM 경쟁 참전

MS는 지난 4월 ‘파이-3 미니’를 공개하며 오픈 AI의 LLM ‘GPT-3.5’에 견줄만한 성능이라고 소개했다. 또 비슷한 기능을 가진 다른 모델과 비교했을 때 비용은 10분의 1 수준이라는 게 회사 측 설명이다. 더버지, 파이낸셜타임스(FT) 등 주요 외신에 따르면 에릭보이드 애저 AI 플랫폼 그룹 부사장은 “저렴한 비용 대비 고품질의 서비스를 제공함으로써 고객들은 그간 투자 대비 효과가 작었던 작업을 더 많이 수행할 수 있다”고 전했다.

구글은 지난 6월 머신러닝(ML) 플랫폼인 ‘버텍스 AI’를 통해 ‘제미나이 1.5 플래시’를 출시했다. 오픈AI의 LLM ‘GPT-3.5 터보’보다 약 60배 더 긴 100만 토큰의 콘텍스트 윈도우를 지원한다. 1만자 입력 기준 평균 40% 더 빠른 속도이며, 3만2000자 이상 입력 시 콘텍스트 캐싱 기능으로 입력 비용도 최대 4배 절감할 수 있다.

 

 

 

sLM 후발주자인 오픈AI는 지난 18일(현지시간) 구글과 앤스로픽의 모델을 능가하는 ‘GPT-4o 미니’를 선보였다. 회사는 공식 블로그를 통해 “현존하는 AI 모델 중 가장 유능하고 비용 효율적인 소형 모델”이라고 강조했다. GPT-4o 미니는 입력 토큰 100만 개당 비용 0.15달러, 출력 토큰 100만 개당 0.6달러로 책정됐다. GPT-3.5 터보 대비 비용은 60% 이상 저렴한데, 다중 모든 추론 기능은 더 뛰어나다. 아울러 타사 sLM과 비교했을 때도 결과가 더 좋았다. 제미나이 1.5플래시는 100만 토큰 당 0.35달러다. 대규모다중작업언어이해(MMLU) 추론 평가에서 GPT-4o 미니는 82%의 정답률을 보여, 제미나이 1.5플래시(77.9%), 앤스로픽 클로드3 하이쿠(73.8%)를 한발 앞섰다. 수학 부문에서도 87.0%를 기록해 75.5%의 제미나이와 71.7%의 클로드3를 제쳤으며 다중 모드 추론, 코딩 성능인 휴먼이벌(HumanEval)에서도 두 경쟁사 모델보다 우수한 것으로 조사됐다. 

 

◇ 네이버와 업스테이지도 sLM 대열 합류

네이버도 사용자가 용도에 따라 생성형 AI를 구축할 수 있도록 라인업을 확대했다. 네이버클라우드는 지난 4월 AI 개발 도구 ‘클로바 스튜디오’를 통해 ‘하이퍼클로바X’ 후속인 ‘HCX-DASH(대시)’를 발표했다. 컴퓨팅 자원을 효율적으로 활용해 속도를 개선했으며 가격은 하이퍼클로바X의 5분의 1 수준이다. 네이버는 HCX-DASH가 문장 생성·변환, 분류, 요약과 같은 비교적 단순한 업무부터 보고서 작성·맞춤형 챗봇 구현에서도 높은 성능을 보인다고 설명했다.

 

 

국내 AI 스타트업 업스테이지는 매개변수 107억 개의 sLM ‘솔라(Solar)’를 개발했다. 솔라는 지난해 12월 허깅페이스의 ‘오픈 LLM 리더보드’에서 알리바바 ‘큐원’, 미스트랄AI의 ‘믹스트랄’, 메타의 ‘라마2’, GPT-3.5 터보를 제치고 1위를 차지했다. 허깅페이스는 오픈소스 생성 AI모델의 기준이 되는 지표로 추론·언어 이해· 상식 등 6개 항목을 두고 순위를 매긴다.

현재 솔라는 프롬프트 당 최대 4000 토큰을 입력할 수 있다. 향후 믹스트랄 8x7B(3만2000토큰), 라마 2(1만6000토큰)를 능가하는 6만4000토큰까지 처리 규모를 확대할 계획이다. 아울러 업스테이지는 금융, 보험, 의료, 교육 등 목적별 특화 언어 모델 고도화에 집중해 글로벌 시장을 공략할 것이라고 밝혔다.

한편, 미국 시장조사기관 벨류에이츠리포트는 sLM 시장 규모가 2022년 51억8000만달러(약 7조2000억원)에서 2029년 171억8000만달러(약 23조9000억원)까지 계속 성장할 것이라고 내다봤다. 


나유진 기자 yujin@viva100.com