▶ 딥시크가 이용한 ‘증류’ 방식으로 ‘s1’ 개발…구글 제미나이 2.0 기반

딥시크 로고 [로이터]
중국 인공지능(AI) 스타트업 딥시크가 저렴한 비용으로 성능이 우수한 AI 모델을 개발했다고 주장하며 주목받는 가운데 미 대학 연구진들도 낮은 비용으로 AI 모델을 개발했다.
스탠퍼드대와 워싱턴대 AI 연구진은 최근 발표한 연구 논문에서 50달러도 안 되는 클라우드 컴퓨팅 비용으로 최첨단 AI 추론 모델을 훈련했다고 밝혔다.
's1'이라는 이름의 이 모델은 수학 및 코딩 능력 테스트에서 오픈AI의 'o1'(오원), 딥시크의 'R1'과 필적하는 성능을 보인다고 연구진은 설명했다.
o1은 오픈AI가 지난해 처음 출시한 추론 모델이다. R1은 딥시크가 지난달 선보인 추론 모델로, o1과 성능이 비슷한 것으로 알려져 있다.
s1 모델과 훈련에 사용된 데이터 및 코드는 개발자들이 코드와 파일을 저장하고 관리할 수 있도록 도와주는 웹 기반 플랫폼 깃허브(GitHub)에 공개됐다.
연구진은 s1을 개발하는 과정에서 '증류'(distillation)라고 하는 기술적 과정을 통해 미세 조정을 했다고 설명했다.
'증류'는 AI 모델이 다른 모델의 출력 결과를 훈련 목적으로 사용, 유사한 기능을 개발하는 것을 의미한다.
딥시크가 자체 AI 모델을 개발하면서 오픈AI의 AI 모델을 '증류'한 것으로 알려졌다.
s1은 구글의 최신 AI 모델인 제미나이 2.0 플래시 싱킹 익스퍼리멘털(Gemini 2.0 Flash Thinking Experimental)에서 증류했다.
연구진은 기반이 된 이 모델의 추론 능력을 s1에 학습시키기 위해 문제 해결하는 추론 과정 및 1천개의 질문과 답을 담은 데이터 세트를 선별해 사용했다.
연구진은 "s1 훈련에는 엔비디아 첨단 AI 칩인 H100 그래픽처리장치(GPU)를 사용해 30분도 걸리지 않았다"며 "총비용은 50달러가 들지 않았다"고 설명했다.
또 s1 훈련에 필요한 컴퓨팅 성능을 약 20달러에 빌릴 수도 있다고 덧붙였다.
연구진은 이와 함께 s1의 정확도를 높이기 위해 "기다리라"고 지시하는 방법을 사용해 AI 모델이 답변을 생성하기 전 충분히 생각할 시간을 갖도록 했다.
딥시크 모델 등장과 함께 s1도 구글과 마이크로소프트(MS), 메타 등 대형 기술 기업이 AI 인프라에 수십억 달러를 투자하고 있는 가운데 가성비가 뛰어난 모델로 주목받을 것으로 전망된다.
그러나 전문가들은 '증류' 방식을 통해 기존 모델을 복제할 수 있지만, AI 성능의 획기적인 발전을 끌어내기는 어렵다고 보고 있다.
<연합뉴스>
댓글 안에 당신의 성숙함도 담아 주세요.
'오늘의 한마디'는 기사에 대하여 자신의 생각을 말하고 남의 생각을 들으며 서로 다양한 의견을 나누는 공간입니다. 그러나 간혹 불건전한 내용을 올리시는 분들이 계셔서 건전한 인터넷문화 정착을 위해 아래와 같은 운영원칙을 적용합니다.
자체 모니터링을 통해 아래에 해당하는 내용이 포함된 댓글이 발견되면 예고없이 삭제 조치를 하겠습니다.
불건전한 댓글을 올리거나, 이름에 비속어 및 상대방의 불쾌감을 주는 단어를 사용, 유명인 또는 특정 일반인을 사칭하는 경우 이용에 대한 차단 제재를 받을 수 있습니다. 차단될 경우, 일주일간 댓글을 달수 없게 됩니다.
명예훼손, 개인정보 유출, 욕설 등 법률에 위반되는 댓글은 관계 법령에 의거 민형사상 처벌을 받을 수 있으니 이용에 주의를 부탁드립니다.
Close
x