러시아의 구글 얀덱스가 언어 모델(언어AI) YaLM100B를 오픈소스로 공개

언어 AI YaLM100B 아파치 2.0 오픈소스로 공개

러시아의 구글 얀덱스 검색엔진

러시아의 구글 얀덱스를 아시나요? 얀덱스는 검색엔진을 필두로 배차서비스 등 폭넓은 사업을 벌여 러시아의 구글로도 불리고 있는 러시아 최대의 인터넷 기업입니다. 얀덱스가 자그마치 1000억 개라는 상상하기도 힘든 파라미터를 가진 대규모 언어 모델인 YaLM100B를 오픈 소스로 공개했습니다. 

 

아래의 깃허브 주소로 접속하시면 실제로 소스를 확인해 보실 수 있습니다. 

https://github.com/yandex/YaLM-100B 

YaLM 깃허브

 얀덱스는 'YaLM100B'에 대해 상용 이용 가능한 오픈소스 언어 모델로서 사상 최대라고 주장하고 있는데요. 

깃 허브의 안내문에는 아래와 같이 소개하고 있습니다.

YaLM 100B는 텍스트 생성 및 처리를 위한 GPT와 유사한 신경망입니다. 전 세계의 개발자와 연구자들이 자유롭게 사용할 수 있습니다. 이 모델은 1,000억 개의 매개 변수를 활용합니다. 800개의 A100 그래픽 카드와 1.7TB의 온라인 텍스트, 책, 그리고 영어와 러시아어로 된 수많은 다른 소스들로 구성된 클러스터에서 모델을 훈련하는 데 65일이 걸렸습니다. 가속 및 안정화에 대한 교육 세부 정보와 모범 사례는 중간(영어) 및 Habr(러시아어) 기사에서 확인할 수 있습니다. DeepSpeed를 사용하여 모델을 교육하고 메가트론-LM 사례에서 영감을 얻었습니다. 그러나 이 repo의 코드는 모델을 교육하는 데 사용된 코드와 다릅니다. DeepSpeed repo의 재고 예이며 모델을 추론하는 데 필요한 최소한의 변경 사항입니다. 

 

대규모 언어 모델은 정확도 높은 문장을 만들어 내는 것이 매우 중요하다고 하는데요. 대표적으로 우리에게 잘 알려진 OpenAI가 개발한 GPT-3가 유명합니다. 재미있는 사실은 GPT-3는 Raddit에서 사람들 모르게 일주일간 사람들과 대화를 하기도 하였고, GPT-3가 작성한 기사가 큰 인기를 얻는 등의 활약을 한 바가 있습니다. 

OpenAI 홈페이지 설명

 

얀덱스는 보다 정확한 언어 모델 개발을 위해 YaLM100B에게 800장이나 되는 NVIDIA A100을 이용해 65일간 1.7TB나 되는 텍스트 서적 기타 무료 소스로 학습을 실시했다고 전했습니다.  

엔비디아 텐서코어, 역시 엔비디아 AI에서는 빠지질 않네요

YaLM100B 메인 개발자 미하일 씨는 대규모 언어 모델의 개발의 어려움을 말하며 전 세계 연구자 및 개발자가 대규모 언어 모델에 접근해 성장을 이뤄가야 한다는 뜻을 전하며 베스트 프렉티스와 함께 YaLM100B의 오픈소스화한 이유를 전하였습니다. YaLM100B는 연구 및 상용 이용도 허용된 아파치 2.0 라이센스로 공개되었습니다. 언어 모델 혹은 언어 AI에 관심 있는 개발자는 상용 이용도 가능한 오픈소스 YaLM100B를 공부해 보시는 것도 좋은 선택이 될 것 같습니다.