美 소프트웨어 기업, 오픈소스 대규모 언어 모델 ′돌리 2.0′ 공개

美 소프트웨어 기업, 오픈소스 대규모 언어 모델 '돌리 2.0' 공개: 고다솔 / 2023-05-12 12:05:22

미국 엔터프라이스 소프트웨어 개발사 데이터브릭스(Databricks)가 오픈AI(OpenAI)의 경쟁을 선언했다.

벤처비트, 인포월드 등 복수 외신은 데이터브릭스가 챗GPT처럼 인간과 상호작용이 가능한 대규모 언어 모델인 ‘돌리 2.0(Dolly 2.0)’을 배포했다고 보도했다.

돌리 2.0은 데이터브릭스가 최초로 공개하는 오픈소스 지시 복종형 대규모 언어 모델이다. 투명성과 자유로운 접근성을 갖춘 데이터세트 ‘데이터브릭스-돌리-15k(databricks-dolly-15k)’를 개선하여 개발되었다. 데이터세트는 데이터브릭스 직원 수천 명이 생성한 1만 5,000여 가지 말뭉치 기록으로 구성됐다.

데이터브릭스는 돌리 2.0이 상업적 목적으로도 사용할 수 있도록 오픈소스로 공개돼, 누구나 무료로 API 사용이 가능하며, 외부 기관과 데이터를 공유하지 않아도 된다고 전했다.

데이터브릭스 CEO 알리 고드시(Ali Ghodsi)는 “상업용으로 사용할 수 있는 대규모 언어 모델이 이미 여럿 존재하지만, 모두 돌리 2.0과 같은 대화 능력을 갖추지 않았다. 오픈소스라는 특성 덕분에 사용자는 돌리 2.0의 훈련 데이터를 수정하거나 개선할 수도 있다. 또, 사용자가 직접 자신만의 돌리 버전을 제작할 수도 있다”라고 말했다.

고드시는 개방형 모델 상당수가 상업적 사용을 제한한다는 약관을 준수하는 데이터세트를 바탕으로 훈련된 점에 주목했다. 이에, 데이터브릭스는 자사 직원이 생성한 소규모 오픈 소스 명령어 말뭉치만 변경하고, 돌리 2.0을 오픈소스 Eleuther AI 파이티아 모델 제품군을 기반으로 하는 120억 개의 매개변수 언어 모델로 개발했다.

데이터브릭스는 공식 블로그를 통해 “돌리 2.0은 최첨단 언어 모델은 아니지만, "훈련 말뭉치의 규모를 고려할 때 사용자의 명령 처리 능력이 놀라울 정도로 훌륭하다”라며, “돌리 2.0 개발 비용은 기존 언어 모델 개발에 필요한 비용보다 훨씬 적다”라고 강조했다.

한편, 고드시는 돌리 2.0 배포 후 사용 범위가 확장되면서 AI 커뮤니티의 많은 구성원이 돌리 2.0 개발 및 개선 작업에 참여하는 등 더 우수한 대규모 언어 모델 개발을 위한 대안을 제시할 것으로 기대한다고 전했다.