CWN(CHANGE WITH NEWS) - KAIST ‘상보형-트랜스포머’ 세계 최초 개발

[CWN 손태한 기자] KAIST PIM반도체 연구센터와 인공지능 반도체 대학원 유희준 교수팀이 0.4초 초고속으로 거대 언어 모델을 처리할 수 있는 인공지능 반도체인 ‘상보형-트랜스포머’를 개발했다.

과학기술정보통신부(이하 과기부)는 연구팀이 ‘상보형-트랜스포머’가 400mW(밀리와트) 초저전력을 소모하고 삼성 28나노 공정을 통해 세계 최초로 개발했다고 6일 밝혔다.

연구팀은 그동안 다량의 GPU와 250W(와트)의 전력소모를 통해 구동되는 GPT 등 거대 언어 모델(LLM)을 4.5mm x 4.5mm의 작은 한 개의 AI 반도체 칩 상에서 초저전력으로 구현하는 것에 성공했다.

김상엽 박사가 제 1저자로 참여한 이번 연구는 지난 2월 19일부터 23일까지 샌프란시스코에서 개최된 국제고체회로설계학회(ISSCC)에서 발표 및 시연됐다.

기존 뉴로모픽 컴퓨팅 기술은 합성곱신경망(CNN)에 비해 부정확하며 주로 간단한 이미지 분류 작업만 가능했다.

연구팀은 뉴로모픽 컴퓨팅 기술의 정확도를 CNN과 동일 수준으로 끌어올리고 단순 이미지 분류를 넘어 다양한 응용 분야에 적용할 수 있는 상보형-심층신경망(C-DNN)을 제안했다.

상보형 심층신경망 기술은 심층 인공 신경망(DNN)과 스파이킹 뉴럴 네트워크(SNN)를 혼합해 사용하며 입력 데이터들을 크기에 따라 서로 다른 신경망에 할당해 전력을 최소화할 수 있는 기술이다.

이번 연구를 통해 개발한 인공지능반도체용 하드웨어 유닛은 기존 거대 언어 모델 반도체 및 뉴로모픽 컴퓨팅 반도체에 비해 4가지의 특징을 지닌다.

먼저 심층 인공 신경망(DNN)과 스파이킹 뉴럴 네트워크(SNN)를 상호 보완하는 방식으로 융합한 독특한 신경망 아키텍처를 사용함으로써 정확도를 유지하면서도 연산 에너지 소모량을 최적화했다.

이어 심층 인공 신경망(DNN)과 스파이킹 뉴럴 네트워크(SNN)를 상보적으로 활용해 모두 효율적으로 신경망 연산을 처리할 수 있는 인공지능반도체용 통합 코어 구조를 개발했다.

또한 스파이킹 뉴럴 네트워크 처리에 소모되는 전력을 줄이기 위해 출력 스파이크 추측 유닛을 개발했다.

마지막으로 거대 언어 모델의 파라미터를 효과적으로 압축하기 위해 빅-리틀 네트워크 구조와 암시적 가중치 생성기법 그리고 부호압축까지 총 3가지 기법을 사용했다.

이를 통해 GPT-2 거대 모델의 708M개에 달하는 파라미터를 191M개로 줄였고 번역을 위해 사용되는 T5 모델의 402M개에 달하는 파라미터 역시 동일한 방식을 통해 76M개로 줄일 수 있었다.

이러한 압축을 통해 연구진은 언어 모델의 파라미터를 외부 메모리로부터 불러오는 작업에 소모되는 전력을 약 70% 감소시키는 것에 성공했다.

그 결과 상보형-트랜스포머는 전력 소모를 GPU(NVIDIA A100) 대비 625배만큼 줄이면서도 GPT-2 모델을 활용한 언어 생성에는 0.4초의 고속 동작이 가능하며 T5 모델을 활용한 언어 번역에는 0.2초의 고속 동작이 가능하다.

또한 파라미터 압축에 따른 정확도 하락을 방지하기 위해 경량화 정도에 따른 정확도 하락률을 반복 측정하여 최적화하였다. 이에 언어 생성의 경우 1.2 분기계수 만큼 정확도가 감소했다.

연구팀은 향후 뉴로모픽 컴퓨팅을 언어 모델에 국한하지 않고 다양한 응용 분야로 연구범위를 확장할 것이며 상용화에 관련된 문제점들도 파악해 개선할 예정이라고 설명했다.

유회준 KAIST 전기및전자공학부 교수는 “이번 연구는 기존 인공지능반도체가 가지고 있던 전력 소모 문제를 해소했을 뿐만 아니라 GPT-2와 같은 실제 거대언어모델 응용을 성공적으로 구동했다는데 큰 의의가 있다”며 “뉴로모픽 컴퓨팅은 인공지능시대에 필수적인 초저전력·고성능 온디바이스AI의 핵심기술인만큼 앞으로도 관련 연구를 지속할 것”이라고 덧붙였다.

전영수 과기부 정보통신산업정책관은 “이번 연구성과는 인공지능반도체가 NPU와 PIM을 넘어 뉴로모픽 컴퓨팅으로 발전할 수 있는 가능성을 실제로 확인했다는 것에 큰 의미가 있다”라며 “지난 1월 대통령 주재 반도체 민생토론회에서 AI반도체의 중요성이 강조됐듯이 앞으로도 이러한 세계적인 연구성과를 지속적으로 낼 수 있도록 적극적으로 지원하겠다”고 말했다.

CWN 손태한 기자
sonth@cwn.kr

[ⓒ CWN(CHANGE WITH NEWS). 무단전재-재배포 금지]