메타, 효율적인 온디바이스 AI 모델 '모바일LLM' 공개

 

메타가 스마트폰이나 소형 장치용으로 설계된 효율적인 온디바이스 인공지능(AI) 모델을 선보였습니다.

벤처비트는 8일(현지시간) 메타가 온디바이스 애플리케이션을 위해 최적화된 소형 언어 모델 ‘모바일LLM(MobileLLM)’ 연구 결과를 아카이브에 게재했다고 보도했습니다.

모바일LLM의 주요 특징

메타는 10억 개 미만의 적은 매개변수를 가진 모델을 최적화하기 위해 여러 기술을 적용했습니다.

• 네트워크 깊이 조정: 모델의 레이어 수를 늘려 성능을 향상.
• 임베딩 공유 및 가중치 공유: 입력 임베딩 가중치를 출력 연결 레이어 가중치로 재사용하여 효율적이고 컴팩트한 모델 아키텍처를 설계. 이를 통해 캐시에 배치된 가중치를 즉시 두 번 계산함으로써 SRAM과 DRAM 간의 가중치 전송이 필요 없어져 추론 실행 속도가 빨라집니다.

성능 비교와 결과

모바일LLM은 벤치마크에서 비슷한 크기의 다른 모델보다 2.7~4.3% 더 나은 성과를 보였습니다.

비록 한자릿수 개선이지만, 이는 언어 모델 개발 분야에서 의미 있는 진전으로 평가받고 있습니다.

특히, 모바일LLM의 매개변수 3억 5000만 개 버전은 특정 API 호출 작업에서 70억 매개변수 '라마2'와 비슷한 정확도를 나타냈습니다.

이는 일부 애플리케이션에서 더 작은 모델이 훨씬 적은 계산 리소스를 사용하면서도 유사한 성능을 제공할 수 있음을 의미합니다.

미래 계획

메타는 모바일LLM을 아직 공개하지 않았지만, 사전 훈련 코드를 오픈 소스로 공개할 계획입니다.
이는 많은 개발자들이 이 모델을 활용하여 다양한 온디바이스 AI 애플리케이션을 개발하는 데 도움이 될 것입니다.

 

이번 발표는 온디바이스 AI의 가능성을 보여주며, 소형 장치에서도 강력한 성능을 발휘할 수 있는 모델 개발의 중요성을 강조합니다.
메타의 모바일LLM은 앞으로 더 많은 응용 프로그램에서 그 잠재력을 발휘할 것으로 기대됩니다.

 

 

 

 

Tester Share [테스터쉐어] - Google Play 앱

 

나비일기장 [수발일기장] - Google Play 앱