아부다비 기술혁신연구소(TII)가 출시한 UAE 최초의 대규모 오픈 소스, 400억 매개변수 AI 모델인 팰컨 40B가 허깅 페이스의 최신 오픈 거대언어 모델(LLM) 리더보드에서 1위로 치솟았다. 오픈 소스와 공개 과학을 통해 인공 지능을 민주화하려는 미국 회사인 허깅 페이스는 AI 모델에 대한 세계 최고의 독립 검증 기관으로 간주된다.

팰컨 40B는 메타의 LLaMA(65B 모델 포함), 스태빌리티 AI의 스테이블LM, 투게더의 레드파자마와 같은 기존 모델을 물리치고 최고의 순위를 달성했다. 이 지수는 생성 언어 모델을 평가하는 통합 프레임워크인 일루서 AI 랭귀지 모델 에발루에이션 하네스의 다음과 같은 4가지 주요 벤치마크를 활용한다: 초등학교 수준의 과학 질문 세트인 AI2 리즈닝 챌린지(25샷), 인간에게는 쉽지만 SOTA 모델에는 어려운 상식 추론 테스트인 헬라스웨크(10샷), 텍스트 모델의 멀티태스킹 정확도를 측정하는 테스트인 MMLU(5샷), 및 질문에 대한 답변을 생성할 때 언어 모델이 진실한지를 측정하는 테스트인 TruthfulQA(제로샷).

허깅 페이스의 Open LLM 순위표는 LLM 및 챗봇이 출시될 때 이를 추적, 순위 지정 및 평가하는 AI 커뮤니티에 공개된 객관적인 평가 도구이다.

1조 개의 토큰으로 훈련된 팰컨 40B는 AI 리더십을 향한 UAE의 여정에서 중요한 전환점이 되며, 연구 및 상업적 활용을 위해 모델 가중치에 대한 광범위한 액세스를 가능하게 한다. 새로운 순위는 인류의 더 큰 이익을 위해 AI를 보다 투명하고 포괄적이며 접근 가능하게 만드는 모델의 능력을 확인시켜준다.