小米總部園區
在小米公司CEO雷軍演講前夕,其研發的人工智能(AI)大模型產品悄然現身。
鈦媒體App獲悉,8月11日,小米公司開發的大規模預訓練語言模型 MiLM-6B/1.3B登陸代碼托管平臺GitHub,參數規模最高達64億,而且現身在C-Eval、CMMLU基準評測榜單。
(資料圖)
截至當前,小米大模型MiLM-6B在C-Eval總榜單排名第10、同參數量級排名第1,平均分為60.2分,超過了阿里云Qwen-7B、OpenAI研發的ChatGPT(今年5月數據)等,而MiLM-1.3B排行第30名,平均分45.8分,接近谷歌投資的Anthropic公司的Claude 1.0版本大模型。
這是小米大模型產品的首次曝光,也是小米史上首個GPT大模型產品亮相。
事實上,隨著ChatGPT風靡全球,今年4月14日,小米公司宣布成立小米 AI 實驗室大模型團隊,由欒劍帶隊向王斌匯報。據悉,AI實驗室是小米AI戰略的核心部門,而大模型負責人王斌曾在中科院從事了20多年NLP(自然語言處理)相關的研究和開發工作,2018年加入小米,2019年起負責AI實驗室。
小米CEO雷軍當時表示,公司正在研發一些技術和產品,等打磨好了再給大家演示。小米集團總裁盧偉冰稱,小米目前擁有超過1200人的AI團隊,會積極擁抱大模型,與業務深度結合,但不會像OpenAI一樣。
今年6月,王斌對外透露,小米會去自研通用語言大模型,但不會單獨發布一款類ChatGPT產品。他表示,小米第一步的目標基座模型參數在幾百億,而且小米大模型將會落地小愛同學、loT、自動駕駛、機器人等現有場景中,并利用豐富的應用場景反哺大模型能力。
成立僅僅四個月后的今天,小米公布了大模型產品——MiLM-6B,并在C-Eval和CMMLU基準評測上均取得同尺寸較好效果。
其中,在C-Eval評估中,MiLM-6B的平均得分為60.2,在不同學科和難度級別(如STEM、社會科學、人文學科等)得分從42分到71.7分不等。在CMMLU評估中,MiLM-6B在零樣本和五樣本測試中的平均得分分別為60.37分和57.17分,表現出良好的知識和推理能力。
據悉,C-Eval榜單是清華大學、上海交通大學和愛丁堡大學共同構建的綜合漢語模型評估套件,而CMMLU則是綜合漢語模型基準。
預計小米將會于8月14日舉行2023雷軍年度演講,但目前雷軍暫未透露是否會發布MiLM-6B大模型技術。
鈦媒體App向團隊詢問關于MiLM-6B/1.3B是否開源、產品是否已經落地內測等問題,截至發稿前暫未得到小米官方回復。(本文首發鈦媒體App,作者|林志佳)
關鍵詞: