《通用大模型評測標准》發布
《通用大模型評測標准》發布
10月12日,在2024中國移動全球合作伙伴大會期間,中國移動攜手央企及產業各方共同發布大模型評測體系建設的重要成果《通用大模型評測標准》,為產業界遴選優質大模型提供重要參考依據。
通用大模型評測標准基於“24-6”框架。“2”代表兩類評測視角,以重點行業實際使用需求為導向,與國標對模型能力要求拉齊,將評測任務劃分為理解和生成兩類視角。“4”代表四類評測要素,從評測全生命周期中提取出評測工具、評測數據、評測方式和評測指標四類關鍵要素,確保評測工作可實施性。“6”代表六大評測維度,綜合考慮大模型應用過程中的核心能力,設定功能性、准確性、可靠性、安全性、交互性和應用性六大維度。該標准廣泛吸納產學研用各方意見,並結合行業特色場景需求,可為通用大模型全面評估提供客觀依據,為AI賦能千行百業提供保障。
整理:辛義生
山西日報、山西晚報、山西農民報、山西經濟日報、山西法制報、山西市場導報所有自採新聞(含圖片)獨家授權山西新聞網發布,未經允許不得轉載或鏡像﹔授權轉載務必注明來源,例:"山西新聞網-山西日報 "。
凡本網未注明"來源:山西新聞網(或山西新聞網——XXX報)"的作品,均轉載自其它媒體,轉載目的在於傳遞更多信息,並不代表本網贊同其觀點和對其真實性負責。