7月2日消息，百度近日，文心發(fā)布兩個月的開源文心4.5系列模型正式開源，包括47B、自主3B激活參數(shù)的龍芯MoE混合專家模型與0.3B參數(shù)的稠密模型等10款，而就在文心大模型開源首日，時間深入龍芯中科與百度啟動了技術合作，合作基于最新發(fā)布的百度龍芯3C6000系列。

雙方將共同推進國產(chǎn)算力基礎設施與大模型技術的文心融合創(chuàng)新，為AI產(chǎn)業(yè)化應用提供安全可控的開源“中國芯”解決方案。

據(jù)悉，自主百度文心4.5系列模型均使用飛槳深度學習框架進行高效訓練、龍芯推理和部署。時間深入在大語言模型的合作預訓練中，模型FLOPS利用率(MFU)達到47％。百度

實驗結果顯示，文心4.5系列模型在多個文本和多模態(tài)基準測試中達到SOTA水平，在指令遵循、世界知識記憶、視覺理解和多模態(tài)推理任務上效果尤為突出。

核心技術點包括：多模態(tài)混合專家模型預訓練、高效訓練推理框架、針對模態(tài)的后訓練。

龍芯3C6000與文心4.5系列開源模型的技術合作，標志著龍芯CPU在AI算力領域取得實質性突破。

未來，雙方將持續(xù)推動大模型在生產(chǎn)場景中的規(guī)?；瘧?，為促進國產(chǎn)AI生態(tài)繁榮發(fā)展貢獻力量。

龍芯3C6000系列處理器具有高性能、高可靠、高安全、全自主等特點，采用自主龍架構指令集、自主工藝，單硅片最多16核心32線程，可雙硅片、四硅片整合封裝，單芯片最多64核心128線程，并支持雙路、四路并行，一套系統(tǒng)即可做到128核心256線程。

龍芯3C6000系列可滿足通算、智算、存儲、工控、工作站等多場景的計算需求，并獲得了《安全可靠測評公告》當前最高等級Ⅱ級認證。