百度文心大模型4.5系列模型開源，國內(nèi)首發(fā)平臺GitCode現(xiàn)已開放下載！

6月30日，百度文心大模型4.5系列模型正式開源，并在國內(nèi)領(lǐng)先的開源平臺GitCode首發(fā)上線， 為廣大企業(yè)、開發(fā)者提供真正可用、好用、可落地的大模型解決方案。

現(xiàn)在，全球開發(fā)者、企業(yè)、研究機構(gòu)等均可免費在GitCode平臺直接訪問并下載體驗文心大模型4.5開源系列，支持部署、微調(diào)等各種不同場景的使用需求。

歡迎下載體驗，開啟你的文心大模型之旅

文心4.5系列開源模型共10款，涵蓋了激活參數(shù)規(guī)模分別為47B和3B的混合專家（MoE）模型（最大的模型總參數(shù)量為424B），以及0.3B的稠密參數(shù)模型。

針對MoE架構(gòu)，百度提出了一種創(chuàng)新性的多模態(tài)異構(gòu)模型結(jié)構(gòu)，通過跨模態(tài)參數(shù)共享機制實現(xiàn)模態(tài)間知識融合，同時為各單一模態(tài)保留專用參數(shù)空間。此架構(gòu)非常適用于從大語言模型向多模態(tài)模型的持續(xù)預訓練范式，在保持甚至提升文本任務性能的基礎(chǔ)上，顯著增強多模態(tài)理解能力。

文心4.5系列模型均使用飛槳深度學習框架進行高效訓練、推理和部署。在大語言模型的預訓練中， 模型FLOPs利用率（MFU）達到47% 。實驗結(jié)果顯示，該系列模型在多個文本和多模態(tài)基準測試中達到SOTA水平，在指令遵循、世界知識記憶、視覺理解和多模態(tài)推理任務上效果尤為突出。模型權(quán)重按照Apache 2.0協(xié)議開源，支持開展學術(shù)研究和產(chǎn)業(yè)應用。此外，基于飛槳提供開源的產(chǎn)業(yè)級開發(fā)套件，廣泛兼容多種芯片，降低后訓練和部署門檻。

GitCode平臺：開源創(chuàng)新的理想土壤

GitCode平臺自2023年9月22日上線以來發(fā)展迅猛，已匯聚了超過620萬的注冊用戶，月活用戶達120萬，已經(jīng)成為頗具影響力的開源社區(qū)，龐大的用戶基礎(chǔ)和活躍的社區(qū)氛圍為文心大模型的推廣和應用提供了廣闊的舞臺。

作為全球開源生態(tài)的關(guān)鍵基礎(chǔ)設施，GitCode正以AI原生基因重塑開發(fā)者體驗：平臺集成了先進的代碼托管服務，支持全面的版本控制、分支管理和協(xié)作開發(fā)功能。開發(fā)者可以通過GitCode便捷地上傳、管理和分享代碼倉庫，享受無縫的協(xié)同開發(fā)體驗。還提供了豐富的開源組件庫和多樣化的開發(fā)工具，無論是個人項目還是企業(yè)級應用，GitCode都能為用戶提供安全、穩(wěn)定和高效的代碼托管解決方案，助力開發(fā)者實現(xiàn)卓越的代碼管理與協(xié)作。

文心大模型與GitCode平臺的深度融合，正催生一場超越技術(shù)層面的范式革命。這種融合不僅改變了傳統(tǒng)的AI開發(fā)模式，還促進了推動中國開源生態(tài)的繁榮和創(chuàng)新，推動了AI產(chǎn)業(yè)生態(tài)的繁榮和可持續(xù)發(fā)展。可以預見，未來將有更多基于文心大模型的創(chuàng)新應用涌現(xiàn)出來。

文心已至 ? 未來正來

GitCode×CSDN文心大模型實戰(zhàn)測評與社區(qū)探討 系列活動火熱進行中！深度解讀，讓開發(fā)者輕松玩轉(zhuǎn)文心大模型，歡迎關(guān)注。