小鵬加速發(fā)力720億參數(shù)自駕基模，豪邁開啟自動駕駛偉大征程

在汽車行業(yè)步入大模型研發(fā)熱潮之際，4 月 14 日，小鵬汽車于香港舉辦 AI 技術(shù)分享會，首次公開披露正在研發(fā)的 720 億參數(shù)超大規(guī)模自動駕駛大模型 ——“小鵬世界基座模型”。未來，小鵬將采用云端蒸餾小模型的方式，把基模部署至車端，為 “AI 汽車” 裝上全新 “大腦”，該模型還將為小鵬的 AI 機(jī)器人、飛行汽車等賦能。

小鵬汽車自動駕駛負(fù)責(zé)人李力耘介紹，小鵬基模以大語言模型作為骨干網(wǎng)絡(luò)，借助海量優(yōu)質(zhì)駕駛數(shù)據(jù)訓(xùn)練，是多模態(tài)大模型。它具備視覺理解、鏈?zhǔn)酵评砑皠幼魃赡芰Α＝?jīng)強(qiáng)大的強(qiáng)化學(xué)習(xí)訓(xùn)練，基座模型持續(xù)自我進(jìn)化，有望逐步發(fā)展出超越人類的自動駕駛技術(shù)。

為研發(fā)基模，小鵬汽車早在去年便著手布局 AI 基礎(chǔ)設(shè)施，現(xiàn)已建成國內(nèi)汽車行業(yè)首個萬卡智算集群，用以支撐基座模型的預(yù)訓(xùn)練、后訓(xùn)練、模型蒸餾、車端模型訓(xùn)練等任務(wù)。小鵬將這套從云到端的生產(chǎn)流程稱作 “云端模型工廠”。目前，小鵬 “云端模型工廠” 算力達(dá) 10 EFLOPS，集群運行效率常年維持在 90% 以上，從云到端的全鏈路迭代周期平均 5 天一次。

早在 2024 年下半年，小鵬汽車就已面向 L4 級別的自動駕駛，研發(fā)全新的 “AI 大腦”—— 小鵬世界基座模型。研發(fā)團(tuán)隊利用優(yōu)質(zhì)自動駕駛訓(xùn)練數(shù)據(jù)，先后開發(fā)出多個尺寸的基座模型，目前正全力推進(jìn) 720 億(72B)超大規(guī)模參數(shù)世界基座模型的研發(fā)，其參數(shù)量約為主流 VLA 模型的 35 倍。

小鵬世界基座模型的顯著優(yōu)勢是具備鏈?zhǔn)酵评砟芰Γ诔浞掷斫猬F(xiàn)實世界的基礎(chǔ)上，能像人類一樣進(jìn)行復(fù)雜的常識推理，并將推理結(jié)果轉(zhuǎn)化為行動，比如輸出方向盤、剎車等控制信號，實現(xiàn)與物理世界的交互。未來，在基座模型的賦能下，智能駕駛系統(tǒng)有望從 “模仿人類” 邁向 “超越人類”，最終解決全場景的自動駕駛問題，包括模型從未在訓(xùn)練數(shù)據(jù)中遇到過的難題。

自設(shè)計之初，小鵬汽車就將基模定位為可泛化到多種具身終端的基座模型。李力耘表示：“小鵬世界基座模型是小鵬自動駕駛邁向 L3、L4 的基石，也會成為未來小鵬所有物理 AI 終端的通用模型。” 后續(xù)，小鵬世界基座模型將全面賦能小鵬 AI 體系，應(yīng)用于小鵬汽車的 AI 汽車、AI 機(jī)器人、飛行汽車。

為開發(fā)小鵬世界基座模型，小鵬汽車打造了 “云端模型工廠”，其 “車間” 涵蓋基座模型預(yù)訓(xùn)練、后訓(xùn)練、模型蒸餾、車端模型預(yù)訓(xùn)練到部署上車的完整生產(chǎn)鏈路。“云端模型工廠” 采用強(qiáng)化學(xué)習(xí)、模型蒸餾技術(shù)路線，能高效生產(chǎn) “小身材、大智商” 的端側(cè)模型，甚至可為不同需求的汽車定制專屬 “大腦”，讓 “千人千面” 的模型研發(fā)成為現(xiàn)實。

小鵬汽車自 2024 年開始搭建 AI 基礎(chǔ)設(shè)施，目前已建立起萬卡規(guī)模的智能算力集群，是國內(nèi)汽車行業(yè)最大的自動駕駛算力集群。小鵬汽車算力儲備達(dá) 10EFLOPS，集群利用率常年超 90%，高峰時運行效率可達(dá) 98%。

小鵬世界基座模型負(fù)責(zé)人劉博士介紹，多模態(tài)模型訓(xùn)練的瓶頸不僅在于 GPU，數(shù)據(jù)訪問效率也需解決。小鵬汽車自主開發(fā)底層數(shù)據(jù)基礎(chǔ)設(shè)施，使數(shù)據(jù)上傳規(guī)模提升 22 倍、訓(xùn)練中的數(shù)據(jù)帶寬提升 15 倍;通過聯(lián)合優(yōu)化 GPU/CPU 以及網(wǎng)絡(luò) I/O，最終讓模型訓(xùn)練速度提高了 5 倍。目前，小鵬汽車用于訓(xùn)練基座模型的視頻數(shù)據(jù)量高達(dá) 2000 萬 clips，今年這一數(shù)字將增至 2 億 clips。

依托強(qiáng)大的 AI 基礎(chǔ)設(shè)施和數(shù)據(jù)基礎(chǔ)設(shè)施，小鵬開啟全新的基座模型研發(fā)范式，從云端模型預(yù)訓(xùn)練到車端模型部署，整個 “云端模型工廠” 的迭代周期平均 5 天一次。

在分享會上，小鵬汽車披露了基模研發(fā)的三個階段性成果：驗證規(guī)模法則在自動駕駛領(lǐng)域持續(xù)生效;在后裝算力的車端成功實現(xiàn)基模控車;啟動 720 億參數(shù)基模訓(xùn)練，搭建針對強(qiáng)化學(xué)習(xí)的模型訓(xùn)練框架。

規(guī)模法則揭示了大模型性能隨計算量、訓(xùn)練數(shù)據(jù)量和參數(shù)量提升而增強(qiáng)的規(guī)律，被視作 AI 領(lǐng)域的 “摩爾定律”。在大語言模型領(lǐng)域，規(guī)模法則已得到充分驗證，但自動駕駛基座模型更為復(fù)雜，其訓(xùn)練數(shù)據(jù)包含攝像頭信息、導(dǎo)航信息等物理世界的多模態(tài)數(shù)據(jù)，本質(zhì)上要求模型對物理世界形成認(rèn)知與理解。此前，利用駕駛數(shù)據(jù)訓(xùn)練基模，尤其是參數(shù)規(guī)模擴(kuò)大到百億級別后，規(guī)模法則是否依舊生效，行業(yè)內(nèi)尚未有充分驗證。小鵬團(tuán)隊首次證實了規(guī)模法則在自動駕駛領(lǐng)域持續(xù)有效。劉博士稱：“過去一年，我們開展大量實驗，在 10 億、30 億、70 億、720 億參數(shù)的模型上，均看到顯著的規(guī)模法則效應(yīng)：參數(shù)規(guī)模越大，模型能力越強(qiáng)。同樣的模型大小，訓(xùn)練數(shù)據(jù)量越大，模型能力也越強(qiáng)。”

不久前，小鵬汽車將理論轉(zhuǎn)化為實踐，在后裝算力的車端用小尺寸基模實現(xiàn)了控車。盡管只是早期實車測試，但全新基模已展現(xiàn)出令人驚喜的基礎(chǔ)駕車技能。

小鵬汽車去年就已開展強(qiáng)化學(xué)習(xí)技術(shù)研發(fā)，以提升基座模型的性能上限。劉博士表示，強(qiáng)化學(xué)習(xí)能助力模型自我進(jìn)化，學(xué)會處理訓(xùn)練數(shù)據(jù)中未出現(xiàn)的長尾問題，實現(xiàn)極致安全的自動駕駛。只有足夠強(qiáng)大的基座模型，才能被強(qiáng)化學(xué)習(xí)不斷激發(fā)能力上限。這也是小鵬汽車選擇云端蒸餾路線的原因之一：在云端不計成本地訓(xùn)練出足夠聰明且泛化能力強(qiáng)的模型，將其蒸餾到適配車端算力的小尺寸模型上，最終使車端模型性能突破車端算力限制。值得一提的是，強(qiáng)化學(xué)習(xí)、云端蒸餾等技術(shù)方案，在今年備受關(guān)注的 DeepSeek 論文中均得到驗證。

基模研發(fā)是小鵬汽車 “AI 化” 轉(zhuǎn)型的關(guān)鍵一步。即便進(jìn)入 “大模型時代”，過去 “規(guī)則時代” 的領(lǐng)先經(jīng)驗仍在發(fā)揮作用。在開發(fā)強(qiáng)化學(xué)習(xí)的獎勵模型時，研發(fā)團(tuán)隊依據(jù)規(guī)則經(jīng)驗設(shè)計獎勵函數(shù)，將規(guī)則時代的沉淀轉(zhuǎn)化為訓(xùn)練基座模型的生產(chǎn)力。

同時，小鵬汽車已著手開發(fā)世界模型，作為 “云端模型工廠” 的重要部分，為基座模型的性能優(yōu)化提供支持。劉博士介紹，小鵬的世界模型是一種實時建模和反饋系統(tǒng)，能基于動作信號模擬真實環(huán)境狀態(tài)，渲染場景，并生成場景內(nèi)其他智能體(即交通參與者)的響應(yīng)，構(gòu)建閉環(huán)反饋網(wǎng)絡(luò)，助力基座模型不斷進(jìn)化，逐步突破過去 “模仿學(xué)習(xí)” 的局限。

今年 6 月，小鵬汽車將在計算機(jī)視覺國際頂會 CVPR 上，進(jìn)一步分享小鵬世界基座模型研發(fā)和訓(xùn)練成果的更多細(xì)節(jié)，值得期待。