【開云電競官網(wǎng)科技消息】8月14日,據(jù)《晚點(diǎn)Auto》報道,其從多個信源處獲悉,理想汽車正在探索自研云端推理芯片,將采用與智駕芯片相同的數(shù)據(jù)流架構(gòu),項(xiàng)目還在早期階段。
理想汽車
AI數(shù)據(jù)中心普遍使用GPU完成模型訓(xùn)練和推理,也有數(shù)據(jù)中心部署云端推理芯片。一位芯片行業(yè)人士說,云端推理芯片可以承接部分原本在GPU上運(yùn)行的推理任務(wù),例如智駕模型的數(shù)據(jù)處理、測試、仿真,以及大語言模型的請求處理。模型訓(xùn)練中涉及參數(shù)更新的部分仍需訓(xùn)練芯片。
《晚點(diǎn)Auto》表示,數(shù)據(jù)流架構(gòu)從車端走向云端在技術(shù)上可行。一種路徑是復(fù)用車端NPU(AI處理器)的計(jì)算設(shè)計(jì),將多個AI計(jì)算晶粒封裝在一起,配套高帶寬內(nèi)存和高速互聯(lián),組成規(guī)模更大的推理芯片。車端和云端由此可以復(fù)用部分設(shè)計(jì)和軟件工具,分?jǐn)傃邪l(fā)成本。
但云端芯片不是車端芯片的簡單放大。車端模型、傳感器輸入和運(yùn)行節(jié)奏相對固定,主要追求低功耗、低延遲和穩(wěn)定執(zhí)行;云端需要同時處理更多模型,模型更新更快,輸入長度和并發(fā)請求波動更大,還涉及高帶寬內(nèi)存、多芯片互聯(lián)、動態(tài)批處理和集群調(diào)度。
值得一提的是,在理想推進(jìn)云端推理芯片的同時,《晚點(diǎn)Auto》也從多渠道確認(rèn),理想芯片的軟件研發(fā)負(fù)責(zé)人金一華和芯片前端設(shè)計(jì)一組負(fù)責(zé)人戴頡已經(jīng)離職。兩人此前均向算力單元負(fù)責(zé)人羅旻匯報,最終向集團(tuán)CTO謝炎匯報羅旻則向集團(tuán)CTO謝炎匯報。
版權(quán)所有,未經(jīng)許可不得轉(zhuǎn)載
-開云電競官網(wǎng)