第974章 員工福利提升,新的一年發展規劃(2/2)
「我們目前基於傳統D架構做的AI加速核心,在圖象識別和自然語言處理上的性能已經追平了英偉達同級別產品,但功耗始終偏高。主要是數據搬運太頻繁,神經網絡每一層都要從外部DRAM里反覆加載權重,加載一次能耗比算一次還高。這個問題不解決,我們的AI晶片就只能用在伺服器端,塞不進車機和手機。」
他把功耗曲線逐層拆解開來,每拆一層就在屏幕上標一個對應的數據搬運量。
從卷積層到全連接層再到注意力機制,搬運量的峰值越來越高,整張圖看上去就像一面正在傾斜的牆。
王東來沒有直接回答。
他走到白板前拿起記號筆,畫了一個全新的架構草圖。
不是傳統的D陣列,而是一種混合粒度的張量計算單元,粗粒度處理大規模矩陣乘法,細粒度處理稀疏化後的注意力計算。
兩者共用同一組片上緩存,但調度邏輯分開。
「傳統GPU用D堆算力,靠暴力計算碾壓神經網絡。但AI推理任務的瓶頸不是算力,是數據搬運。每一層神經網絡的權重都要從外部內存搬進計算單元,搬一次消耗的能量比算一次還多。你們的方案用大容量片上緩存來減少搬運次數,方向對,但片上緩存的容量終歸有限,緩存再大,也裝不下整個GPT模型的權重。」
他在混合粒度張量計算單元的架構圖上添了幾筆,在片上緩存和外部DRAM之間加了一個極簡的數據壓縮引擎。
「在數據進出片上緩存的時候加一層硬體壓縮解壓邏輯,不是軟體壓縮,是直接做在矽片上的專用壓縮引擎。神經網絡權重本身有大量冗餘,稀疏化之後大部分權重是零,非零部分也有很強的規律性。用輕量級的差分編碼把權重流壓縮到原來的幾分之一,數據搬運量就對應降下來了。」
周工盯著那張架構圖看了很久,眼神越來越亮。
他拿起紅色記號筆在數據壓縮引擎旁邊寫了幾行字,差分編碼、零值壓縮、自適應量化,每一行都是硬體壓縮領域的前沿方向,但真正做成矽片的沒有幾家。
看了一會兒,周工問了一個關鍵問題:壓縮解壓本身會帶來延遲開銷,如果延遲累積超過計算單元的空閒窗口,整體推理時間反而會被拖長。
王東來的回答更是沒有絲毫猶豫:壓縮解壓邏輯和計算流水線做並行化處理,不是先解壓再計算,是邊解壓邊計算。解壓完一個數據塊直接推進計算流水線,不等整個批次解壓完成。延遲開銷被計算流水線的吞吐率吃掉,淨功耗下降,淨延遲不增。
他在白板上寫下最後一行字,然後轉過身把記號筆放回槽里。
周工看著那行字沉默了很長時間。
測試台上那組還在跑的功耗曲線在屏幕上緩慢波動著,每一層神經網絡的計算功耗被拆解成數據搬運和矩陣運算兩部分,前者占比高得驚人。
他知道如果王東來提出的這個架構能跑通,國內AI晶片在車機端和手機端將實現從無到有的跨越。
他轉過身對團隊說了一句話:「把王總的混合粒度計算單元方案做成RTL級仿真,三天之內出結果。另外,通知梁總,AI晶片流片排期提前,光刻工廠那邊需要單獨排產線。」
實驗室里頓時響起一片鍵盤敲擊聲。
幾個年輕工程師圍在測試台前七嘴八舌地討論著硬體壓縮引擎的編碼方案,有人調出媧之前做過的神經網絡權重稀疏性分析報告,把差分編碼的壓縮比逐層標出來。
那個從英偉達跟周工一起跳過來的年輕工程師對著屏幕看了很久,忽然說了一句:「如果我們真把這東西做出來,以後英偉達的GPU在端側推理上就沒法跟我們打了。不是價格戰,是直接從架構上抄近路,他們還在用D堆算力,我們已經切到數據流驅動的張量計算了。」
周工沒有回答。
他只是看著白板上那張被畫得密密麻麻的架構圖,想起自己在英偉達時期曾經反覆呼籲過用近存計算思路來打端側AI晶片,但每次都被優先級更高的數據中心GPU項目壓下去。
現在他坐在唐都的實驗室里,和一群年輕人一起重新做這件事,這條路終於有人肯認真走下去了。
第二天,王東來坐在辦公室里審閱AI晶片團隊連夜跑出來的RTL仿真初版數據。
功耗曲線在屏幕上平穩下滑,混合粒度計算單元的調度延遲優於設計指標。
他拿起電容筆在報告上批了兩行字,流片節點提前,光刻工廠單獨排產線,優先保障AI晶片首批工程樣片交付,然後把報告推給媧存檔。
「媧,把銀河集團目前的員工總數和業務分布調出來。」
屏幕上頓時跳出一組數據。
總員工數正好突破了一百零一萬,分布在星火快遞、拼好飯、銀河商超、銀河能源、銀河半導體、銀河航天、銀河生物等核心業務線上,以及分布在全國各地的人才公寓、社區食堂、產線培訓中心和剛剛落成的員工子女託管站。
一百多萬的僱工規模,放到國內,已經是民營企業中的第一家了。
就算是和國企相比,也差不了多少。
並且,明眼人都能看得出來,以銀河科技的發展勢頭,用工數量肯定還能再漲。
比如說是遍地開花的銀河商超、銀河農業、銀河家電等等。
「做一份薪酬福利調整方案,要求全員底薪普遍上調,最低漲幅不少於百分之十。餐補、住房補貼、交通補貼同步優化。另外,核心崗位的長期激勵翻倍,具體方案對接各部門負責人,一天之內匯總到我這裡,我明天要用。」
「人才公寓和員工子女託管站的建設進度,單獨列一份報告出來,從總裁預備金里劃一塊專項資金,不要走常規預算審批流程。調整的具體方案你來擬,擬完直接發各部門負責人確認。」
「最後,做一份年度預算,明年擴大銀河教育的規模,成立從幼兒園到小學再到中學高中的全鏈條,初期以集團員工為主,要打造精品,初期可以賠錢,後期利潤率控制在8%附近。」
「加大銀河農業的種植規模,配套我們的銀河生物研發出來的新質品種,進行高質量高水平的種植。」
王東來語速很快,媧一點都沒有漏下,立即就動用超級算力進行了工作安排。(本章完)