Google在3月25日出了針對AI運算時記憶體用量的神級演算法:TurboQuant,說白了就是研發出了一種數據「縮小燈」,宣稱導入這套演算法之後,記憶體用量可以只需要現在的六分之一,但AI運算的反應速度快8倍。
過去兩個多月來,記憶體因為CSP為了AI需求而大量掃貨,帶動記憶體大缺貨與漲價潮,股價也因此而狂漲,Google這個演算法一亮相,立刻引起已經漲多的記憶體族群股價上演大逃殺,即使這項技術目前仍停留在學術論文的階段,實際商用的日程不明。
業界人士與專家對記憶體需求的前景沒有像股市這麼悲觀。要了解TurboQuant的原理與為什麼不需要對記憶體需求悲觀,專家打了個比喻,可以把AI運算想像成用電腦寫作業的過程,這張桌子(HBM)很小,桌子正旁邊永遠擺著一台不能移動的「巨型電腦」(AI模型權重),桌子旁邊還有另一個櫃子(DRAM),櫃子裡堆滿了你為了寫作業而搜集的紙本資料、筆記(對話紀錄),當你用電腦寫作業寫越久,小桌子上就會被越來越多從櫃子裡搬來的紙張所佔據,以至於小小的桌面被塞爆,用電腦寫作業的速度變得超慢。
專家解釋,Google的TurboQuant技術,就是把小桌子上堆積如山的紙本資料、筆記,通通縮小、削薄,原本桌子上只能放10張紙、現在能塞60張,更厲害的是,Google強調紙張被縮小、削薄都是「無損」的,意思就是,紙本資料、筆記上面的字一個都沒少,還是看得一清二楚,而且桌面空出來了,用電腦寫作業的速度自然就噴發了,這是為什麼大語言模型的AI處理速度可以比現在快8倍、所需要的記憶體只要現在的6分之1,然後記憶體的需求前景恐怕將大大不如預期,股價都大跌了。
不過,故事到這裡還沒有結束。專家提醒,既然紙張變小又變薄、用電腦寫作業的速度變快,大家就不會只滿足於用電腦寫作業,反而開始用電腦寫百萬字長篇小說、有大量圖表的部落格長文,也因為用戶都開始用電腦寫複雜度高、超大型的作品,紙張的總數量翻了幾千倍,逼得大家終究還是要買新桌子、新櫃子,來存放這些的海量小紙張,等到作品完成後,紙張通通得搬進櫃子後方的「大型儲藏室」(NAND/SSD)裡存著。
所以專家認為這就是為什麼,Google新演算法不會對記憶體需求有影響,反而會因為新演算法讓AI變得好用、用AI的人變多,而讓CSP對記憶體的需求不斷提高。


