輝達2023年推出整機櫃模式的Grace Hopper 200之前，AI伺服器並不流行機櫃，不過整機櫃在傳輸速度、算力、甚至是散熱效率都有優勢下，TrendForce認為，今年AI伺服器機櫃出貨量將年增28％以上。
TrendForce指出，現階段AI伺服器機櫃仍以應用在高階AI訓練為主力、佔AI伺服器機櫃總出貨量55％，不過，CSP斥鉅資投入AI訓練多年後，現在開始積極推動AI推論服務以便變現，中長期AI伺服器機櫃出貨量主流應用將不再是訓練、而是推論，另外，輝達也將拓展更多AI推論使用情境，今年主力AI伺服器機櫃GB／VR系統除AI訓練用途外，也特別強調GB、VR都可支援AI推論所需算力。
今年Google、亞馬遜、微軟、Meta、甲骨文合計資本支出是連續第三年激增，TrendForce評估，北美五大CSP的輝達GB／VR機櫃算力，從AI訓練、FP16／BF16精度為估算基礎，繼去年五大業者的總算力達逾9 ExaFLOPS後，今年將再比去年成長56％以上，而從AI推論、FP4／NVFP4精度來計算，去年五大CSP的總算力逾37 ExaFLOPS，預計今年將成長122％、明顯高於AI訓練，反映出輝達開始著重AI推論效能，並落實在GB300、VR200機櫃中。
至於CSP業者自研的AI ASIC方面，TrendForce認為以Google布局最積極，今年Google對TPU需求量年增近80％，亞馬遜採購自研AI ASIC伺服器機櫃的力道僅次於Google，預計2026年Trainium系列於AWS內AI伺服器占比將達40％以上。
