AI伺服器成本分析——記憶體是最大的輸家 - 股票QA

Suhail Hany · 2023-05-29

Table of Contents

Post
Comments
Related Posts

剛看到半導體產業分析機構semianalysis的這篇新文章:
https://www.semianalysis.com/p/ai-server-cost-analysis-memory-is

雖然沒付費只能看到部分

bing摘要:
這篇文章的核心內容是分析人工智能伺服器的成本。文章指出，隨著數據中心建設的瘋狂
，市場也隨之瘋狂。但是，有許多公司並不應該因此而受益。文章還提到，IT預算有限，
因此Nvidia銷售額的增長主要來自於購買較少的非GPU伺服器。文章中還提供了一個標準
CPU伺服器的成本分解，顯示內存佔伺服器成本的近40%。文章最後指出，在人工智能時代
，普通伺服器的百分比將會下降，並且在數據中心轉向加速計算時，各組件的成本分配也
會發生重大變化。

分析cpu server和ai server的成分價格概念不錯

https://i.imgur.com/mHf654R.png

但intel server沒把gpu+switch baseboard部分的價格抓出來來比
就說憶體幾乎是伺服器成本的40%
問號?

--

股票

All Comments

Anonymous2023-06-01

AI伺服器會走AWS那種營運模式啦，真以為每家公司自
己架設自己要的AI伺服器喔？頭殼壞才這樣搞，就連Op
enAI 微軟都砸多少錢花了幾年

Liam2023-06-04

尬死空軍總部

Emma2023-06-07

這篇文章的成本計算好奇妙，

Barb Cronin2023-06-09

大老黃買越多(Gpu)省越多(cpu) 應該是真的server總
數量可能下降 Ai server佔比大提升…

Hedy2023-06-12

這樣GG是受益者還是受害者啊？

Hardy2023-06-15

把原本記憶體的費用轉向高速運算了

Ethan2023-06-13

SmartNIC成本是過去的16倍那間台廠不就賺爆

Todd Johnson2023-06-15

所以爽到韓國hbm記憶體

Ida2023-06-13

memory這麼貴是用CXL嗎... 這誰算的啊

Charlotte2023-06-15

爽到海力士

Noah2023-06-13

99旺宏

Liam2023-06-15

最近確實這種論述蠻多的
但這個論述的邏輯是有漏洞的
基本上建立在AI伺服器和一般伺服器是替代品
但其實並不是
若一般伺服器能做到AI伺服器能做的事
那不會有人願意買AI伺服器

Quintina2023-06-13

2023的預算已經訂了短期確實會這樣搞
但2024後其實應該是整體資本支出往上噴
AI伺服器的資本支出是額外往上加的
而非用於取代一般伺服器

John2023-06-15

拿AI伺服器來做一般伺服器能做的事
也很不合邏輯

Valerie2023-06-13

老黃今天不是有說嗎 cpu伺服器又貴又耗能你可以買
低階的gpu 一顆gpu就抵n顆cpu 這樣還是比較省阿

Yuri2023-06-15

cpu跟gpu適合的任務是不同的
如果gpu能完美取代cpu 那nv早年不會那麼慘

Hardy2023-06-13

很多東西不能只看算力和能耗

Una2023-06-15

狙擊槍跟散彈槍不能拿來比較

Elizabeth2023-06-13

你講的是"伺服器" 你如果是要做其他用途譬如儲存

Rachel2023-06-15

你就買NAS阿 cpu當然不可能消失只是在算力上面

Skylar Davis2023-06-13

今天新的 gh200 直接存取記憶體用很兇
低電壓記憶體
特點是今天有賣高級switch

Michael2023-06-15

而且全部走光纖
Spectrum-X 4奈米

Olive2023-06-13

gpu是更好的選擇沒有人說不能買籃球鞋跑步

Ophelia2023-06-15

64port 800G光纖速度

Emily2023-06-13

你搞錯意思了一般伺服器也不會配備gpu
兩顆cpu就能解決的事何必多配gpu?
特別是你加gpu 要拿來幹嘛?
就沒適合的任務給他算啊

Edwina2023-06-15

順邊做網通

Joe2023-06-13

H100還是要用到SPR，i皇還是有得賺

Delia2023-06-15

絕大部分的應用根本不需要那麼高的算力
反而是cpu更適合多功處理取代個毛

Eden2023-06-13

DGX GH200 , 144TB 直接存取記憶體 !!!
1 ExaFLOPS

Connor2023-06-15

已經沒人會叫兩顆cpu的機器伺服器了那個是個人電腦

Caitlin2023-06-13

一台大概2000多顆記憶體顆粒三家買大概6000多個

Rebecca2023-06-15

而且老實講啦 nv就最沒資格講低功耗低成本
就算不用ai chip
消費級的gpu 也快跟server cpu差不多貴了省個毛

Charlotte2023-06-13

你要抬槓就去抬槓吧 XD 誰不知道cpu的指令集更泛用

Ethan2023-06-15

其實還是個人電腦市場的記憶體用量比較大

Eartha2023-06-13

如果沒人care你說的這種應用要怎麼配置了講難聽一

Puput2023-06-15

點就是很多x86能做的事情arm也能做那你買手機還會

Carolina Franco2023-06-13

去想要怎麼配嗎買PC還會去文書機怎麼組嗎

Ingrid2023-06-15

目前絕大部分的伺服器仍是配備2顆

Kelly2023-06-13

記憶體是輸家??未來CXL3.0普及就更需要大量記憶體，
加上記憶體內運算是未來趨勢

Thomas2023-06-15

記憶體又是你你最爛

Hazel2023-06-13

如果只是講Flash，那的確是輸家

Belly2023-06-15

買越多越省錢

Doris2023-06-13

恩單一個GH200的小型server 576G的記憶體
有1000多家合作廠商人人買一台小型的也不少

Hardy2023-06-15

the more u buy the more u save指的是AI算力
而且老黃今天說算力還在往上衝

Margaret2023-06-13

要用傳統的server 跟他的cuda tensor cores
已經被甩到看不到車尾燈了
10年前就1台抵10台了

Bethany2023-06-15

我不覺得flash會是輸家~別忘了flash成本下降也是很
快的有個說法再5年 SSD就會取代傳統的HDD

Faithe2023-06-13

感謝分享

Kyle2023-06-15

模型目前越來越大記憶體需求增加 training 你限制
只能用Nv 但目前還是有很多inference 用Cpu70%？,
chatgpt 給你用的就只是inference 如果一堆infer
ence都有Gpu或asic加速確實server需求可能會降

George2023-06-13

伺服器要建置成本超高

Barb Cronin2023-06-15

我怎沒看到20T的SSD

David2023-06-13

目前 llm inference 也是用 ai server
只是不用配到H100 但主流應仍配備A100

Quintina2023-06-15

看起來三星記憶體又要大賺晶圓代工滿血復活。

Megan2023-06-13

你問這之前要不要先google....2年前就在賣100T了

Noah2023-06-15

老黃除了拉抬gg一把還救了三星和美光阿!!

Brianna2023-06-13

目前伺服器類股都噴出

Hedy2023-06-15

semianalysis的東西看看就好不過也沒啥人認真研究
然後一樓那葛論點=糞 smci這一年多噴多少

Ina2023-06-13

4說原po尼到底有沒看他整篇他下面94加ai卡的成本

Kumar2023-06-15

inference用cpu是牙膏的論點
牙膏說九成的ai行為是inference 然後inference

Hamiltion2023-06-13

基本上他就不是消費性電子產品

Kelly2023-06-15

60%在cpu上面
詳細數據可能有些錯不過牙膏那論點跟大便依樣

Charlie2023-06-13

感謝教主開示

Audriana2023-06-15

因為簡單的ai像照相抓人臉那種手雞cpu就做掉惹
跟牙膏也無關

Jack2023-06-13

美光真的感恩上週快摸到75 香噴噴

Joe2023-06-15

接下來的時代重點是生成型ai會普及運算需求爆炸
從server到手機半導體需求也會大爆炸
dram廠也會受惠

Edwina2023-06-13

謝教主哥提點偶是被那空一欄不計誤導了

Dinah2023-06-15

我快要知道金富力士等11個人如何可以製作貪婪之島

Yedda2023-06-13

有在跑運算的記憶體不會省

Thomas2023-06-15

只能說記憶體不是gating 也不會爆發多少

Bennie2023-06-13

$1T用小錢買麻花卷再多也做一樣的事就too much

Oliver2023-06-15

一級玩家的綠洲看起來似乎也是由劇中哈勒戴一人製作

Jake2023-06-13

定錨昨天就有說用GPU做AI伺服器只是初步階段
未來還是會回歸CPU

Aaliyah2023-06-15

未來AI運算還有MRAM記憶體內運算三星已做出原型

Kyle2023-06-13

所有扯到inference HW, 都要多吃RAM
不管是 notebook, 手機, 甚至藍芽audio, GPS ..

Elizabeth2023-06-15

這種小到不行的MCU要跑AI都要加RAM

Audriana2023-06-13

所以美國黃董會跟台灣惶懂合作嗎？

Ingrid2023-06-15

我預估記憶體內運算至少還要等三年

Victoria2023-06-13

AI列車早就開了，誰還跟你等記憶體內運算，而且SoC
的command要不要變都還是個問題，PIM也會造成capac
ity下降

Emily2023-06-15

IO BW足夠支撐算力，其實PIM不見得是市場趨勢

Brianna2023-06-13

記憶體內運算...你要確定model改了你還算得出來

Wallis2023-06-15

很久前gpu吃浮點尾數的小問題不知改正沒有舊cpu版
程式除非遇到嚴重效能瓶頸修改的成本還是高 gpu推
了十多年才終於冒出頭

Sandy2023-06-13

記憶體內運算記得也做好一陣子了跟gpu/cpu二回事吧
那是省寫硬碟的時間

Mia2023-06-15

不過dram需求一定會跟著AI發展水漲船高

Damian2023-06-13

記憶體會是成本輸家？這邏輯我無法參透

William2023-06-15

記憶體高階技術成本降不下來嗎？學一下晶片

Emma2023-06-13

記憶體內運算是啥意思?運算永遠在處理器裏吧...還是

Zanna2023-06-15

說馮紐曼的架構大改了?頂多就把整顆硬碟塞進Ram...

Rosalind2023-06-13

就開機的時候特別久...不過記憶體分層發展至今應該
差不了那點IO了吧...

Anonymous2023-06-15

記憶體一直是效能的gating啊...不足就等著慢...不過

Anonymous2023-06-13

超過的確是不會爆發什麼...就是不卡系統運算天限...

Frederica2023-06-15

樓上PIM參考一下

Joe2023-06-13

GDDR6-AiM -- SK hynix 在 ISSCC 2022 發表的論文(&
展示晶片)，人類在半導體技術的進步將帶領電腦突破
von Neumann bottleneck

Heather2023-06-15

tinyurl.com/5n6unnby

Connor2023-06-13

人工智慧

Caroline2023-06-15

https://i.imgur.com/X0Kto9H.jpg

Heather2023-06-13

為啥是輸家？因為%下降？

Connor2023-06-15

AI伺服器哪有可能回到CPU為主...

Ophelia2023-06-13

雲端AI越來越強手機有必要升級嗎? 不是都丟到雲嗎

Lucy2023-06-15

邊緣運算，因為資安因素，終端設備也要有一定算力

Suhail Hany2023-06-13

邊緣運算市場一定會有，資安問題是一點。再來就是b
usiness問題，edge端的產品可以玩的公司比較多

Charlie2023-06-15

什麼都要訂閱一下以為人人受得了嗎

Oliver2023-06-13

圖應該是一般server吧一般的泛指沒裝GPU

Charlie2023-06-15

今天記憶體狂噴 ??

Oliver2023-06-13

ptt骨神超多

AI伺服器成本分析——記憶體是最大的輸家 - 股票QA

All Comments

Related Posts