AI伺服器成本分析——記憶體是最大的輸家 - 股票QA

Suhail Hany avatar
By Suhail Hany
at 2023-05-29T22:13

Table of Contents

剛看到半導體產業分析機構semianalysis的這篇新文章:
https://www.semianalysis.com/p/ai-server-cost-analysis-memory-is

雖然沒付費只能看到部分

bing摘要:
這篇文章的核心內容是分析人工智能伺服器的成本。文章指出，隨著數據中心建設的瘋狂
，市場也隨之瘋狂。但是，有許多公司並不應該因此而受益。文章還提到，IT預算有限，
因此Nvidia銷售額的增長主要來自於購買較少的非GPU伺服器。文章中還提供了一個標準
CPU伺服器的成本分解，顯示內存佔伺服器成本的近40%。文章最後指出，在人工智能時代
，普通伺服器的百分比將會下降，並且在數據中心轉向加速計算時，各組件的成本分配也
會發生重大變化。

分析cpu server和ai server的成分價格 概念不錯

https://i.imgur.com/mHf654R.png
但intel server沒把gpu+switch baseboard部分的價格抓出來來比
就說憶體幾乎是伺服器成本的40%
問號?

--
Tags: 股票

All Comments

Anonymous avatar
By Anonymous
at 2023-06-01T16:06
AI伺服器會走AWS那種營運模式啦，真以為每家公司自
己架設自己要的AI伺服器喔？頭殼壞才這樣搞，就連Op
enAI 微軟都砸多少錢花了幾年
Liam avatar
By Liam
at 2023-06-04T09:59
尬死空軍總部
Emma avatar
By Emma
at 2023-06-07T03:52
這篇文章的成本計算好奇妙，
Barb Cronin avatar
By Barb Cronin
at 2023-06-09T21:45
大老黃買越多(Gpu)省越多(cpu) 應該是真的server總
數量可能下降 Ai server佔比大提升…
Hedy avatar
By Hedy
at 2023-06-12T15:39
這樣GG是受益者還是受害者啊？
Hardy avatar
By Hardy
at 2023-06-15T09:32
把原本記憶體的費用轉向高速運算了
Ethan avatar
By Ethan
at 2023-06-13T02:00
SmartNIC成本是過去的16倍 那間台廠不就賺爆
Todd Johnson avatar
By Todd Johnson
at 2023-06-15T19:53
所以爽到韓國hbm記憶體
Ida avatar
By Ida
at 2023-06-13T02:00
memory這麼貴是用CXL嗎... 這誰算的啊
Charlotte avatar
By Charlotte
at 2023-06-15T19:53
爽到海力士
Noah avatar
By Noah
at 2023-06-13T02:00
99旺宏
Liam avatar
By Liam
at 2023-06-15T19:53
最近確實這種論述蠻多的
但這個論述的邏輯是有漏洞的
基本上建立在AI伺服器和一般伺服器是替代品
但其實並不是
若一般伺服器能做到AI伺服器能做的事
那不會有人願意買AI伺服器
Quintina avatar
By Quintina
at 2023-06-13T02:00
2023的預算已經訂了 短期確實會這樣搞
但2024後 其實應該是整體資本支出往上噴
AI伺服器的資本支出是額外往上加的
而非用於取代一般伺服器
John avatar
By John
at 2023-06-15T19:53
拿AI伺服器來做一般伺服器能做的事
也很不合邏輯
Valerie avatar
By Valerie
at 2023-06-13T02:00
老黃今天不是有說嗎 cpu伺服器又貴又耗能 你可以買
低階的gpu 一顆gpu就抵n顆cpu 這樣還是比較省阿
Yuri avatar
By Yuri
at 2023-06-15T19:53
cpu跟gpu適合的任務是不同的
如果gpu能完美取代cpu 那nv早年不會那麼慘
Hardy avatar
By Hardy
at 2023-06-13T02:00
很多東西不能只看算力和能耗
Una avatar
By Una
at 2023-06-15T19:53
狙擊槍跟散彈槍不能拿來比較
Elizabeth avatar
By Elizabeth
at 2023-06-13T02:00
你講的是"伺服器" 你如果是要做其他用途 譬如儲存
Rachel avatar
By Rachel
at 2023-06-15T19:53
你就買NAS阿 cpu當然不可能消失 只是在算力上面
Skylar Davis avatar
By Skylar Davis
at 2023-06-13T02:00
今天新的 gh200 直接存取記憶體用很兇
低電壓記憶體
特點是今天有賣高級switch
Michael avatar
By Michael
at 2023-06-15T19:53
而且全部走光纖
Spectrum-X 4奈米
Olive avatar
By Olive
at 2023-06-13T02:00
gpu是更好的選擇 沒有人說不能買籃球鞋跑步
Ophelia avatar
By Ophelia
at 2023-06-15T19:53
64port 800G光纖速度
Emily avatar
By Emily
at 2023-06-13T02:00
你搞錯意思了 一般伺服器也不會配備gpu
兩顆cpu就能解決的事 何必多配gpu?
特別是你加gpu 要拿來幹嘛?
就沒適合的任務給他算啊
Edwina avatar
By Edwina
at 2023-06-15T19:53
順邊做網通
Joe avatar
By Joe
at 2023-06-13T02:00
H100還是要用到SPR，i皇還是有得賺
Delia avatar
By Delia
at 2023-06-15T19:53
絕大部分的應用 根本不需要那麼高的算力
反而是cpu更適合多功處理 取代個毛
Eden avatar
By Eden
at 2023-06-13T02:00
DGX GH200 , 144TB 直接存取記憶體 !!!
1 ExaFLOPS
Connor avatar
By Connor
at 2023-06-15T19:53
已經沒人會叫兩顆cpu的機器伺服器了 那個是個人電腦
Caitlin avatar
By Caitlin
at 2023-06-13T02:00
一台大概2000多顆 記憶體顆粒 三家買 大概6000多個
Rebecca avatar
By Rebecca
at 2023-06-15T19:53
而且老實講啦 nv就最沒資格講低功耗 低成本
就算不用ai chip
消費級的gpu 也快跟server cpu差不多貴了 省個毛
Charlotte avatar
By Charlotte
at 2023-06-13T02:00
你要抬槓就去抬槓吧 XD 誰不知道cpu的指令集更泛用
Ethan avatar
By Ethan
at 2023-06-15T19:53
其實還是個人電腦市場 的記憶體用量比較大
Eartha avatar
By Eartha
at 2023-06-13T02:00
如果沒人care你說的這種應用要怎麼配置了 講難聽一
Puput avatar
By Puput
at 2023-06-15T19:53
點就是很多x86能做的事情arm也能做 那你買手機還會
Carolina Franco avatar
By Carolina Franco
at 2023-06-13T02:00
去想要怎麼配嗎 買PC還會去文書機怎麼組嗎
Ingrid avatar
By Ingrid
at 2023-06-15T19:53
目前絕大部分的伺服器 仍是配備2顆
Kelly avatar
By Kelly
at 2023-06-13T02:00
記憶體是輸家??未來CXL3.0普及就更需要大量記憶體，
加上記憶體內運算是未來趨勢
Thomas avatar
By Thomas
at 2023-06-15T19:53
記憶體 又是你 你最爛
Hazel avatar
By Hazel
at 2023-06-13T02:00
如果只是講Flash，那的確是輸家
Belly avatar
By Belly
at 2023-06-15T19:53
買越多越省錢
Doris avatar
By Doris
at 2023-06-13T02:00
恩 單一個GH200的小型server 576G的記憶體
有1000多家合作廠商 人人買一台小型的 也不少
Hardy avatar
By Hardy
at 2023-06-15T19:53
the more u buy the more u save指的是AI算力
而且老黃今天說 算力還在往上衝
Margaret avatar
By Margaret
at 2023-06-13T02:00
要用傳統的server 跟他的cuda tensor cores
已經被甩到看不到車尾燈了
10年前就1台抵10台了
Bethany avatar
By Bethany
at 2023-06-15T19:53
我不覺得flash會是輸家~別忘了flash成本下降也是很
快的 有個說法再5年 SSD就會取代傳統的HDD
Faithe avatar
By Faithe
at 2023-06-13T02:00
感謝分享
Kyle avatar
By Kyle
at 2023-06-15T19:53
模型目前越來越大 記憶體需求增加 training 你限制
只能用Nv 但目前還是有很多inference 用Cpu70%？,
chatgpt 給你用的就只是inference 如果一堆infer
ence都有Gpu或asic加速 確實server需求可能會降
George avatar
By George
at 2023-06-13T02:00
伺服器要建置成本超高
Barb Cronin avatar
By Barb Cronin
at 2023-06-15T19:53
我怎沒看到20T的SSD
David avatar
By David
at 2023-06-13T02:00
目前 llm inference 也是用 ai server
只是不用配到H100 但主流應仍配備A100
Quintina avatar
By Quintina
at 2023-06-15T19:53
看起來 三星記憶體又要大賺 晶圓代工滿血復活。
Megan avatar
By Megan
at 2023-06-13T02:00
你問這之前要不要先google....2年前就在賣100T了
Noah avatar
By Noah
at 2023-06-15T19:53
老黃除了拉抬gg一把 還救了三星和美光阿!!
Brianna avatar
By Brianna
at 2023-06-13T02:00
目前伺服器類股都噴出
Hedy avatar
By Hedy
at 2023-06-15T19:53
semianalysis的東西看看就好 不過也沒啥人認真研究
然後一樓那葛論點=糞 smci這一年多噴多少
Ina avatar
By Ina
at 2023-06-13T02:00
4說原po尼到底有沒看他整篇 他下面94加ai卡的成本
Kumar avatar
By Kumar
at 2023-06-15T19:53
inference用cpu是牙膏的論點
牙膏說九成的ai行為是inference 然後inference
Hamiltion avatar
By Hamiltion
at 2023-06-13T02:00
基本上他就不是消費性電子產品
Kelly avatar
By Kelly
at 2023-06-15T19:53
60%在cpu上面
詳細數據可能有些錯 不過牙膏那論點跟大便依樣
Charlie avatar
By Charlie
at 2023-06-13T02:00
感謝教主開示
Audriana avatar
By Audriana
at 2023-06-15T19:53
因為簡單的ai像照相抓人臉那種 手雞cpu就做掉惹
跟牙膏也無關
Jack avatar
By Jack
at 2023-06-13T02:00
美光真的感恩 上週快摸到75 香噴噴
Joe avatar
By Joe
at 2023-06-15T19:53
接下來的時代重點是生成型ai會普及 運算需求爆炸
從server到手機 半導體需求也會大爆炸
dram廠也會受惠
Edwina avatar
By Edwina
at 2023-06-13T02:00
謝教主哥提點 偶是被那空一欄不計誤導了
Dinah avatar
By Dinah
at 2023-06-15T19:53
我快要知道金富力士等11個人如何可以製作貪婪之島
Yedda avatar
By Yedda
at 2023-06-13T02:00
有在跑運算的 記憶體不會省
Thomas avatar
By Thomas
at 2023-06-15T19:53
只能說 記憶體不是gating 也不會爆發多少
Bennie avatar
By Bennie
at 2023-06-13T02:00
$1T用小錢買麻花卷 再多也做一樣的事 就too much
Oliver avatar
By Oliver
at 2023-06-15T19:53
一級玩家的綠洲看起來似乎也是由劇中哈勒戴一人製作
Jake avatar
By Jake
at 2023-06-13T02:00
定錨昨天就有說 用GPU做AI伺服器只是初步階段
未來還是會回歸CPU
Aaliyah avatar
By Aaliyah
at 2023-06-15T19:53
未來AI運算還有MRAM記憶體內運算 三星已做出原型
Kyle avatar
By Kyle
at 2023-06-13T02:00
所有扯到inference HW, 都要多吃RAM
不管是 notebook, 手機, 甚至 藍芽audio, GPS ..
Elizabeth avatar
By Elizabeth
at 2023-06-15T19:53
這種小到不行的MCU要跑AI都要加RAM
Audriana avatar
By Audriana
at 2023-06-13T02:00
所以美國黃董會跟台灣惶懂合作嗎？
Ingrid avatar
By Ingrid
at 2023-06-15T19:53
我預估記憶體內運算至少還要等三年
Victoria avatar
By Victoria
at 2023-06-13T02:00
AI列車早就開了，誰還跟你等記憶體內運算，而且SoC
的command要不要變都還是個問題，PIM也會造成capac
ity下降
Emily avatar
By Emily
at 2023-06-15T19:53
IO BW足夠支撐算力，其實PIM不見得是市場趨勢
Brianna avatar
By Brianna
at 2023-06-13T02:00
記憶體內運算...你要確定model改了你還算得出來
Wallis avatar
By Wallis
at 2023-06-15T19:53
很久前gpu吃浮點尾數的小問題不知改正沒有 舊cpu版
程式除非遇到嚴重效能瓶頸 修改的成本還是高 gpu推
了十多年才終於冒出頭
Sandy avatar
By Sandy
at 2023-06-13T02:00
記憶體內運算記得也做好一陣子了 跟gpu/cpu二回事吧
那是省寫硬碟的時間
Mia avatar
By Mia
at 2023-06-15T19:53
不過dram需求一定會跟著AI發展水漲船高
Damian avatar
By Damian
at 2023-06-13T02:00
記憶體會是成本輸家？這邏輯我無法參透
William avatar
By William
at 2023-06-15T19:53
記憶體高階技術成本降不下來嗎？學一下晶片
Emma avatar
By Emma
at 2023-06-13T02:00
記憶體內運算是啥意思?運算永遠在處理器裏吧...還是
Zanna avatar
By Zanna
at 2023-06-15T19:53
說馮紐曼的架構大改了?頂多就把整顆硬碟塞進Ram...
Rosalind avatar
By Rosalind
at 2023-06-13T02:00
就開機的時候特別久...不過記憶體分層發展至今應該
差不了那點IO了吧...
Anonymous avatar
By Anonymous
at 2023-06-15T19:53
記憶體一直是效能的gating啊...不足就等著慢...不過
Anonymous avatar
By Anonymous
at 2023-06-13T02:00
超過的確是不會爆發什麼...就是不卡系統運算天限...
Frederica avatar
By Frederica
at 2023-06-15T19:53
樓上PIM參考一下
Joe avatar
By Joe
at 2023-06-13T02:00
GDDR6-AiM -- SK hynix 在 ISSCC 2022 發表的論文(&
展示晶片)，人類在半導體技術的進步將帶領電腦突破
von Neumann bottleneck
Heather avatar
By Heather
at 2023-06-15T19:53
tinyurl.com/5n6unnby
Connor avatar
By Connor
at 2023-06-13T02:00
人工智慧
Caroline avatar
By Caroline
at 2023-06-15T19:53
https://i.imgur.com/X0Kto9H.jpg
Heather avatar
By Heather
at 2023-06-13T02:00
為啥是輸家？ 因為%下降？
Connor avatar
By Connor
at 2023-06-15T19:53
AI伺服器哪有可能回到CPU為主...
Ophelia avatar
By Ophelia
at 2023-06-13T02:00
雲端AI越來越強 手機有必要升級嗎? 不是都丟到雲嗎
Lucy avatar
By Lucy
at 2023-06-15T19:53
邊緣運算，因為資安因素，終端設備也要有一定算力
Suhail Hany avatar
By Suhail Hany
at 2023-06-13T02:00
邊緣運算市場一定會有，資安問題是一點。再來就是b
usiness問題，edge端的產品可以玩的公司比較多
Charlie avatar
By Charlie
at 2023-06-15T19:53
什麼都要訂閱一下以為人人受得了嗎
Oliver avatar
By Oliver
at 2023-06-13T02:00
圖應該是一般server吧 一般的泛指沒裝GPU
Charlie avatar
By Charlie
at 2023-06-15T19:53
今天記憶體狂噴 ??
Oliver avatar
By Oliver
at 2023-06-13T02:00
ptt骨神超多

112年05月29日信用交易統計

Emma avatar
By Emma
at 2023-05-29T21:39
1. 標題：112年05月29日信用交易統計 2. 來源：臺灣證券交易所、證券櫃檯買賣中心 (公司名、網站名) 3. 網址：https://reurl.cc/E2xlzv https://reurl.cc/V3AOXA (請善用縮網址工具) 4. 內文： 112年05月29日信用交易統計 項目 ...

TSLA.US 特斯拉 多輪多

Tristan Cohan avatar
By Tristan Cohan
at 2023-05-29T21:17
各位AI投資大師晚安, 最近特斯拉好消息狂出: 從馬斯克宣布找到新的推特CEO, 到Model Y 賣贏神A, 還有福特決定新平台採用特斯拉充電規格, 廣告也終於在股東會上獲得初步同意, 當然還有最令人期待的cybertruck, 迫不及待看到平常在臭馬斯克臭特斯拉的名人和各家媒體, 不得不免費幫cyber ...

0529 上市櫃外資投信買超金額排行

Elma avatar
By Elma
at 2023-05-29T21:07
外資 排行 股票名稱 百萬 收盤價 漲跌 1 2330台積電 11667 568 +2 2 3661世芯-KY 2363 1660 +150 3 2603長榮 1486 157 +4.5 4 2345智邦 ...

台驊投控董事長顏益財喊 海運空手的人可

George avatar
By George
at 2023-05-29T20:58
原文標題：台驊投控董事長顏益財喊 海運空手的人可以評估進場 原文連結：https://money.udn.com/money/story/5618/7197433 發布時間：2023/05/29 11:30:53 記者署名：經濟日報 記者黃淑惠 原文內容： 台驊投控（2636）董事長顏益財喊海運空手 ...

0050規模突破3,000億元！ 台灣基金全新里

Jacob avatar
By Jacob
at 2023-05-29T20:38
原文標題：0050規模突破3,000億元！ 台灣基金全新里程碑 原文連結：https://pse.is/4yuw9w 發布時間：2023-05-29 16:56 記者署名：經濟日報／ 記者 高瑜君 內文： 台灣首檔ETF元大台灣50（0050），2003年成立以來成長期參與台股市值成長，以及市場 資 ...