量變帶動質變
一直是不變的道理
這次是什麼量呢？
運算能力的量
造就了很多以前沒辦法達成的事情，可以用電腦暴力破解
而這波破解也造就了chatGPT
「
我給你打個比方，比如說你在教一個學生即興演講。 他什麼都不會，所以你找了很多現
成的素材讓他模仿。 在訓練初期，他連模仿這些素材都模仿不好，磕磕巴巴說不成句子
。 隨著訓練加深，他可以很好地模仿現有的演講了，很少犯錯誤。 可是如果你給他出個
沒練過的題目，他還是說不好。 於是你就讓他繼續練。
繼續訓練好像沒什麼意義，因為現在只要是模仿他就都能說得很好，只要是真的即興發
揮他就不會。 但你不為所動，還是讓他練。
就這樣練啊練，突然有一天，你驚奇地發現，他會即興演講了！ 給他一個什麼題目，他
都能現編現講，發揮得很好！
這個過程就是下面這張圖——
https://i.imgur.com/lx81Xx9.jpg
紅色曲線代表訓練，綠色曲線代表生成性發揮。 訓練到一千步乃至一萬步，模型對訓練
題的表現已經非常好了，但是對生成性題目幾乎沒有能力。 練到10萬步，模型做訓練題
的成績已經很完美，對生成題也開始有表現了。 練到100萬步，模型對生成性題目居然達
到了接近100%的精確度。
這就是量變產生質變。
」
你看出什麼了嗎？
NVD讓人類有了足夠的算力，讓很多東西未來能發生質變
就像AI發現了號稱目前不會產生抗藥性的抗生素一樣。
如果用人工的方法去排列組合測試，可能要花好機百年才能把所有的組合嘗試完。
用AI可能就是分分鐘的事情。
就像愛迪生發明電燈，愛迪生嘗試了那麼多種的可能性，嘗試了很久很久，終於發明了「
劃時代」的電燈。
如果在今天有算力的年代，可能一個月電燈這產品就出現了。
你說NVA是虛漲嗎？
短期內有可能是，但對于我們正在踏入奇異點的現在，我覺得NVA還漲少了。
就像下圖——
https://i.imgur.com/suQk09U.jpg
我相信人類目前的演進會和量變帶動質變一樣，直線噴發。
你會發現很多以前解決不了的事情，會靠著強大的算力，能一一破解。
你也會發現很多你想像不到的科技，也會依靠著算力，一一被發明出來。
現在缺少的僅僅是想像力而已。
所以你說這是泡沫嗎？
=================
此篇誇號的部分來自萬維鋼精英日課裡面的部分擷取
AI专题3：语言模型的开悟时刻
這專題弄得蠻有意思的，可以去看看
--
一直是不變的道理
這次是什麼量呢？
運算能力的量
造就了很多以前沒辦法達成的事情，可以用電腦暴力破解
而這波破解也造就了chatGPT
「
我給你打個比方，比如說你在教一個學生即興演講。 他什麼都不會，所以你找了很多現
成的素材讓他模仿。 在訓練初期，他連模仿這些素材都模仿不好，磕磕巴巴說不成句子
。 隨著訓練加深，他可以很好地模仿現有的演講了，很少犯錯誤。 可是如果你給他出個
沒練過的題目，他還是說不好。 於是你就讓他繼續練。
繼續訓練好像沒什麼意義，因為現在只要是模仿他就都能說得很好，只要是真的即興發
揮他就不會。 但你不為所動，還是讓他練。
就這樣練啊練，突然有一天，你驚奇地發現，他會即興演講了！ 給他一個什麼題目，他
都能現編現講，發揮得很好！
這個過程就是下面這張圖——
https://i.imgur.com/lx81Xx9.jpg
紅色曲線代表訓練，綠色曲線代表生成性發揮。 訓練到一千步乃至一萬步，模型對訓練
題的表現已經非常好了，但是對生成性題目幾乎沒有能力。 練到10萬步，模型做訓練題
的成績已經很完美，對生成題也開始有表現了。 練到100萬步，模型對生成性題目居然達
到了接近100%的精確度。
這就是量變產生質變。
」
你看出什麼了嗎？
NVD讓人類有了足夠的算力，讓很多東西未來能發生質變
就像AI發現了號稱目前不會產生抗藥性的抗生素一樣。
如果用人工的方法去排列組合測試，可能要花好機百年才能把所有的組合嘗試完。
用AI可能就是分分鐘的事情。
就像愛迪生發明電燈，愛迪生嘗試了那麼多種的可能性，嘗試了很久很久，終於發明了「
劃時代」的電燈。
如果在今天有算力的年代，可能一個月電燈這產品就出現了。
你說NVA是虛漲嗎？
短期內有可能是，但對于我們正在踏入奇異點的現在，我覺得NVA還漲少了。
就像下圖——
https://i.imgur.com/suQk09U.jpg
我相信人類目前的演進會和量變帶動質變一樣，直線噴發。
你會發現很多以前解決不了的事情，會靠著強大的算力，能一一破解。
你也會發現很多你想像不到的科技，也會依靠著算力，一一被發明出來。
現在缺少的僅僅是想像力而已。
所以你說這是泡沫嗎？
=================
此篇誇號的部分來自萬維鋼精英日課裡面的部分擷取
AI专题3：语言模型的开悟时刻
這專題弄得蠻有意思的，可以去看看
--
All Comments