馬斯克等千人簽署公開信：呼籲暫停巨型AI - 股票QA

公開信的原文：
https://futureoflife.org/open-letter/pause-giant-ai-experiments/

它裡面提到4個自我省思，其中第1點：假訊息

是曾經/正在發生，而且造成實質損失



人類判讀訊息真實性時，經驗/直覺可以在新證據 (假設是新聞、訊息) 不多、不強

或物理上不可能時，達到足夠的判斷效果

而證據的重要組成：影像、聲音、來源數

目前生成式模型已經可以很有力的產生人類無法輕易辨識的資料

以前人工時代較容易有破綻，數量也不夠多

現在就是看誰算力夠，就有機會產生足量且高品質的假資料

做為其惡性地宣傳地證據



如果時間夠長，平均來說還是可以判斷真假

然而對於反應時間短，有機會造成損失預期的假證據

平均來說不會完全相信，但會進行某種程度的防禦措施，避免損害

特別是做了也無損失的情況

例如2018年的衛生紙事件

看到新聞的人想著下班先買個衛生紙放著

然後看見彼此購買的行為又強化了缺少的感覺

最後就可以成真到某個時間點



而當生成式AI足夠優秀的時候 (也許future of life預期可能是近年)

具有足夠算力的組織或人

可以大量、多樣化的高品質假證據時

就可以透過網路媒體 (傳統媒體為了避免落後也會盡快跟上)

快速地傳給許多人

再透過經實驗確認過的真實帳號之反應狀況

來評估滾雪球的狀態

並早一步布局較有可能的成真的項目，從中獲利



假想某個上市公司A的賺錢方式是用衛生紙做蓮花來賣

然後有個邪惡組織有規劃的短時間發佈 多張不同超市 缺衛生紙的照片

搭配一些小短片 透過合成人臉和聲音 告訴你真的缺衛生紙啦

因為衛生紙遭到大量搶購 (缺原料)

上市公司A就沒蓮花衛生紙可賣，邪惡組織就空爆他

或是趁他緊張 (時間壓力) 高價賣他衛生紙



整個過程就像高級的詐騙簡訊一樣

只是詐騙簡訊是廣發後，屬於易受騙的族群 (假設2.5%) 會中招

現在因為假證據升級了

邪惡組織可以透過"平均來說"的反應 進行後續規劃

當然邪惡組織也有可能因為人類的非線性反應受損

比如說衛生紙都被囤光了 他因為知道這是假消息 所以沒有多買

結果這組織就買不到 只好拿錢擦屁股 或去買更貴的衛生紙




另外是法律面

它也比詐騙簡訊更高級了

因為你不是造成收訊者的損失

是造成收訊者反應後 某個倒楣鬼的損失

你也沒有直接從倒楣鬼那邊偷搶拐騙錢

而是依據他損失的反應而正當獲利

這直覺很難...從法律去有效的制裁



承上，Future of Life Institute提出的應對方向是甚麼呢？

生產設備可追朔：...oversight and tracking of highly capable AI systems and
large pools of computational capability...

AI浮水印(類似基改標籤)：...provenance and watermarking systems to help
distinguish real from synthetic and to track model leaks

AI傷害的責任歸屬 (法律)...liability for AI-caused harm...

金援確保AI安全的研究...robust public funding for technical AI safety
research...

建構應對AI危害的組織 (AI管理局？) ...well-resourced institutions for
coping with the dramatic economic and political disruptions
(especially to democracy) that AI will cause...


一直以來都有針對生成式模型的辨識模型研究

但短期應該打不贏，因為生成式AI才吸睛又吸金

用AI去辨識誰是AI，避免災害，比較像公共安全

而且技術上應該也很難 如果這樣防衛模型是可買到的

就可以用它加入生成模型的訓練

當然這樣也可以增加生成式AI的成本就是



至於他們提到的6個月，感覺有點謎



股點...

如果有在開發浮水印類技術或符合前述目標的公司

應該可以投資看看 至少符合他們明面上的目標吧



--一些小補充--

現有AI建構的概念是輸入 -> 模型 -> 標籤
標籤就是你要求模型將輸入轉換後的輸出目標
輸入 (文字敘述) -> 標籤 (目標影像)

真實人類的生成內容充滿了整個世界，很容易取得

但如果要訓練辨識生成內容的AI (很粗略的稱作防衛型AI)，輸入與標籤就成為主要的問
題
你要先拿到生成模型 (GAN)，可是沒有開源的你要去哪拿？
就算你知道了網路架構，不同的訓練方式和資料集差異
都可能讓你的防衛型AI無法生效

自己用人判讀，這很難成為有效率的方式

其他非生成式AI的應用，對於惡意防禦也都很苦手
攻擊的方式無窮無盡，而且不像以往程式病毒，攻擊可以透過多個層面進行，包含實體
舉例來說，我建立了偵測手槍的物件識別模型
就假設只要監視器畫面出現手槍，不會誤判而且一定抓得到 (這樣好的模型只存在於幻想
世界)

但槍手只要把槍放在娃娃或遮蔽物內就好了，模型就die...

你拿不到惡意對手的模型，但惡意對手拿得到你的防衛產品來研究


總之，在資訊傳播的惡意使用，可以透過生成式AI達到品質更高、更迅速的產出
如果停6個月可以將生成式內容都加上浮水印或有效溯源，我覺得OK啦
但各個平台變成要去增加檢查浮水印的功能 (?開API去賺錢)


至於說是要妨礙對手競爭 可能性不高
在一般閱讀內容的影像、語言、聲音來說，資料充足
開發 (訓練/最佳化) 速度 -> 硬體 -> 銀彈
訓練架構已發展到盡可能減少人的操作，並且硬體條件足夠下訓練時間可充分縮短
特別是參數調整、網路設計最佳化也可透過訓練完成 -> 進一步縮短時間

生活化的生成式內容狀況是這樣
但很多領域的AI還很早期 (資料/標籤缺乏或昂貴)，有銀彈也沒用

--