最佳化？？？ - 財經

※ 引述《harry901 (harry901)》之銘言：
: 有修文章過 建議從頭開始看比較容易瞭解
: ※ 引述《gfee1 (fjijfsiodj)》之銘言：
: : 作者: gfee1 (fjijfsiodj) 看板: Stock
: : 標題: [請益] 最佳化？？？
: : 時間: Sat Jun 4 08:17:17 2016
: : 1.程式交易有提到不應該過度追求參數最佳化
: : 2.1
: : 但如果發現
: : 禮拜一適合做多,就只做多
: if f(x)=ax^3+bx^2+cx+d and f(D)=E
: : 禮拜三適合放空,就只做空
: if f(F)=G
: please find f(x)
: : 2.2
: : 或者是今日出手兩次皆失敗
: : 代表今日不適合作單的模型
: : 就停止作單
: on the other hand, you find that
: if f(H)=I
: also please find f(x)
: : 依據第二點的"特性"下去作單
: : 是否也犯了第一點的最佳化的陷阱?
: : 還是這兩者有差異?
: moreover, the market is not only on deg f(x)=3
: it cloud be on deg f(x)=n
: ※ 編輯: harry901 (36.231.227.104), 06/05/2016 04:31:15
: 推 ETHZ: 請問哈利你在幹嘛? 06/06 00:
26
: 推 Genki626: 哈利大的意思應該是說市場沒有想像中簡單 觀察到的只是 06/06 06:
39
: 推 Genki626: 一個點而已嗎？ 06/06 06:
39
: → piss: function changes everyday 哭哭 06/06 17:
09
: 推 nds3ds: 深奧! 06/07 00:
19
: 其實就是簡單的求函數的一種概念而已
: 如果把市場比喻成函數f(x)
: 我們現有的資料集合k:f(Ak)=Bk
: 但是deg(f)=n 市場機制必然產生n>k 或n<k
: 最佳化的過程 就是讓我們頂多只能盡量讓k接近n
: 但不可能等於n 因為這是不可能發生的 市場的混沌比我們想像中複雜
: 以下以n>k為例子探討
: 由於n>>k trader只是在動態市場上的某個時點(區間)內
: 最佳化使得f(x)有一定資料
: 因此原文問的作法 沒有一定對錯
: 因為原文問的部份比較不算在"過度參數最佳化"的範疇之內
: 能扯上關係的只是過度條件最佳化(文末有解釋)
: 所謂過度最佳化 乃是指 太過依賴最佳化進而造成交易系統失真的過程
: 目前的程式交易必定是由過去的資料去推算未來的資料
: 當如上述的例子 對於每一個k 使得f(Ak)=Bk 這些k的集合都是過去的參數
: 因此若某人有交易系統做正常最佳化
: 必當可得到一條相近的f(x)=ax^n+bx^(n-1)+cx^(n-2)+d....+
: 則此f(x)是正常最佳化後的結果 其中可能有混沌參數n,a,b...這些未知
: 也有可能得到確定的數據c,d....
: 但若過度最佳化 則猶如上述對於每一個K,則f(AK)=BK
: 其中K>k, 表示資料過度依賴的部份為K-k
: 同理也可得到一條相近的F(x)=Ax^n+Bx^(n-1)+.....
: 這時由於K>k, 必然使得(n,a,b...)的量<(n,A,B....) 且(C,D...)的量>(c,d...)
: 因此F(x)會比f(x)更具體 或者說 f(x)比F(x)還要混沌複雜
: 但是因為K是過度依賴過去數據的部份造成F(x) 會產生與市場失真的現象
: 這個就是過度最佳化的弊端
: 如果說上面看得有點抽象 下面的例子比較好懂
: 假若真實市場f(x)是10次函數
: 某人測得市場上四個數據找到h(x)=3x^4-2x-1 (四個數據只能假設多項方程式為四次
: 最佳化的目的就是希望找到真實f(x)
: 然而另一人以相同數據再做最佳化,
: 他比上一個人還多了一些假設(比如市場必通過原點),而這些假設通常沒有標準答案
: 因此得到g(x)=x^5-3x^2-2
: 同樣的市場 一個是h, 一個是g來描述
: g很明顯比h更精確 但是卻不是更具體 反而增加了原本的混沌
: 因為市場f(x)是10次 是比g,h還要混沌的系統
: 回到原文 有些最佳化是有利系統找出一個h接近f
: 有些最佳化則是相反會讓不利於系統 而找出一個g接近f
: 而這個g就是過度最佳化產生的結果 他雖然明確 但是他失真了
: 因此如果說原文的疑惑要用過度最佳化解釋
: ""星期一作多 星期三空 外加條件失敗兩次就不作""
: 上面是三個條件 拿去跑最佳化 可能得到h
: (情況一)
: ""回測資料區間由60天拉長至90天""
: ""回測資料區間由60天縮短至30天""
: 加上上面任何一條件 拿去跑最佳化 可能得到h' 也可能得到g
: 因為日線是系統的參數
: 如果得到g 觀察系統如果有些特定資料有問題 表示對系統過度參數最佳化
: 如果得到h' 同理觀察系統 在合理範圍的部份 則表示還沒有過度參數最佳化
: 通常如何判斷過度最佳化 一般都是看MaxDD, 最大payoff等合不合理
: 每個人判斷的準則不一 這部份沒有一定答案
: (情況二)
: 而若是
: ""前一天交易量>前前一天交易量且前一天股價>前前一天 則作多""
: 如果只考慮這個條件加上去原本假設 同理也會產生g,h'
: 一樣的分析可得到底有沒有過度最佳化
: 這部份因為跟參數無關因此一般都叫做系統條件過度最佳化
: 通常由於策略產生的過度最佳化 大部分都是因策略彼此的相依性而產生
: 這種情況發生的次數比較少 (前提是資料量夠大)
: 因為策略產生的最佳化資料就像濾鏡一樣會過濾掉不少資料
: 過濾的過程只是把最佳化的幾個解再過濾而已
: 參數的過度最佳化反而是最常見的
: 因為系統最依賴參數 參數有任何變動其實影響很大
: ※ 編輯: harry901 (36.231.227.173), 06/07/2016 03:53:24
: ※ 編輯: harry901 (36.231.227.173), 06/07/2016 04:00:55
: 推 dodo222kimo: 這篇可以M起來嗎 還蠻不錯的 有很多啟發點 06/07 04:
16
: 推 Genki626: 感謝harry大的分享 06/07 08:
20
: ※ 編輯: harry901 (36.231.227.173), 06/07/2016 08:48:54
: 推 ETHZ: 應觀眾要求,已脫...不是,是已M.... 06/07 09:
06
: 推 Sueo: 感謝 06/07 09:
23
: 推 vbnwei: 推一下~ 06/09 12:
31
: 推 Justisaac: 這篇得推 講得觀念不錯~ 06/10 17:
54
: 推 bab7171: 最佳化可以說參數間相依性過高嗎? 06/14 07:
50
: → harry901: 過度相依是原因 但結果非全然過度相依 06/14 09:
25


1. 參數越多 符合條件的樣本就越少

樣本越少 就越難猜母體是長怎樣

2. 母體本身會變化(隱藏參數)

你定的越貼近舊母體 就離新母體越遠

--

有共鳴給個推/沒共鳴給個意見

不然自言自語很可憐

--