最適化は道具、
やりすぎると作り込みになる
TeamREIのツールの説明書や検証の話に出てくる言葉を、1つずつ解説しています。今回は最適化とカーブフィッティング(過剰最適化)です。EAを買うときも、自分で作るときも、いちばん効く見方です。
ひとことで言うと
- 最適化=設定(期間・幅・時間帯など)をいろいろ試して、良い組み合わせを探すこと。
- カーブフィッティング=過去の値動きに合わせ込みすぎて、その期間だけ良い設定になってしまうこと。
- 見分ける鍵は、設定を少し変えたときに成績が崩れるかどうかです。
- 良い数字を作ること自体は簡単です。試した数だけ、たまたま良いものが出ます。
最適化そのものは悪ではありません
移動平均の期間を20にするか50にするかは、決めなければ動きません。問題は「決め方」です。
| 健全な最適化 | 作り込みすぎ | |
|---|---|---|
| 試す数 | 少ない(意味のある範囲) | 数千〜数万通り |
| 選び方 | 良い設定がまとまっている一帯の真ん中 | いちばん数字が高い1点 |
| 確かめ方 | 使っていない期間で確認する | 全期間の数字だけを見る |
| 設定を少し変えると | 成績はあまり変わらない | 一気に崩れる |
なぜ危ないのか(数字で)
TeamREIの検証では、次のことが分かっています。
- 答え合わせの期間まで見て選べば、正直に選んだ場合より2.2〜2.9倍よい数字が作れました。つまり、公開されている良い成績は「選び方」で作れてしまいます。
- バックテストの順位は、そのあとの成績とつながりません。6回の検証で相関はどれもほぼ0でした。
- 約7,600通りを2ラウンドで検証して、商品化の基準に届いたのは1本だけでした。試した数が多いほど、たまたま良い数字は増えますが、残るものは増えません。
「条件を足すほど良くなる」は危険信号
時間帯・曜日・フィルターを足すたびに成績が上がるなら、過去の値動きの形に合わせているだけの可能性が高いです。条件を1つ外しても成績が保たれるかを確かめてください。
作り込みすぎを見分ける5つの確認
- 設定を少しずらす。期間20が良いなら、18や22でも近い成績か。急に崩れるなら、その1点はたまたまです。
- 使っていない期間で確かめる。直近の一定期間を見ずに設定を決め、最後に当てます。
- 別の通貨ペア・別の時間足で試す。1つの銘柄だけで出る偏りは、単位や時期の副作用のことがあります。
- 取引回数を見る。数十回の結果は、運で説明できます。
- 条件の数を数える。細かい条件が5つも6つも付いていたら、その分だけ作り込まれています。
最適化の長所と短所
| 長所 | 短所 |
|---|---|
| 設定の当たり外れの幅が分かる(感度が見える) | 良い数字を簡単に作れてしまう |
| 明らかに無理な設定を外せる | 試した数が多いほど、偶然に当たる |
| 「どの設定でも同じ」なら、その戦略は頑丈だと分かる | 直近に寄せるほど、先では外れやすい |
最適化は「一番を選ぶ道具」ではなく「崩れやすさを測る道具」と考えると、使い方を間違えません。
よくある質問
定期的に設定を見直すのはよい方法ですか?
TeamREIが「直近で最適化して次の期間で使う」を繰り返す形を試したところ、12回やって12回とも負けました。見直すたびに直近へ寄るためです。見直しは「うまくいく前提」で組まないほうが安全です。
販売されているEAが過剰最適化かどうかは分かりますか?
完全には分かりませんが、設定を少し変えた結果を見せているか、公開後の成績があるかで、かなり見分けられます。当サイトのEA検証サービスは、この2点を中心に調べています。
パラメーターは少ないほうがよいですか?
基本はそうです。増えるほど、過去に合わせる自由度が増えます。「なぜその条件が要るのか」を言葉で説明できるかが目安になります。
機械学習を使えば解決しますか?
同じ問題が形を変えて出ます。TeamREIが試した範囲では、6年先の予測で相関はほぼ0でした。道具が新しくなっても、答えを見て選べば良い数字が出る、という構造は変わりません。
TeamREIのツールでは、どこに出てくるか
| ツール・ページ | 出てくる場所 |
|---|---|
| EA検証サービス | 過剰な最適化・成績の水増しをレポートで指摘します |
| 成績公開 | 検証の結果と公開後の実績を分けて出します(合算しません) |
| tickbt | 期間を区切ったテストを、実ティックで回せます |
関連する用語:フォワードテスト/モデリング品質/PF・ドローダウン
この記事のあとに
「広告」はアフィリエイト広告です。「TeamREI」は当サイトのツール・ページです。
この記事について
・「2.2〜2.9倍」「相関は6回ともほぼ0」「12戦12敗」「約7,600通りで1本」「機械学習の6年先の予測で相関ほぼ0」は、いずれもTeamREIが自社のEA検証で得た結果です。
過去の成績は将来を保証するものではありません。情報提供を目的としたもので、特定の取引や商品を勧めるものではありません。