フォワードテスト=
答えを見ていない期間で確かめる
TeamREIのツールの説明書や検証の話に出てくる言葉を、1つずつ解説しています。今回はフォワードテストです。バックテストの数字を信じてよいかを決める、最後の関門です。
ひとことで言うと
- フォワードテスト=設定を決めたあとの期間で、そのまま動かして確かめること。
- 大事なのは「設定を決めるときに、その期間の結果を見ていない」こと。これだけで意味がまったく変わります。
- やり方は3つ。過去の一部を残しておく/デモで動かす/少額のリアルで動かす。
- バックテストの成績と、そのあとの成績はつながりません。TeamREIの検証では相関がほぼ0でした。
なぜ必要なのか
過去のデータを見ながら設定を調整すれば、成績はいくらでも良くできます。答えを知ったうえで解答欄を埋めているのと同じだからです。TeamREIが試したところ、答え合わせの期間まで見て一番よい設定を選べば、正直に選んだ場合より2.2〜2.9倍よい数字が作れました。
だから、設定を決めるのに使っていない期間で確かめる必要があります。
3つのやり方
| やり方 | 中身 | 長所 | 短所 |
|---|---|---|---|
| 期間を分ける (アウトオブサンプル) | 過去10年のうち、直近2年は見ずに設定を決め、最後にその2年で確かめる | すぐできる | 一度しか使えない(見たら終わり) |
| デモで動かす | 設定を固定して、デモ口座で数週間〜数か月動かす | 約定・通信・時間帯まで含めて確かめられる | 時間がかかる。デモは本番より約定が良いことがある |
| 少額のリアル | 最小ロットで実際に動かす | いちばん現実に近い | お金がかかる。回数が少ないと判断できない |
順番としては、期間を分ける → デモ → 少額のリアル。どの段階でも、設定を触ったらやり直しです。触った時点で「答えを見た」ことになります。
長所と短所
| 長所 | 短所 |
|---|---|
| 過剰な作り込みを見抜ける | 時間がかかる(数か月単位) |
| 実際の約定・スプレッド・運用の手間も分かる | 回数が少ないと、運の範囲で終わる |
| 「止める条件」を決めるきっかけになる | 結果が悪いと、つい設定を直したくなる |
TeamREIの実測でわかったこと
- バックテストの順位は、そのあとの成績とつながらない。6回の検証で、相関はどれもほぼ0でした。「バックテストで一番良かった設定」を選ぶ意味はありません。
- 定期的に設定を作り直す方法は、12回試して12回とも負けました。「直近半年で最適化して次の半年で使う」を繰り返す形です。直すたびに直近へ寄せることになり、先では外れます。
- 答え合わせ期間でも生き残ったのは1つだけ。約7,600通りを2回に分けて検証し、商品化の基準に届いたのは1本でした。
これらは「検証をしても無駄」という話ではありません。良い数字を作ることは簡単で、それが続くかどうかは別問題だということです。
あわせて読む 最適化とカーブフィッティングとは?良い数字が作れてしまう仕組み どこまでが調整で、どこからが作り込みすぎかの見分け方です。よくある質問
どれくらいの期間やればよいですか?
期間より取引回数で考えます。数十回では運で説明できます。1日1回のEAなら、数か月は見る必要があります。
デモと本番では違いますか?
違うことがあります。デモは注文が通りやすく、滑りも小さめに出がちです。デモで良かった分は、少し割り引いて見るのが安全です。
途中で設定を変えてはいけませんか?
変えた時点で、そこまでの結果は「設定を決める材料」に変わります。変えるなら、そこから数え直しです。
販売されているEAの成績はどう見ますか?
「いつ設定を決めて、いつから公開しているか」を見ます。公開後の成績が、実質的なフォワードテストです。当サイトの成績公開も、検証の結果と公開後の実績を分けて出しています。
TeamREIのツールでは、どこに出てくるか
| ツール・ページ | 出てくる場所 |
|---|---|
| 成績公開 | 検証の結果と、公開後の実績を分けて毎日更新(合算しません) |
| EA検証サービス | 答え合わせ期間を分けて検証し、レポートに明記します |
| tickbt | 期間を区切ったテストを、実ティックで回せます |
関連する用語:最適化・カーブフィッティング/モデリング品質/PF・ドローダウン
この記事のあとに
「広告」はアフィリエイト広告です。「TeamREI」は当サイトのツール・ページです。
この記事について
・「答えを見て選べば2.2〜2.9倍」「バックテストの順位と将来の相関は6回ともほぼ0」「定期的な再最適化は12戦12敗」「約7,600通りで残ったのは1本」は、いずれもTeamREIが自社のEA検証で得た結果です。
過去の成績は将来を保証するものではありません。情報提供を目的としたもので、特定の取引や商品を勧めるものではありません。