優れた程序化された取引システムを開発し,そのシステムを使用して一定の利益を得るまでのプロセスは複雑で,多くの問題に直面する.例えば,多くの投資家は,実際に取引戦略を使用する前に,戦略の歴史テストの収益曲線グラフが滑り上がっているため,戦略の収益性について非常に自信を持っている.実況の後は,資金曲線が下向きに曲がり,人に喜ばない.この現象の重要な原因の一つは過剰な適合である.いわゆる過剰な適合は,本データに対して記述の正確性が高く,サンプル外データに対して記述の正確性が低いことを意味します.具体化取引では,歴史的行事がうまく機能したが,将来の行情ではうまく機能しないことを説明します.テキストによる過剰な適合の原因を説明し,いくつかの程度を提案する方法を避けようとします.
程序化取引システムの設計プロセスは2つの部分で構成され,両者とも過剰な適合を引き起こす可能性がある. 取引システムの設計の第一部は,完全な取引規則システムの形成である. 取引規則の形成には,一般的に上から下へ,そして上から下へと二つの方法がある. 上から下へとアプローチする方法は,市場市場の動きを長期的に観察した上で,規則をまとめ,その規則に基づいて定量的取引戦略を形成する. このプロセスは長期間の取引経験の蓄積を必要とする. 下から下へとアプローチする方法は,市場データから発信し,市場特性の形成の戦略を統計的に分析する.
設計取引システムの目的は,将来の実物市場での利益を生むことであり,美しい歴史的テスト曲線を追求することではなく,過剰に適合した取引システムは,美しい罠である.この罠から脱出するには,取引規則の形成と取引システムの開発の両面から始めることが考えられる.金融市場のデータ分析の現代数学は,時価序列には2つの部分があることを示唆している.第一は,特定の項目を特定し,そこからますます特定の法則を見つけ出すことができる;第二は,ランダムな項目を指定し,確実性のない規則は,ある現象が発生する確率は単なる確率である.
第"に,歴史テストデータサンプル容量を増加させ,取引数を過小にしない.もし歴史テストデータ量が少ない場合,設計されたシステムがサンプル内でうまく機能しているにもかかわらず,短い時間帯のテストは説得力がないため,システムの将来のパフォーマンスを予測することは困難である.そして,取引規則の制限を過大に増やすために,取引数が少なくなる場合,損をする取引が過度に過大評価され,典型的な過剰適合行為である.
第二に,テスト時に,テストされるデータサンプルをインサンプルの内とアウトサンプルのに分割し,設計システムではインサンプルのデータを取り,その後,インサンプルの外データでテストしたシステムを,効果が大きく低下した場合,そのようなシステムは適性がある可能性が高い.
第三に,コアパラメータが多すぎるのは良くない.パラメータが多すぎるシステムは多自由度システムであり,複数のパラメータを最適化した後に常に美しいシステムになりますが,そのようなシステムの信頼性は疑わしいです.
第四に,システムのパラメータを最適化する際には,最適なパラメータの近くにあるパラメータを考察する必要がある. もし,近くのパラメータシステムの性能が最適パラメータの性能から大きく差れている場合,この最適パラメータは,数学的に奇点解きと呼ばれる過積算の結果であり,不安定である可能性がある.市場の特徴がわずかに変化した場合,最適なパラメータが最悪のパラメータになる可能性があります.
第五に,取引システムを他の品種に適用し,その有効性を観察する. 万能な取引システムは稀であるが,ある品種で優れたパフォーマンスを示すシステムは,他の品種で少なくとも利益を得ることができる.他の品種で利益を得ることができない場合は,そのシステムを使用する過程で,その有効性,すなわちある品種の特殊な市場に過剰に適合していないかどうか注意すべきである.