5.4 Warum ist ein Test außerhalb der Stichprobe erforderlich?

Zusammenfassung

Im vorherigen Abschnitt haben wir Ihnen gezeigt, wie Sie den Strategie-Backtesting-Leistungsbericht lesen können, indem wir uns auf mehrere wichtige Leistungsindikatoren konzentrieren. In der Tat ist es nicht schwer, eine Strategie zu schreiben, die in dem Backtestungs-Leistungsbericht Gewinn erzielt. Es ist schwierig zu bewerten, ob diese Strategie in Zukunft im realen Markt weiterhin wirksam sein wird. Heute werde ich also den Off-Sample-Test und seine Bedeutung erklären.

Backtesting ist nicht gleich dem realen Markt

Viele Anfänger sind leicht von ihren Handelsstrategien überzeugt und sind bereit, ihre Gedanken mit einem Leistungsbericht oder einer gut aussehenden Fondskurve in die Praxis umzusetzen.

Ich habe viele Handelsstrategien gesehen, und die Erfolgsquote kann bei Backtesting bis zu 50% erreichen. Unter der Prämisse einer so hohen Gewinnrate gibt es immer noch ein höheres Verhältnis von Gewinn und Verlust von 1: 1. Jedoch, sobald diese Strategien in die Praxis umgesetzt werden, verlieren sie alle Geld. Es gibt viele Gründe dafür. Unter diesen Gründen ist die Datenprobe zu klein ist die wichtigste, die zur Abweichung der Daten führt.

Der Handel ist jedoch so verworrenes Ding, und es ist sehr klar danach, aber wenn wir zum Original zurückkehren, fühlen wir uns immer noch überwältigt. Dies beinhaltet die Ursache der Quantifizierung - die Einschränkungen historischer Daten. Wenn wir also nur begrenzte historische Daten verwenden, um die Handelsstrategie zu testen, ist es schwierig, das Problem zu vermeiden Driving according to looking at the rearview mirror.

Was ist ein Test außerhalb der Stichprobe?

Wie können begrenzte Daten vollständig genutzt werden, um die Handelsstrategie wissenschaftlich zu testen, wenn die Daten begrenzt sind? Die Antwort ist die Off-Sample-Testmethode. Während des Backtestings werden die historischen Daten in zwei Segmente nach der Zeitfolge unterteilt. Das vorherige Segment der Daten wird für die Strategieoptimierung verwendet, das Trainingset genannt, und das letzte Segment der Daten wird für den Off-Sample-Test verwendet, das Testset genannt wird.

Wenn Ihre Strategie immer gültig ist, optimieren Sie dann mehrere Sätze der besten Parameter in den Trainings-Set-Daten und wenden Sie diese Parameter-Sätze auf die Test-Set-Daten an, um wieder zu backtesten. Idealerweise sollten die Backtest-Ergebnisse fast die gleichen sein wie die Trainings-Sets, oder der Unterschied liegt innerhalb eines angemessenen Bereichs. Dann kann man sagen, dass diese Strategie relativ effektiv ist.

Aber wenn eine Strategie im Trainings-Set gut abschneidet, aber das Test-Set schlecht abschneidet oder sich stark ändert, und wenn andere Parameter verwendet werden, bleiben sie gleich, dann kann die Strategie eine Datenmigrationsverzerrung aufweisen.

Nehmen wir zum Beispiel an, Sie möchten einen Rohstoff-Futures-Rebar zurückprüfen. Jetzt, da dieser Rebar Daten für etwa 10 Jahre (2009~2019) hat, können Sie die Daten von 2009 bis 2015 als Trainingssatz, von 2015 bis 2019 als Testsatz verwenden. Wenn der beste Parametersatz im Trainingssatz (15, 90), (5, 50), (10, 100)... ist, setzen wir diese Parametersatz in den Testsatz. Durch den Vergleich dieser beiden Backtest-Leistungsberichte und Fondskurven bestimmen wir, ob ihr Unterschied innerhalb eines angemessenen Bereichs liegt.

Wenn Sie den Test außerhalb der Stichprobe nicht verwenden, verwenden Sie einfach direkt die Daten von 2009 bis 2019 zum Testen der Strategie.

Fortgeschrittene Prüfung außerhalb der Stichprobe

Wie bereits erwähnt, ist es unter der Prämisse des Mangels an historischen Daten eine gute Idee, die Daten in zwei Teile zu teilen, um Daten innerhalb und außerhalb der Stichprobe zu bilden.

Das Grundprinzip des rekursiven Tests: Verwenden Sie die vorherigen langen historischen Daten, um das Modell zu trainieren, und verwenden Sie dann die relativ kurzen Daten, um das Modell zu testen, und bewegen Sie dann kontinuierlich das Zeitfenster, um die Daten abzurufen, wiederholen Sie die Schritte des Trainings und der Prüfung.

• Ausbildungsdaten: 2000 bis 2001, Prüfdaten: 2002;

• Ausbildungsdaten: 2001 bis 2002, Prüfdaten: 2003;

• Ausbildungsdaten: 2002 bis 2003, Prüfdaten: 2004;

• Ausbildungsdaten: 2003 bis 2004, Prüfdaten: 2005;

• Ausbildungsdaten: 2004 bis 2005, Prüfdaten: 2006;

...und so weiter...

Schließlich wurden die Testergebnisse (2002, 2003, 2004, 2005, 2006...) statistisch analysiert, um die Leistung der Strategie umfassend zu bewerten.

Das folgende Diagramm kann das Prinzip des rekursiven Tests intuitiv erklären:

Die obige Abbildung zeigt zwei Methoden der rekursiven Prüfung.

Der erste Typ: kleine Menge, aber mehrfache Prüfung

Der zweite Typ: große Menge, aber weniger Versuchszeiten

In praktischen Anwendungen können mehrere Prüfungen durchgeführt werden, indem die Länge der Prüfdaten geändert wird, um die Stabilität des Modells als Reaktion auf nicht stationäre Daten zu bestimmen.

Das Grundprinzip des Querprüfens: alle Daten in N Teile aufteilen, jedes Mal N-1-Teile zum Training verwenden und den restlichen Teil zum Testen verwenden.

Von 2000 bis 2003 ist es nach der jährlichen Aufteilung in vier Teile unterteilt.

• Ausbildungsdaten: 2001-2003, Prüfdaten: 2000

• Ausbildungsdaten: 2000-2002, Prüfdaten: 2003;

• Ausbildungsdaten: 2000, 2001, 2003, Prüfdaten: 2002;

• Ausbildungsdaten: 2000, 2002, 2003, Prüfdaten: 2001;

Wie in der Abbildung oben gezeigt, besteht der größte Vorteil des Cross-Check-Tests darin, die begrenzten Daten voll auszunutzen, und jede Ausbildungsdaten ist auch die Testdaten.

• Wenn die Preisdaten nicht stabil sind, sind die Testergebnisse des Modells oft unzuverlässig. Verwenden Sie zum Beispiel die Daten von 2008 für die Ausbildung und die Daten von 2005 für die Prüfung. Es ist sehr wahrscheinlich, dass sich das Marktumfeld 2008 im Vergleich zu 2005 stark verändert hat, so dass die Ergebnisse der Modelltests nicht glaubwürdig sind.

• Ähnlich wie beim ersten, im Cross-Check-Test, wenn das Modell mit den neuesten Daten trainiert und das Modell mit älteren Daten getestet wird, ist dies an sich nicht sehr logisch.

Darüber hinaus sind bei der Prüfung des quantitativen Strategiemodells sowohl beim rekursiven Test als auch beim Cross-Check-Test Probleme mit Datenüberschneidungen aufgetreten.

Bei der Entwicklung eines Handelsstrategie-Modells basieren die meisten technischen Indikatoren auf historischen Daten eines bestimmten Zeitraums. Zum Beispiel werden Trendindikatoren verwendet, um historische Daten für die letzten 50 Tage zu berechnen, aber für den nächsten Handelstag, der erneut aus den Daten für die ersten 50 Tage des Handelstages berechnet wird, sind die Daten für die Berechnung der beiden Indikatoren für 49 Tage gleich. Dies führt zu einer sehr unbedeutenden Änderung des Indikators für jeden benachbarten zwei Tagen.

Überschneidungen von Daten können folgende Auswirkungen haben:

• Die langsame Veränderung der vom Modell vorhergesagten Ergebnisse führt zu einer langsamen Veränderung der Positionen, was die Hysterese der Indikatoren ist, wie wir oft sagen.

• Einige statistische Werte für die Prüfung der Modellergebnisse sind nicht verfügbar. Aufgrund der durch wiederholte Daten verursachten Sequenzkorrelation sind die Ergebnisse einiger statistischer Tests nicht zuverlässig.

Eine gute Handelsstrategie sollte in Zukunft profitabel sein. Off-Sample-Tests sind neben der objektiven Erkennung von Handelsstrategien effizienter, da sie den quantitativen Händlern Zeit sparen.

Wenn alle historischen Daten vor dem Zeitpunkt der Parameteroptimierung unterschieden und die Daten in die Daten in der Stichprobe und die Daten außerhalb der Stichprobe unterteilt werden, wird der Parameter durch die Verwendung der Daten in der Stichprobe optimiert, und dann wird die Stichprobe außerhalb der Stichprobe für den Test außerhalb der Stichprobe verwendet. Der Fehler wird erkannt und gleichzeitig kann getestet werden, ob die optimierte Strategie für den zukünftigen Markt geeignet ist.

Zusammenfassend

Wie beim Handel selbst können wir nie in die Vergangenheit zurückgehen und eine richtige Entscheidung für uns selbst treffen. Wenn Sie die Fähigkeit haben, in der Zeit zu reisen, müssten Sie überhaupt nicht handeln. Schließlich sind wir alle Sterbliche, wir müssen unsere Strategie in den historischen Daten überprüfen.

Doch selbst mit den riesigen historischen Daten ist die Geschichte angesichts der endlosen und unvorhersehbaren Zukunft extrem knapp. Daher wird das auf der Geschichte basierende Handelssystem mit der Zeit schließlich versinken. Weil die Geschichte die Zukunft nicht erschöpfen kann. Daher muss ein vollständiges positives Erwartungshandelssystem durch seine inhärenten Prinzipien und Logik unterstützt werden.

Vertrauen Sie, aber überprüfen Sie.

Nachschulübungen

1. Welche Phänomene im wirklichen Leben sind Überlebende-Vorurteile?

2. Verwenden Sie die FMZ Quant-Plattform, um den Backtest in und außerhalb der Stichprobe zu vergleichen.