5.4 ¿Por qué necesitamos un ensayo fuera de la muestra?

Resumen de las actividades

En la sección anterior, le mostramos cómo leer el informe de rendimiento de la estrategia de backtesting centrándose en varios indicadores importantes de rendimiento. De hecho, no es difícil escribir una estrategia que obtenga ganancias en el informe de rendimiento de backtesting. Es difícil evaluar si esta estrategia continuará siendo efectiva en el mercado real en el futuro. Así que hoy voy a explicar la prueba fuera de la muestra y su importancia.

Las pruebas de retroceso no son iguales al mercado real

Muchos principiantes se convencen fácilmente de sus estrategias comerciales y están listos para poner sus pensamientos en práctica con un informe de rendimiento o una curva de fondos que se ve bien.

He visto muchas estrategias comerciales, y la tasa de éxito puede alcanzar hasta el 50% cuando se hace backtesting. Bajo la premisa de una tasa de ganancia tan alta, todavía hay una mayor proporción de ganancias y pérdidas de 1: 1. Sin embargo, una vez que estas estrategias se ponen en práctica, todas están perdiendo dinero. Hay muchas razones para esto. Entre estas razones, la muestra de datos es demasiado pequeña es la principal, lo que conduce a la desviación de los datos.

Sin embargo, el comercio es una cosa tan enredada, y es muy claro después, pero si volvemos al original, todavía nos sentimos abrumados. Esto involucra la causa raíz de la cuantificación: las limitaciones de los datos históricos. por lo tanto, si solo usamos datos históricos limitados para probar la estrategia comercial, es difícil evitar el problema de Conducir según mirar el espejo retrovisor.

¿Qué es una prueba fuera de la muestra?

¿Cómo hacer pleno uso de datos limitados para probar científicamente la estrategia de negociación cuando los datos son limitados? La respuesta es el método de prueba fuera de la muestra. Durante la backtesting, los datos históricos se dividen en dos segmentos de acuerdo con la secuencia de tiempo. El segmento anterior de datos se utiliza para la optimización de la estrategia, llamado el conjunto de entrenamiento, y el último segmento de datos se utiliza para la prueba fuera de la muestra, llamado el conjunto de prueba.

Si su estrategia es siempre válida, entonces optimice varios conjuntos de mejores parámetros en los datos del conjunto de entrenamiento y aplique estos conjuntos de parámetros a los datos del conjunto de pruebas para volver a probar. Idealmente, los resultados de las pruebas de retroceso deben ser casi los mismos que los conjuntos de entrenamiento, o la diferencia está dentro de un rango razonable. Entonces se puede decir que esta estrategia es relativamente efectiva.

Pero si una estrategia funciona bien en el conjunto de entrenamiento, pero el conjunto de pruebas funciona mal, o cambia mucho, y cuando se utilizan otros parámetros son los mismos, entonces la estrategia puede tener sesgo de migración de datos.

Por ejemplo, supongamos que desea hacer una prueba de retroceso de una barra de futuros de productos básicos. Ahora que la barra de retroceso tiene datos de aproximadamente 10 años (2009 ~ 2019), puede usar los datos de 2009 a 2015 como un conjunto de entrenamiento, de 2015 a 2019, utilizados como un conjunto de prueba. Si el mejor parámetro establecido en el conjunto de entrenamiento es (15, 90), (5, 50), (10, 100)... entonces ponemos estos conjuntos de parámetros en el conjunto de prueba. Al comparar estos dos informes de rendimiento de la prueba de retroceso y las curvas de fondos, determinamos si su diferencia está dentro de un rango razonable.

Si no utiliza la prueba fuera de la muestra, simplemente use directamente los datos de 2009 a 2019 para probar la estrategia. El resultado puede ser un buen informe de rendimiento de backtest debido al exceso de ajuste de los datos históricos, pero dichos resultados de backtest tienen poco significado para el mercado real y no tienen ningún efecto orientador, especialmente aquellas estrategias con más parámetros.

Prueba avanzada fuera de la muestra

Como se mencionó anteriormente, bajo la premisa de la falta de datos históricos, es una buena idea dividir los datos en dos partes para formar datos dentro y fuera de la muestra.

El principio básico de la prueba recursiva: utilizar los datos históricos largos anteriores para entrenar el modelo, y luego usar los datos relativamente cortos para probar el modelo, y luego mover continuamente la ventana de tiempo para recuperar los datos, repetir los pasos de entrenamiento y prueba.

• Datos de formación: 2000 a 2001, datos de ensayos: 2002;

• Datos de formación: 2001 a 2002, datos de ensayos: 2003;

• Datos de formación: 2002 a 2003, datos de ensayos: 2004;

• Datos de formación: 2003 a 2004, datos de ensayos: 2005;

• Datos de formación: 2004 a 2005, datos de ensayos: 2006;

...y así sucesivamente...

Por último, los resultados de las pruebas (2002, 2003, 2004, 2005, 2006...) se analizaron estadísticamente para evaluar de manera exhaustiva el rendimiento de la estrategia.

El siguiente diagrama puede explicar el principio de la prueba recursiva de manera intuitiva:

La figura anterior muestra dos métodos de ensayo recursivo.

El primer tipo: pequeña cantidad pero ensayo repetido

El segundo tipo: gran cantidad pero menos pruebas

En aplicaciones prácticas, se pueden realizar múltiples pruebas cambiando la longitud de los datos de prueba para determinar la estabilidad del modelo en respuesta a datos no estacionarios.

El principio básico de la prueba de verificación cruzada: dividir todos los datos en N partes, utilizar N-1 partes para entrenar cada vez, y utilizar la parte restante para probar.

Desde el año 2000 hasta el año 2003, se divide en cuatro partes según la división anual.

• Datos de formación: 2001-2003, datos de ensayos: 2000;

• Datos de formación: 2000-2002, datos de ensayos: 2003;

• Datos de formación: 2000, 2001, 2003, datos de ensayo: 2002;

• Datos de entrenamiento: 2000, 2002, 2003, datos de ensayo: 2001;

Como se muestra en la figura anterior: La mayor ventaja de la prueba de verificación cruzada es hacer pleno uso de los datos limitados, y cada dato de capacitación es también los datos de prueba.

• Cuando los datos de precios no son estables, los resultados de las pruebas del modelo a menudo no son confiables. Por ejemplo, use los datos de 2008 para la capacitación y los datos de 2005 para las pruebas. Es muy probable que el entorno del mercado en 2008 haya cambiado mucho en comparación con 2005, por lo que los resultados de las pruebas del modelo no son creíbles.

• Similar a la primera, en la prueba de verificación cruzada, si el modelo se entrena con los datos más recientes y el modelo se prueba con datos más antiguos, esto no es muy lógico en sí mismo.

Además, al probar el modelo de estrategia cuantitativa, tanto la prueba recursiva como la prueba de verificación cruzada se han encontrado con problemas de superposición de datos.

Cuando se desarrolla un modelo de estrategia de negociación, la mayoría de los indicadores técnicos se basan en datos históricos de un determinado período. Por ejemplo, utilizando indicadores de tendencia para calcular datos históricos de los últimos 50 días, pero para el siguiente día de negociación, que se calcula nuevamente a partir de los datos de los primeros 50 días del día de negociación, los datos para calcular los dos indicadores son los mismos durante 49 días. Esto dará lugar a un cambio muy insignificante en el indicador para cada dos días adyacentes.

La superposición de datos puede tener los siguientes efectos:

• El cambio lento en los resultados previstos por el modelo conduce a un cambio lento en las posiciones, que es la histeresis de los indicadores que a menudo decimos.

• Algunos valores estadísticos para el ensayo de los resultados del modelo no están disponibles y, debido a la correlación de secuencia causada por la repetición de datos, los resultados de algunos ensayos estadísticos no son fiables.

Una buena estrategia de negociación debe ser rentable en el futuro. las pruebas fuera de la muestra, además de detectar objetivamente las estrategias de negociación, son más eficientes para ahorrar tiempo a los operadores cuantitativos.

Si se distinguen todos los datos históricos antes del punto de tiempo para la optimización de parámetros, y los datos se dividen en los datos de la muestra y los datos fuera de la muestra, el parámetro se optimiza utilizando los datos de la muestra, y luego se utiliza la muestra fuera de la muestra para la prueba fuera de la muestra.

En resumen

Al igual que el comercio en sí, nunca podemos volver atrás en el tiempo y tomar una decisión correcta por nosotros mismos. Si usted tiene la capacidad de viajar en el tiempo, usted no necesitaría hacer el comercio en absoluto. después de todo, todos somos mortales, debemos verificar nuestra estrategia en los datos históricos.

Sin embargo, incluso con los enormes datos históricos, frente al futuro infinito e impredecible, la historia es extremadamente escasa. Por lo tanto, el sistema de comercio basado en la historia eventualmente se hundirá con el tiempo. Porque la historia no puede agotar el futuro. Por lo tanto, un sistema de comercio de expectativas positivas completo debe estar respaldado por sus principios y lógica inherentes.

Confíe, pero compruebe. - El presidente Reagan.

Ejercicios extraescolares

1. ¿Cuáles son los fenómenos en la vida real que son prejuicios de los supervivientes?

2. Utilice la plataforma FMZ Quant para comparar las pruebas de retroceso dentro y fuera de la muestra.