¿Puedes correr por encima de un gorila con una máquina de vectores SVM?

¿Puedes correr por encima de un gorila con una máquina de vectores SVM?

Señoras y señores, hagan sus apuestas. Hoy vamos a hacer todo lo posible para derrotar a un orangután, considerado uno de los adversarios más temibles en el mundo financiero. Vamos a tratar de predecir el rendimiento de las variedades de operaciones de divisas en el día siguiente. Te aseguro que incluso intentar vencer a una apuesta al azar y obtener un 50% de probabilidad de ganar es algo difícil. Vamos a usar un algoritmo de aprendizaje automático que está listo y que es compatible con el clasificador de vectores. El vector SVM es un método increíblemente potente para resolver tareas de regresión y clasificación.

• SVM es compatible con vectores

El vector SVM está basado en la idea de que podemos clasificar espacios de características p-dimensionales con superplanas. El algoritmo del vector SVM utiliza una superplanada y un margen de detección para crear fronteras de decisión de clasificación, como se muestra a continuación.

En el caso más simple, la clasificación lineal es posible. El algoritmo selecciona el límite de decisión, que maximiza la distancia entre las clases.

En la mayoría de las secuencias de tiempo financieras que se enfrentan, es raro encontrar conjuntos simples, linealmente separables, pero las situaciones inseparables son frecuentes. La máquina de vectores SVM resolvió este problema mediante la implementación de un método conocido como el método de margen suave.

En este caso, se permiten algunas situaciones de clasificación errónea, pero ellas mismas ejecutan funciones para reducir al mínimo la distancia de los factores y de los errores a la frontera en relación con C (los errores en costos o presupuestos pueden ser permitidos).

Básicamente, las máquinas intentan maximizar el intervalo entre las clasificaciones, al tiempo que reducen al mínimo sus punciones ponderadas por C.

Una gran característica del clasificador SVM es que la ubicación y tamaño de los límites de decisión de clasificación se determinan solo por parte de los datos, es decir, por la parte más cercana al límite de decisión. Las características de este algoritmo le permiten resistir la interferencia de valores anormales que se alejan de los intervalos.

¿Es demasiado complicado? Bueno, creo que la diversión está empezando.

Consideremos las siguientes situaciones (separando los puntos rojos de los puntos de otros colores):

Desde el punto de vista humano, puede clasificarse de forma simple (una línea de anillo), pero no para la máquina. Obviamente, no puede hacerse una línea recta (una línea recta no puede separar los puntos rojos). Aquí podemos probar el truco del núcleo de la nube.

La técnica del núcleo es una técnica matemática muy inteligente que nos permite resolver problemas de clasificación lineal en espacios de alta dimensión. Ahora veamos cómo se hace.

Convertiremos el espacio de características en dos dimensiones a tres dimensiones mediante una asignación de dimensiones elevadas y volveremos a dos dimensiones después de completar la clasificación.

A continuación se muestran los gráficos después de la elevación de la dimensión y la clasificación:

En general, si hay d de entrada, se puede usar una mapping desde el espacio de entrada en dimensión d hasta el espacio de características en dimensión p. Ejecutar el algoritmo de minimización anterior generará una solución y luego se mapeará de nuevo a la superplaneta de dimensión p de su espacio de entrada original.

Una premisa importante de la solución matemática anterior depende de cómo se generan buenos conjuntos de muestras de puntos en el espacio de características.

Solo se necesitan estos conjuntos de muestras de puntos para realizar la optimización de la frontera, la cartografía no necesita ser clara, y los puntos de espacio de entrada en el espacio de características de alta dimensión se pueden calcular de forma segura con la ayuda de la función nuclear ((y un poco del teorema de Mercer).

Por ejemplo, quieres resolver tu problema de clasificación en un espacio de características muy grande, supongamos que es de 100.000 dimensiones. ¿Puedes imaginar la capacidad de cálculo que necesitas?

• El desafío y los gorilas

Ahora nos estamos preparando para enfrentar el reto de la capacidad de predicción de Jeff.

Jeff es un experto en el mercado de divisas, que puede obtener un 50% de precisión en sus predicciones mediante apuestas al azar, lo que significa que puede predecir la rentabilidad del próximo día de negociación.

Vamos a utilizar diferentes secuencias de tiempo básicas, incluyendo la secuencia de tiempo de precios de actualidad, con ganancias de hasta 10 lags en cada secuencia de tiempo, para un total de 55 características.

La máquina de vectores SVM que estamos preparando para construir es una máquina que utiliza núcleos de 3 grados. Puedes imaginar que elegir un núcleo adecuado es otra tarea muy difícil, y para calibrar los parámetros C y Γ, la triple verificación cruzada se ejecuta en una red de combinaciones posibles de parámetros, y el mejor conjunto se seleccionará.

Los resultados no son muy alentadores:

Podemos ver que tanto la regresión lineal como la máquina de vectores SVM pueden vencer a Jeff. Aunque los resultados no son optimistas, también podemos extraer información de los datos, lo cual es una buena noticia, ya que en la ciencia de los datos, los beneficios diarios de las secuencias de tiempo financieras no son los más útiles.

Después de la verificación cruzada, el conjunto de datos será entrenado y probado, y registramos la capacidad de predicción del SVM entrenado, para tener un rendimiento estable, repetimos 1000 divisiones aleatorias de cada moneda.

Así, en algunos casos, el SVM es mejor que la simple regresión lineal, pero la diferencia de rendimiento es también ligeramente mayor. En dólares y yenes, por ejemplo, la señal que podemos predecir en promedio representa el 54% del total. Es un resultado bastante bueno, pero vamos a ver más de cerca!

Ted es el primo de Jeff, que, por supuesto, es un gorila, pero es más inteligente que Jeff. Ted tiene los ojos puestos en el conjunto de muestras de entrenamiento, no en apuestas al azar.

Como hemos visto, la mayoría de las SVMs se comportan simplemente por el hecho de que el aprendizaje automático hace que la clasificación sea menos probable que la anterior. De hecho, la regresión lineal no puede obtener ninguna información del espacio de características, pero la interceptación en la regresión tiene sentido, y está relacionada con el hecho de que la interceptación y la correlación de una clasificación funcionan mejor.

Una noticia ligeramente mejor es que el vector SVM puede obtener información no lineal adicional de los datos, lo que nos permite sugerir un 2% de precisión en las predicciones.

Desafortunadamente, todavía no sabemos qué tipo de información podría ser, al igual que las máquinas vectoriales SVM tienen sus propias desventajas principales, que no podemos explicar claramente.

Autor: P. López, publicado en Quantdare Transcrito desde el portal WeChat