Je me demande s'il est possible de courir au-dessus d'un gorille avec un vecteur SVM.

Je me demande s'il est possible de courir au-dessus d'un gorille avec un vecteur SVM.

Mesdames et messieurs, placez vos paris. Aujourd'hui, nous allons faire de notre mieux pour vaincre un orang-outan, considéré comme l'un des adversaires les plus redoutables dans le monde financier. Nous allons essayer de prédire les bénéfices de la variété de trading de crypto-monnaie le lendemain. Je vous assure que c'est difficile de battre un orang-outan avec une chance de 50% de gagner. Nous allons utiliser un algorithme d'apprentissage automatique prêt à l'emploi, qui prend en charge le classement vectoriel.

• SVM prend en charge les vecteurs

Le vecteur SVM est basé sur l'idée que l'on peut classer des espaces de caractéristiques en p dimensions en utilisant des superplanes. L'algorithme du vecteur SVM utilise un superplan et une marge de détection pour créer des limites de décision de classement, comme illustré ci-dessous.

Dans le cas le plus simple, une classification linéaire est possible. L'algorithme choisit une frontière de décision, ce qui permet de maximiser la distance entre les classes.

Dans la plupart des séquences de temps financiers que vous rencontrez, vous rencontrez rarement des ensembles simples, linéaires et séparables, mais des ensembles indissociables.

Dans ce cas, certains cas d'erreur de classification sont autorisés, mais ils exécutent eux-mêmes des fonctions afin de réduire au minimum la distance entre le facteur de proportion et l'erreur à la frontière avec C (l'erreur de coût ou de budget peut être autorisée).

Fondamentalement, la machine essaie de maximiser l'intervalle entre les classifications tout en réduisant au maximum ses punitions pondérées par C.

Une des caractéristiques intéressantes de l'algorithme SVM est que la position et la taille des limites de décision sont déterminées par une partie des données, à savoir la partie la plus proche de la limite de décision. Cette caractéristique de l'algorithme lui permet de résister à l'interférence des valeurs anormales à intervalles éloignés.

C'est trop compliqué? Eh bien, je pense que le plaisir ne fait que commencer.

Considérez les situations suivantes (separer les points rouges des autres couleurs):

Pour les humains, c'est très simple (une simple ligne elliptique), mais pas pour les machines. Il est évident que cela ne peut pas être fait en ligne droite (une ligne droite ne peut pas séparer les points rouges).

La technique nucléaire est une technique mathématique très intelligente qui nous permet de résoudre des problèmes de classification linéaire dans des espaces à haute dimension. Voyons maintenant comment cela se fait.

Nous allons transformer l'espace de caractéristiques en deux dimensions en trois dimensions en utilisant une cartographie en hauteur, et nous reviendrons en deux dimensions une fois que nous aurons terminé la classification.

Les images suivantes montrent la cartographie en hauteur et la classification:

Généralement, si vous avez d'input, vous pouvez utiliser un mappage de l'espace d'entrée en dimension p vers l'espace de caractéristiques en dimension d. Exécuter l'algorithme de minimisation ci-dessus produira une solution, puis vous ramènerez à votre superplan d'entrée original en dimension p.

Une prémisse importante de la solution mathématique ci-dessus dépend de la façon dont on génère de bons ensembles d'échantillons de points dans l'espace caractéristique.

Vous n'avez besoin que de ces ensembles d'échantillons de points pour effectuer l'optimisation de la frontière, la cartographie n'a pas besoin d'être explicite, et les points de l'espace d'entrée dans l'espace de caractéristiques en haute dimension peuvent être calculés en toute sécurité avec l'aide de la fonction nucléaire (et du théorème de Mercer).

Par exemple, si vous voulez résoudre votre problème de classification dans un espace de caractéristiques très grand, supposons que ce soit 100 000 dimensions. Pouvez-vous imaginer la puissance de calcul dont vous avez besoin?

• Le défi et les gorilles

Maintenant, nous nous préparons à relever le défi de vaincre les prédictions de Jeff.

Jeff est un expert sur les marchés financiers, qui obtient une précision de prédiction de 50% grâce à des paris aléatoires, ce qui signifie qu'il peut prédire le taux de rendement de la prochaine journée de négociation.

Nous utiliserons différentes séquences de temps de base, y compris les séquences de temps de prix à la vente, avec des gains de 10 lags par séquence de temps, pour un total de 55 fonctionnalités.

La machine vectorielle SVM que nous sommes prêts à construire utilise un noyau à 3 degrés. Vous pouvez imaginer que choisir un noyau approprié est une autre tâche très difficile, car pour calibrer les paramètres C et Γ, la triple vérification croisée fonctionne sur une grille de combinaisons de paramètres possibles et le meilleur ensemble sera sélectionné.

Les résultats ne sont pas très encourageants:

Nous pouvons voir que la régression linéaire et le vecteur SVM peuvent battre Jeff. Bien que les résultats ne soient pas optimistes, nous pouvons également extraire des informations des données, ce qui est déjà une bonne nouvelle, car dans le domaine des données, les bénéfices quotidiens de la séquence temporelle financière ne sont pas les plus utiles.

Après la vérification croisée, le jeu de données est formé et testé, et nous enregistrons la capacité de prédiction de la SVM formée, et pour avoir une performance stable, nous répétons 1000 fois la division aléatoire de chaque devise.

Il semble donc que, dans certains cas, le SVM soit supérieur à une simple régression linéaire, mais la différence de performance est légèrement plus grande. En dollars et en yens, par exemple, nous pouvons prévoir en moyenne 54% du nombre total de signaux.

Ted est le cousin de Jeff, qui est bien sûr aussi un gorille, mais il est plus intelligent que Jeff. Ted a l'œil sur les ensembles d'échantillons d'entraînement plutôt que sur les paris aléatoires. Il donne toujours des signaux de frappe à partir des sorties les plus courantes des ensembles d'entraînement.

Comme nous l'avons vu, la performance de la plupart des SVM vient simplement du fait que l'apprentissage automatique rend les classifications moins probables que les précédentes. En fait, la régression linéaire ne peut pas obtenir d'informations de l'espace des caractéristiques, mais l'interceptation est significative dans la régression, et cela est lié au fait que l'interceptation et la régression d'une catégorie sont plus performantes.

Une autre bonne nouvelle est que le vecteur SVM est capable d'obtenir des informations non linéaires supplémentaires à partir des données, ce qui nous permet d'indiquer une précision de 2% pour les prédictions.

Malheureusement, nous ne savons pas encore ce que cette information pourrait être, car la machine vectorielle SVM a ses propres inconvénients majeurs, que nous ne pouvons pas expliquer clairement.

Auteur: P. López, publié dans Quantdare Le site officiel de WeChat est le suivant: