Les traders désireux d'essayer une idée de trading sur un marché en direct font souvent l'erreur de se fier entièrement aux résultats des backtests pour déterminer si le système sera rentable. Bien que les backtests puissent fournir des informations précieuses aux commerçants, ils sont souvent trompeurs et ne constituent qu'une partie du processus d'évaluation.
Les tests hors échantillon et les tests de performance avancés fournissent une confirmation supplémentaire de l'efficacité d'un système et peuvent montrer les vraies couleurs d'un système avant que l'argent réel ne soit en jeu. Une bonne corrélation entre les résultats des tests a posteriori, hors échantillon et des tests de performance avancés est essentielle pour déterminer la viabilité d'un système commercial.
Les bases du backtesting
Le backtesting fait référence à l'application d'un système de trading aux données historiques pour vérifier la performance d'un système au cours de la période spécifiée. De nombreuses plateformes de trading actuelles prennent en charge le backtesting. Les traders peuvent tester des idées en quelques touches et obtenir un aperçu de l'efficacité d'une idée sans risquer de fonds sur un compte de trading. Le backtesting peut évaluer des idées simples, telles que la performance d'un crossover moyen mobile sur des données historiques, ou des systèmes plus complexes avec une variété d'entrées et de déclencheurs.
Tant qu'une idée peut être quantifiée, elle peut être testée à nouveau. Certains commerçants et investisseurs peuvent rechercher l'expertise d'un programmeur qualifié pour développer l'idée sous une forme testable. En règle générale, cela implique un programmeur codant l'idée dans le langage propriétaire hébergé par la plateforme de trading. Le programmeur peut incorporer des variables d'entrée définies par l'utilisateur qui permettent au trader de "modifier" le système.
Un exemple de ceci serait dans le système de croisement de moyenne mobile simple noté ci-dessus: Le trader serait en mesure d'entrer (ou de modifier) les longueurs des deux moyennes mobiles utilisées dans le système. Le trader pourrait effectuer un backtest pour déterminer quelles longueurs de moyennes mobiles auraient été les plus performantes sur les données historiques.
Etudes d'optimisation
De nombreuses plateformes de trading permettent également des études d'optimisation. Cela implique de saisir une plage pour l'entrée spécifiée et de laisser l'ordinateur "faire le calcul" pour déterminer quelle entrée aurait donné les meilleurs résultats. Une optimisation multi-variables peut faire le calcul pour deux ou plusieurs variables pour déterminer quelles combinaisons auraient obtenu le meilleur résultat.
Par exemple, les commerçants peuvent dire au programme quels intrants ils souhaitent ajouter à leur stratégie; ceux-ci seraient ensuite optimisés à leur poids idéal compte tenu des données historiques testées.
Le backtesting peut être passionnant dans la mesure où un système non rentable peut souvent être transformé par magie en une machine à gagner de l'argent avec quelques optimisations. Malheureusement, l'ajustement d'un système pour atteindre le plus haut niveau de rentabilité passée conduit souvent à un système qui fonctionnera mal dans le commerce réel. Cette sur-optimisation crée des systèmes qui ne semblent bons que sur papier.
L'ajustement de courbe est l'utilisation d'analyses d'optimisation pour créer le plus grand nombre de transactions gagnantes avec le plus grand profit sur les données historiques utilisées pendant la période de test. Bien qu'il semble impressionnant dans les résultats de backtesting, l'ajustement de courbe conduit à des systèmes peu fiables car les résultats sont essentiellement conçus sur mesure pour ces données et cette période de temps particulières.
Le backtesting et l'optimisation offrent de nombreux avantages à un trader, mais ce n'est qu'une partie du processus lors de l'évaluation d'un système commercial potentiel. La prochaine étape d'un opérateur consiste à appliquer le système aux données historiques qui n'ont pas été utilisées lors de la phase de backtesting initiale.
Données dans l'échantillon et données hors échantillon
Lors du test d'une idée sur des données historiques, il est avantageux de réserver une période de données historiques à des fins de test. Les données historiques initiales sur lesquelles l'idée est testée et optimisée sont appelées données dans l'échantillon. L'ensemble de données qui a été réservé est appelé données hors échantillon. Cette configuration est une partie importante du processus d'évaluation car elle fournit un moyen de tester l'idée sur des données qui n'ont pas été un composant du modèle d'optimisation.
En conséquence, l'idée n'aura pas été influencée de quelque manière que ce soit par les données hors échantillon, et les commerçants seront en mesure de déterminer dans quelle mesure le système pourrait fonctionner sur de nouvelles données, c'est-à-dire dans le commerce réel.
Avant de lancer un backtest ou une optimisation, les traders peuvent réserver un pourcentage des données historiques à réserver pour des tests hors échantillon. Une méthode consiste à diviser les données historiques en tiers et à en séparer un tiers pour les tests hors échantillon. Seules les données de l'échantillon doivent être utilisées pour le test initial et toute optimisation.
La figure ci-dessous montre une chronologie dans laquelle un tiers des données historiques est réservé aux tests hors échantillon et les deux tiers sont utilisés pour les tests dans l'échantillon. Bien que la figure ci-dessous représente les données hors échantillon au début du test, les procédures typiques auraient la partie hors échantillon précédant immédiatement la performance vers l'avant.
Une ligne de temps représentant la longueur relative des données dans et hors échantillon utilisées dans le processus de backtesting. Image de Julie Bang © Investopedia 2020
La corrélation fait référence aux similitudes entre les performances et les tendances générales des deux ensembles de données. Les métriques de corrélation peuvent être utilisées pour évaluer les rapports de performance de stratégie créés pendant la période de test (une fonctionnalité fournie par la plupart des plateformes de trading). Plus la corrélation entre les deux est forte, meilleure est la probabilité qu'un système fonctionne bien dans les tests de performance à terme et le trading en direct.
La figure ci-dessous illustre deux systèmes différents qui ont été testés et optimisés sur des données dans l'échantillon, puis appliqués à des données hors échantillon. Le graphique de gauche montre un système qui était clairement adapté à la courbe pour bien fonctionner sur les données dans l'échantillon et qui a complètement échoué sur les données hors échantillon. Le graphique de droite montre un système qui a bien fonctionné sur les données à l'intérieur et à l'extérieur de l'échantillon.
Deux courbes d'équité. Les données commerciales avant chaque flèche jaune représentent les tests dans l'échantillon. Les échanges générés entre les flèches jaunes et rouges indiquent des tests hors échantillon. Les transactions après les flèches rouges proviennent des phases de test de performance avancées.
Une fois qu'un système d'échange a été développé en utilisant des données dans l'échantillon, il est prêt à être appliqué aux données hors échantillon. Les traders peuvent évaluer et comparer les résultats de performance entre les données dans l'échantillon et les données hors échantillon.
S'il y a peu de corrélation entre les tests dans l'échantillon et hors échantillon, comme le graphique de gauche dans la figure ci-dessus, il est probable que le système a été sur-optimisé et ne fonctionnera pas bien dans le trading en direct. S'il y a une forte corrélation dans les performances, comme le montre le graphique de droite, la prochaine phase d'évaluation implique un type supplémentaire de tests hors échantillon appelés tests de performances avancés.
Bases des tests de performances avancées
Les tests de performance avancés, également appelés opérations sur papier, fournissent aux commerçants un autre ensemble de données hors échantillon sur lesquelles évaluer un système. Le test de performance à terme est une simulation du trading réel et implique de suivre la logique du système sur un marché en direct. On l'appelle également le commerce de papier puisque toutes les transactions sont exécutées uniquement sur papier; c'est-à-dire que les entrées et sorties de transactions sont documentées avec tout profit ou perte pour le système, mais aucune transaction réelle n'est exécutée.
Un aspect important des tests de performance avancés est de suivre exactement la logique du système; sinon, il devient difficile, voire impossible, d'évaluer avec précision cette étape du processus. Les commerçants doivent être honnêtes au sujet de toutes les entrées et sorties commerciales et éviter les comportements comme les métiers de la cueillette des cerises ou ne pas inclure un commerce sur papier rationalisant que "je n'aurais jamais pris ce commerce." Si l'échange avait eu lieu selon la logique du système, il devrait être documenté et évalué.
De nombreux courtiers proposent un compte de trading simulé où les transactions peuvent être placées et le résultat correspondant calculé. L'utilisation d'un compte de trading simulé peut créer une atmosphère semi-réaliste sur laquelle pratiquer le trading et évaluer davantage le système.
La figure ci-dessus montre également les résultats des tests de performance avancés sur deux systèmes. Encore une fois, le système représenté dans le graphique de gauche ne réussit pas bien au-delà des tests initiaux sur les données de l'échantillon. Le système illustré dans le graphique de droite, cependant, continue de bien fonctionner à toutes les phases, y compris les tests de performance avancés. Un système qui montre des résultats positifs avec une bonne corrélation entre les tests de performance dans l'échantillon, hors échantillon et à terme est prêt à être implémenté sur un marché en direct.
The Bottom Line
Le backtesting est un outil précieux disponible sur la plupart des plateformes de trading. La division des données historiques en plusieurs ensembles pour permettre des tests dans et hors échantillon peut fournir aux traders un moyen pratique et efficace d'évaluer une idée et un système de trading. Étant donné que la plupart des commerçants utilisent des techniques d'optimisation en backtesting, il est important d'évaluer ensuite le système sur des données propres pour déterminer sa viabilité.
Poursuivre les tests hors échantillon avec des tests de performance avancés fournit une autre couche de sécurité avant de mettre un système sur le marché au risque de retirer de l'argent réel. Des résultats positifs et une bonne corrélation entre le backtesting et les tests de performance avancés dans l'échantillon et hors échantillon augmentent la probabilité qu'un système fonctionne bien dans le trading réel.
