Backtester une stratégie sans se mentir 🔬

Un backtest, c'est censé être une preuve. Dans les faits, c'est presque toujours une confirmation : tu cherchais une raison de croire à ton idée, tu l'as trouvée. Le Piafesseur te démonte les quatre biais qui rendent un backtest flatteur et faux, avec le calcul qui montre à quel point les échantillons habituels sont trop petits, puis le protocole minimal pour tester une stratégie sans se raconter d'histoires. Rien d'ésotérique : de l'horodatage, un peu d'écart-type et beaucoup d'honnêteté.

🔬 Pourquoi presque tous les backtests sont flatteurs

Le problème d'un test rétrospectif n'est pas technique, il est logique. Tu connais déjà le passé que tu analyses. Chaque décision que tu prends en construisant le test, la période retenue, les filtres, la source de cotes, est prise avec cette connaissance. C'est ce qu'on appelle regarder les données avant d'écrire les règles, et c'est le péché originel de l'exercice.

🪤 Biais 1 : la cote que tu n'aurais jamais obtenue

Le premier biais est le plus concret. Ton historique contient une cote, mais laquelle ? La meilleure du marché à un instant donné, la moyenne, celle d'un opérateur en particulier, la cote de clôture ? Chacun de ces choix produit un résultat différent, et retenir la meilleure cote observée sur toute la journée est une hypothèse que tu n'aurais jamais pu réaliser en pratique.

🪤 Biais 2 : le biais d'anticipation

Le deuxième biais consiste à utiliser une information qui n'existait pas au moment où le pari aurait été placé. Il est rarement intentionnel et presque toujours présent, parce que les jeux de données historiques mélangent des informations produites à des moments très différents.

🪤 Biais 3 : le sur-ajustement

Le troisième biais est le plus séduisant. Tu testes une idée, le résultat est moyen. Tu ajoutes un filtre sur les équipes à domicile, ça s'améliore. Tu restreins à une plage de cotes, encore mieux. Tu retires les matchs de coupe, excellent. Au bout de vingt itérations, tu as une règle magnifique, et tu as surtout mémorisé le bruit de ton échantillon.

🪤 Biais 4 : la survie des données

Le quatrième biais est le plus discret. Les historiques disponibles ne contiennent que ce qui a survécu : les compétitions encore suivies, les opérateurs encore actifs, les marchés qui existent aujourd'hui. Une stratégie testée sur un marché qui n'existait pas il y a trois ans repose sur des cotes reconstituées, pas sur des cotes réellement proposées.

📏 La taille d'échantillon, calculée et non devinée

Passons à la partie qui remet tout le monde d'accord. La plupart des backtests reposent sur des échantillons trop petits d'un ou deux ordres de grandeur, et cela se démontre en une formule.

🧪 Le protocole minimal, en six points

Un. Écris les règles avant de regarder les résultats, et gèle-les. Une règle modifiée après coup est une nouvelle règle, à recompter comme un test supplémentaire. Deux. Fixe une source de cotes unique et un horaire de prise explicite. Trois. Sépare l'échantillon d'exploration et l'échantillon de contrôle, et ne touche jamais au second pendant la phase de recherche. Quatre. Horodate chaque donnée et refuse toute information postérieure à l'heure du pari simulé. Cinq. Compte tes tests et relève ton exigence proportionnellement. Six. Termine par un test en avant, sur des rencontres à venir, en notant tes paris avant qu'ils n'aient lieu, même sans argent.

📈 L'indicateur qui converge vite : la cote de clôture

Il existe un indicateur qui converge beaucoup plus vite que le rendement : la comparaison entre la cote que tu obtiens et la cote du même marché juste avant le coup d'envoi. Si tes sélections décrochent régulièrement une cote supérieure à cette cote de clôture, c'est que tu vois quelque chose avant le marché.

🧾 Les frictions que l'historique ne contient pas

Un historique ne contient jamais ce qui coûte le plus cher dans la vraie vie. Les cotes que tu n'as pas obtenues parce qu'elles avaient bougé. Les paris refusés ou plafonnés. Les arrondis de mise. Les marchés fermés au moment où tu voulais jouer. Et, pour un compte régulièrement gagnant, la limitation des mises par l'opérateur, qui est une réalité du secteur et non une rumeur.

🧭 Ce qu'un bon backtest permet vraiment

Un backtest bien conduit ne prouve pas qu'une stratégie gagnera. Il permet d'écarter des idées mauvaises, de hiérarchiser des idées plausibles et de savoir combien de paris il faudra avant de pouvoir conclure quoi que ce soit. C'est un outil de tri, pas un oracle, et c'est déjà beaucoup plus que ce dont dispose la plupart des parieurs.

❓ FAQ : backtest et méthode