Nous avons lancé 11 440 backtests. La stratégie « gagnante » moyenne a perdu la moitié de son edge sur des données qu'elle n'avait jamais vues

Tous les forums de trading connaissent le même post récurrent : une belle courbe d'equity, un jeu de paramètres optimisé, et la légende « ça marche ». Nous voulions un chiffre pour mesurer quelle part de tout cela est réelle. Alors nous l'avons mesurée — à grande échelle, avec un protocole qui ne nous permet pas de tricher, et avec le code du sweep versionné dans notre dépôt pour que chacun puisse relancer l'étude.

La version courte : nous avons optimisé 200 combinaisons stratégie-coin sur leur propre historique et lancé chaque gagnant optimisé une seule fois sur des données qu'il n'avait jamais vues. Le ratio de Sharpe médian des gagnants attractifs est passé de 1,22 à 0,64 — environ la moitié de l'« edge » était de la mémoire, pas du signal. 54 % ont perdu plus de la moitié de leur Sharpe, et sur l'ensemble des 200 configurations optimisées, 44 % sont tombées à zéro ou en négatif. Voici la méthode, les graphiques, les chiffres qui nous ont surpris dans les deux sens, et ce qui survit vraiment.

L'expérience

Nous avons pris les dix familles de stratégies de notre bibliothèque publique de templates — les mêmes jeux de règles YAML que n'importe qui peut lancer sur le site : mean-reversion RSI, croisement d'EMA, tendance MACD, SuperTrend, breakout SMA, réversion Bollinger, breakout ATR, Trend Magic, et deux templates smart-money-concepts (order blocks et fair value gaps).

Pour chaque famille, nous avons défini une petite grille de paramètres réaliste — les mêmes réglages que les utilisateurs de la stratégie ajustent réellement : périodes de lookback, seuils d'entrée/sortie, largeurs de bandes, distances de stop. Pas de paramètres exotiques ni de grilles à mille combinaisons : entre 9 et 64 combinaisons par famille, exactement le genre d'exploration « laisse-moi essayer quelques réglages » que fait chaque trader.

Puis, pour chacune des 20 paires USDT liquides (BTC, ETH et le reste de l'univers des grandes capitalisations), sur des bougies journalières de janvier 2021 à juillet 2026 :

1. **Découper l'historique chronologiquement : les premiers 70 % en in-sample, les derniers 30 % en out-of-sample.** La fenêtre out-of-sample couvre environ les 20 derniers mois — des conditions de marché que la fenêtre in-sample ne contient pas.
2. **Lancer chaque combinaison de paramètres sur la fenêtre in-sample** et retenir celle qui affiche le meilleur ratio de Sharpe. C'est la configuration qu'un adepte du curve-fitting mettrait en production — et, honnêtement, celle que montrent la plupart des captures d'écran de backtests.
3. **Lancer ce gagnant une seule fois sur la fenêtre out-of-sample.** Pas de ré-optimisation, pas de second essai, pas de biais du survivant : chaque résultat figure dans les données ci-dessous, y compris les plus embarrassants.

Cela fait 5 720 configurations, chacune exécutée sur les deux fenêtres — 11 440 exécutions du moteur au total, toutes via le même backtester event-driven qui alimente notre backtester gratuit, avec son modèle de frais et de slippage par défaut. Le script du sweep, les grilles et le code d'analyse vivent dans notre dépôt ; l'étude est reproductible de bout en bout.

Constat 1 : la plupart des combinaisons n'ont jamais semblé bonnes au départ

Avant tout test out-of-sample, un point de départ qui donne à réfléchir : même avec la liberté de choisir le meilleur parmi des dizaines de réglages, seulement 37 des 200 combinaisons stratégie-coin (18 %) ont produit un résultat in-sample « attractif » — un Sharpe d'au moins 1,0 avec au moins 10 trades. Trois familles (mean-reversion RSI, tendance MACD et réversion Bollinger) n'ont franchi cette barre sur *aucun* coin parmi les vingt, même après optimisation.

Souvenez-vous-en la prochaine fois qu'une capture d'écran vous montre celle qui a marché : vous regardez le survivant d'une pile immense et invisible.

Constat 2 : la décote out-of-sample

Si l'optimisation ne trouvait que du signal pur, les points colleraient à la diagonale. Ce n'est pas le cas — le nuage se situe systématiquement en dessous. Pour les 37 gagnants attractifs :

• **Le Sharpe médian est passé de 1,22 in-sample à 0,64 out-of-sample.** Environ la moitié de l'edge apparent s'est évaporée au contact de données inédites.
• **54 % ont perdu plus de la moitié de leur Sharpe.** La **décote médiane était de 0,69** point de Sharpe.
• **16 % se sont effondrés purement et simplement** vers un Sharpe nul ou négatif.
• Sur **l'ensemble des 200** configurations optimisées (pas seulement les attractives), **44 % sont tombées à zéro ou en négatif** en out-of-sample.

Constat 3 : le classement in-sample est un guide faible — mais pas inutile

C'est ici que les données ont contredit la lecture cynique, et nous le rapportons aussi. Au sein de chaque grille stratégie-coin, nous avons classé chaque combinaison par Sharpe in-sample puis par Sharpe out-of-sample, et mesuré la corrélation de rangs.

La corrélation de rangs médiane était de 0,37 — positive, mais faible. Et elle était extrêmement instable : dans un quart des grilles, la corrélation était nulle ou négative (choisir le gagnant in-sample ne valait pas mieux qu'un choix au hasard), tandis que dans le meilleur quart elle dépassait 0,60.

Optimiser de petites grilles structurelles portait tout de même *un peu* de signal : la configuration optimisée a battu les réglages d'usine du template en out-of-sample dans 69 % des cellules. La conclusion honnête n'est donc pas « ne jamais optimiser » — c'est que les écarts in-sample sont surtout du bruit avec un peu de signal mélangé, et que vous ne pouvez pas savoir dans quelle grille vous êtes sans mettre des données de côté. Plus la grille est grande, plus le bruit gagne : chaque combinaison supplémentaire que vous essayez relève la barre que votre résultat doit franchir — c'est exactement ce que corrige un ratio de Sharpe déflaté, et la raison pour laquelle notre scorecard de robustesse l'utilise.

Quelles familles ont tenu

L'écart est instructif. SuperTrend a été le gagnant in-sample le plus prolifique (13 coins sur 20) — et 8 de ces 13 ont perdu plus de la moitié de leur Sharpe en out-of-sample. Le template fair-value-gap a produit 11 gagnants attractifs et a comparativement bien tenu. Et les trois familles qui n'ont produit de gagnant attractif nulle part ne sont pas nécessairement de *mauvaises* stratégies — sur bougies journalières et sur cette période, elles n'ont simplement jamais eu l'edge que leur réputation promet, quels que soient les réglages. Cela aussi vaut la peine d'être su avant que de l'argent réel ne le découvre.

Ce que cette étude ne dit pas

Une étude honnête énonce ses limites : ceci porte sur une seule classe d'actifs (la crypto), un seul timeframe (bougies journalières), un seul point de découpe (70/30), une seule grille par famille, et le modèle de frais par défaut du moteur. Le Sharpe sur une fenêtre d'environ 20 mois est lui-même une estimation bruitée — certains « effondrements » relèvent de la malchance plutôt que du curve-fitting, et certains survivants ont eu de la chance. Une famille long-only qui rencontre un régime out-of-sample hostile prend une raclée injuste. Rien de tout cela ne sauve le constat principal : sur dix designs de stratégies sans lien entre eux, l'optimisation in-sample a systématiquement promis environ deux fois ce qu'elle a livré.

Et une chose que cette étude n'est explicitement pas : une preuve que le backtesting est inutile. C'est la preuve que le backtesting *non validé* fabrique de la confiance. Le remède n'est pas d'arrêter de tester — c'est de tester comme cette étude l'a fait : mettre des données de côté, n'y toucher qu'une fois, compter vos tentatives, et laisser le résultat survivre sur des données qu'il n'a jamais vues.

Les données sont publiques

Ne nous croyez pas sur parole. Le jeu de données complet — les 11 440 runs du moteur, une ligne chacun, avec la combinaison exacte de paramètres et le Sharpe, le rendement, le drawdown et le nombre de trades des deux fenêtres — est publié sous CC BY 4.0 sur notre page open data, en CSV et JSONL, avec une table de schéma et une citation suggérée. Refaites l'analyse, découpez-la autrement ou essayez de casser la conclusion.

Faites passer votre propre stratégie par le même parcours du combattant

Tout ce que cette étude a fait à la main — les données mises de côté, le scoring de robustesse, le verdict honnête — c'est ce que notre backtester gratuit exécute sur n'importe quelle stratégie en une minute environ. Sans inscription, sans carte. Si votre idée est réelle, elle survivra. Sinon, vous venez de le découvrir gratuitement.

Les performances passées ne garantissent pas les résultats futurs. Cette étude est un contenu éducatif, pas un conseil financier.