Wir haben 11,440 Backtests laufen lassen. Die durchschnittliche 'Gewinner'-Strategie verlor die Hälfte ihres Edge auf Daten, die sie nie gesehen hatte

In jedem Trading-Forum taucht derselbe Beitrag immer wieder auf: eine schöne Equity-Kurve, ein getuntes Parameter-Set und die Bildunterschrift "das funktioniert". Wir wollten eine Zahl dafür, wie viel davon echt ist. Also haben wir es gemessen — in großem Maßstab, mit einem Protokoll, das uns das Schummeln unmöglich macht, und mit dem Sweep-Code in unserem Repository, damit jeder die Studie nachrechnen kann.

Die Kurzfassung: Wir haben 200 Strategie-Coin-Kombinationen auf ihrer eigenen Historie getunt und jeden getunten Gewinner genau einmal auf Daten laufen lassen, die er nie gesehen hatte. Die mediane Sharpe Ratio der attraktiven Gewinner fiel von 1.22 auf 0.64 — rund die Hälfte des "Edge" war Erinnerung, kein Signal. 54% verloren mehr als die Hälfte ihrer Sharpe Ratio, und über alle 200 getunten Picks hinweg fielen 44% auf null oder ins Negative. Es folgen die Methode, die Charts, die Zahlen, die uns in beide Richtungen überrascht haben, und was tatsächlich überlebt.

Das Experiment

Wir haben die zehn Strategiefamilien aus unserer öffentlichen Template-Bibliothek genommen — dieselben YAML-Regelsets, die jeder auf der Seite ausführen kann: RSI-Mean-Reversion, EMA-Crossover, MACD-Trend, SuperTrend, SMA-Breakout, Bollinger-Reversion, ATR-Breakout, Trend Magic und zwei Smart-Money-Concepts-Templates (Order Blocks und Fair Value Gaps).

Für jede Familie haben wir ein kleines, realistisches Parameter-Grid definiert — genau die Stellschrauben, an denen die Nutzer der Strategie tatsächlich drehen: Lookback-Perioden, Einstiegs-/Ausstiegsschwellen, Bandbreiten, Stop-Distanzen. Keine exotischen Parameter und keine Grids mit tausend Kombinationen: zwischen 9 und 64 Kombinationen pro Familie, exakt die Art von "ich probiere mal ein paar Einstellungen"-Exploration, die jeder Trader betreibt.

Dann, für jedes von 20 liquiden USDT-Paaren (BTC, ETH und der Rest des Large-Cap-Universums), auf Tageskerzen von Januar 2021 bis Juli 2026:

1. **Die Historie chronologisch aufteilen: die ersten 70% In-Sample, die letzten 30% Out-of-Sample.** Das Out-of-Sample-Fenster umfasst grob die letzten 20 Monate — Marktbedingungen, die das In-Sample-Fenster nicht enthält.
2. **Jede Parameterkombination auf dem In-Sample-Fenster laufen lassen** und diejenige mit der besten Sharpe Ratio auswählen. Das ist die Konfiguration, die ein Curve-Fitter ausliefern würde — und, ehrlich gesagt, die Konfiguration, die die meisten Backtest-Screenshots zeigen.
3. **Diesen Gewinner genau einmal auf dem Out-of-Sample-Fenster laufen lassen.** Kein erneutes Tuning, kein zweiter Blick, kein Survivorship: Jedes Ergebnis steckt in den Daten unten, auch die peinlichen.

Das sind 5,720 Konfigurationen, jede auf beiden Fenstern ausgeführt — insgesamt 11,440 Engine-Läufe, alle durch denselben ereignisgesteuerten Backtester, der auch unseren kostenlosen Backtester antreibt, mit seinem Standard-Modell für Gebühren und Slippage. Das Sweep-Skript, die Grids und der Analysecode liegen in unserem Repo; die Studie ist von Anfang bis Ende reproduzierbar.

Befund 1: Die meisten Kombinationen sahen von vornherein nie gut aus

Noch vor jedem Out-of-Sample-Test eine ernüchternde Basis: Selbst mit der Freiheit, die beste aus Dutzenden Einstellungen zu wählen, lieferten nur 37 von 200 Strategie-Coin-Kombinationen (18%) ein "attraktives" In-Sample-Ergebnis — eine Sharpe Ratio von mindestens 1.0 bei mindestens 10 Trades. Drei Familien (RSI-Mean-Reversion, MACD-Trend und Bollinger-Reversion) schafften diese Hürde auf keinem *einzigen* der zwanzig Coins, selbst nach dem Tuning.

Daran sollte man denken, wenn das nächste Mal ein Screenshot die eine Kombination zeigt, die funktioniert hat: Man sieht den Überlebenden eines großen, unsichtbaren Stapels.

Befund 2: Der Out-of-Sample-Abschlag

Hätte das Tuning reines Signal gefunden, würden sich die Punkte an die Diagonale schmiegen. Tun sie nicht — die Wolke liegt systematisch darunter. Für die 37 attraktiven Gewinner:

• **Die mediane Sharpe Ratio fiel von 1.22 In-Sample auf 0.64 Out-of-Sample.** Rund die Hälfte des scheinbaren Edge verdampfte beim Kontakt mit ungesehenen Daten.
• **54% verloren mehr als die Hälfte ihrer Sharpe Ratio.** Der **mediane Abschlag betrug 0.69** Sharpe-Punkte.
• **16% kollabierten komplett** auf eine Sharpe Ratio von null oder darunter.
• Über **alle 200** getunten Picks hinweg (nicht nur die attraktiven) fielen **44%** Out-of-Sample **auf null oder ins Negative**.

Befund 3: Das In-Sample-Ranking ist ein schwacher Wegweiser — aber nicht wertlos

Hier haben die Daten der zynischen Lesart widersprochen, und auch das berichten wir. Innerhalb jedes Strategie-Coin-Grids haben wir jede Kombination nach In-Sample-Sharpe und noch einmal nach Out-of-Sample-Sharpe gerankt und dann die Rangkorrelation gemessen.

Die mediane Rangkorrelation lag bei 0.37 — positiv, aber schwach. Und sie war wild instabil: In einem Viertel der Grids war die Korrelation null oder negativ (den In-Sample-Gewinner zu wählen war nicht besser als zufälliges Raten), während sie im besten Viertel über 0.60 lag.

Das Tuning kleiner, struktureller Grids trug durchaus *etwas* Signal: Der getunte Pick schlug die Werkseinstellungen des Templates Out-of-Sample in 69% der Zellen. Die ehrliche Schlussfolgerung lautet also nicht "niemals tunen" — sondern dass In-Sample-Unterschiede überwiegend Rauschen mit einer Prise Signal sind, und ohne zurückgehaltene Daten lässt sich nicht sagen, in welchem Grid man steckt. Je größer das Grid, desto stärker gewinnt das Rauschen: Jede zusätzlich ausprobierte Kombination hebt die Latte, die das Ergebnis überspringen muss — genau das, was eine deflationierte Sharpe Ratio korrigiert, und der Grund, warum unsere Robustness-Scorecard sie verwendet.

Welche Familien sich gehalten haben

Die Streuung ist lehrreich. SuperTrend war der produktivste In-Sample-Gewinner (13 von 20 Coins) — und 8 dieser 13 verloren Out-of-Sample mehr als die Hälfte ihrer Sharpe Ratio. Das Fair-Value-Gap-Template lieferte 11 attraktive Gewinner und hielt sich vergleichsweise gut. Und die drei Familien, die nirgendwo einen attraktiven Gewinner hervorbrachten, sind nicht zwangsläufig *schlechte* Strategien — auf Tageskerzen in diesem Zeitraum hatten sie schlicht nie den Edge, den ihr Ruf verspricht, egal wie man an den Stellschrauben drehte. Auch das ist es wert, gewusst zu werden, bevor echtes Geld es herausfindet.

Was diese Studie nicht aussagt

Eine ehrliche Studie nennt ihre Grenzen: Das hier ist eine Assetklasse (Krypto), ein Zeitrahmen (Tageskerzen), ein Split-Punkt (70/30), ein Grid pro Familie und das Standard-Gebührenmodell der Engine. Eine Sharpe Ratio über ein ~20-Monats-Fenster ist selbst eine verrauschte Schätzung — manche "Kollapse" sind Pech statt Curve-Fitting, und manche Überlebende hatten Glück. Eine Long-only-Familie, die auf ein feindliches Out-of-Sample-Regime trifft, bezieht eine unfaire Tracht Prügel. Nichts davon rettet die Schlagzeile: Über zehn nicht verwandte Strategiedesigns hinweg versprach das In-Sample-Tuning systematisch rund das Doppelte dessen, was es lieferte.

Und eines ist diese Studie ausdrücklich nicht: ein Beleg dafür, dass Backtesting nutzlos ist. Sie ist ein Beleg dafür, dass *unvalidiertes* Backtesting Selbstvertrauen fabriziert. Die Lösung ist nicht, mit dem Testen aufzuhören — sondern so zu testen, wie diese Studie es getan hat: Daten zurückhalten, sie genau einmal anfassen, die eigenen Versuche zählen und das Ergebnis auf Daten überleben lassen, die es nie gesehen hat.

Die Daten sind öffentlich

Glaub uns kein Wort davon ungeprüft. Der vollständige Datensatz — alle 11.440 Engine-Läufe, eine Zeile pro Lauf, mit der exakten Parameterkombination und Sharpe, Rendite, Drawdown und Trade-Anzahl beider Fenster — ist unter CC BY 4.0 auf unserer Open-Data-Seite veröffentlicht, als CSV und JSONL, mit Schema-Tabelle und Zitiervorschlag. Wiederhole die Analyse, schneide sie anders zu oder versuche, das Fazit zu widerlegen.

Die eigene Strategie durch denselben Spießrutenlauf schicken

Alles, was diese Studie von Hand gemacht hat — die zurückgehaltenen Daten, das Robustness-Scoring, das ehrliche Urteil — läuft in unserem kostenlosen Backtester für jede Strategie in rund einer Minute. Keine Registrierung, keine Karte. Wenn die Idee echt ist, wird sie überleben. Wenn nicht, hat man es soeben gratis herausgefunden.

Vergangene Performance garantiert keine zukünftigen Ergebnisse. Diese Studie ist Bildungsinhalt, keine Finanzberatung.