Die 7 Arten, wie Backtests lügen — und wie man sie vermeidet

Jeder Backtest ist falsch. Die nützlichen sind auf bekannte, begrenzte Weise falsch. Die gefährlichen sind auf eine Weise falsch, die man erst bemerkt, wenn echtes Kapital daran hängt. Dies ist eine Tour durch die sieben Fehlermodi, denen man im Retail-Backtesting begegnet, und die günstigen Gegenmaßnahmen, die die meisten davon in Schach halten.

1. Lookahead-Bias

Der Klassiker. Die Strategie bei Kerze t schielt versehentlich auf Daten von Kerze t+1 oder später, und man bemerkt es nicht, weil der Simulator keine strikte kausale Grenze erzwingt. Die häufigste Form: einen Indikator auf der vollständigen Zeitreihe berechnen, bevor man sie zuschneidet — der EMA bei Kerze 100 wird nun davon beeinflusst, was bei Kerze 500 passiert ist.

Die Lösung: Jeder Indikatorwert darf nur mit Daten berechnet werden, die bei oder vor der Kerze verfügbar sind, auf der er ausgewertet wird. Ein sauber gebauter Simulator (einschließlich des Simulators dieser Plattform) durchläuft die Kerzen in chronologischer Reihenfolge und legt dem Regel-Evaluator nur die Vergangenheit offen.

2. Survivorship-Bias

Man testet auf dem aktuellen S&P 500. Der S&P 500 von 2010 enthielt Löcher in Enron-Form — Unternehmen, die delistet wurden, auf null gingen, übernommen wurden. Wer nur auf den heutigen Überlebenden testet, testet nur auf Unternehmen, die nicht gescheitert sind. Der Backtest sieht großartig aus. Die Strategie wäre mit Lehman gestorben.

Für Krypto zählt das weniger, aber nicht gar nicht. Wer auf einem Korb "der Top 10 nach Marktkapitalisierung, Stand 2020" testet, verpasst den Kollaps von Terra Luna, die Auslöschung von FTT und ein Dutzend kleinerer Token-Pleiten. Point-in-Time-Symbollisten verwenden, nicht den heutigen Schnappschuss.

3. Overfitting

Man hat 10.000 Parameterkombinationen durchsucht und eine mit Sharpe 2.5 gefunden. Glückwunsch — man hat den Lottogewinner gefunden, keine Strategie. Mit genügend Freiheitsgraden lässt sich für jede historische Zeitreihe ein Curve-Fit finden; der Test ist, ob dieselben Parameter auf Daten generalisieren, auf denen nicht optimiert wurde.

Walk-Forward ist die Standard-Gegenmaßnahme. Die Mechanik steht im eigenen Beitrag zur Walk-Forward-Optimierung, die Umsetzung in dieser Plattform in der Walk-Forward-Doku.

4. Fehlende Slippage und Gebühren

Der Standard-Simulator füllt einen zum Close jeder Signalkerze — ohne Spread, ohne Maker-/Taker-Gebühr, ohne Impact-Kosten. Die Realität verlangt 5-15 Basispunkte je Seite auf einem liquiden Krypto-Paar, mehr auf illiquiden Alts, und noch mehr, wenn die Order groß genug ist, das Orderbuch zu bewegen. Eine Strategie mit 200% Umschlag pro Monat stirbt bei 5 Basispunkten Round-Trip, wenn ihr Edge 12 Basispunkte pro Trade betrug.

Round-trip fees (bps)   Net edge per trade   Annual return (52 trades)
0                       1.00%                 +67%
5                       0.95%                 +63%
10                      0.90%                 +59%
20                      0.80%                 +51%
50                      0.50%                 +30%
100                     0.00%                  +0%

Gebühren immer explizit modellieren. Wer die Gebührentabelle seiner Börse nicht sicher kennt, startet mit 10 Basispunkten Round-Trip und justiert nach, sobald echte Fills sichtbar sind.

5. Take-Profit- und Stop-Loss-Fills

Viele Backtester füllen TP und SL zum Open der nächsten Kerze, nicht zum angegebenen Preis. Auf einer 4h-Kerze ist das eine gewaltige Diskrepanz — ein Docht, der den Stop bei $42,000 berührt hat, wird womöglich als Fill zum Next-Bar-Open von $39,500 verbucht. Geschenkte $2,500 pro Trade an erfundenem P&L.

Das korrekte Verhalten ist Intra-Bar: Überschreitet das High von Kerze t den TP, wurde man während dieser Kerze zum TP-Preis gefüllt. Durchsticht das Low den Stop, wurde man zum Stop gefüllt. Der Simulator dieser Plattform macht beides. Man sollte prüfen, ob der eigene Simulator das auch tut.

6. Regimewechsel

Märkte sind nicht stationär. Der BTC von 2017 (parabolische Retail-Manie) ist ein anderer Markt als der BTC von 2022 (institutionell + Makro), und der ist wiederum ein anderer Markt als der BTC von 2025. Eine Strategie, die auf das Regime einer Periode gefittet wurde, passt womöglich schlicht nicht auf eine andere.

Verteidigungslinien: über mindestens zwei unterschiedliche Regimes testen. Die rollierende Sharpe Ratio auf Out-of-Sample-Daten verfolgen und auf Drift achten. Bereit sein, periodisch neu zu fitten, und akzeptieren, dass keine Strategie für die Ewigkeit ist.

7. Der Equity-Kurven-Fehlschluss

Die Equity-Kurve ist ein einzelner Random Walk durch den Möglichkeitsraum. Lässt man dieselbe Strategie auf einer Monte-Carlo-Permutation der Trades laufen (zufällige Reihenfolge, gleiches Multiset), erhält man einen Fächer von Equity-Kurven — und viele davon sehen ganz anders aus als die eine, die man gesehen hat. Trotzdem würde man die Deployment-Entscheidung auf Basis einer einzigen Kurve treffen.

Bessere Diagnostik: maximaler Drawdown über die Verteilung der durchmischten Trades, Wahrscheinlichkeit einer 6-monatigen Underwater-Phase, Time-to-Recover. Eine Strategie mit einem 95.-Perzentil-Max-Drawdown von 35% wird irgendwann einen 35%-Drawdown produzieren — das Kapital so planen, dass das nicht das Ende bedeutet.

Checkliste vor dem Deployment

• Indikatoren sind kausal (kein Blick nach vorn).
• Die Symbolliste ist Point-in-Time, nicht die heutigen Überlebenden.
• Die Walk-Forward-Ergebnisse liegen in Reichweite der In-Sample-Werte.
• Gebühren und Slippage sind mit mindestens 10 Basispunkten Round-Trip modelliert.
• TP / SL füllen Intra-Bar zum Trigger-Preis.
• Die Strategie wurde über mindestens ein Bullen- und ein Bärenregime getestet.
• Die Monte-Carlo-Drawdown-Verteilung ist auf das eigene Konto dimensioniert.

Nächste Schritte

In der Backtesting-Doku das exakte Gebühren-, Slippage- und Fill-Modell der Plattform nachlesen, dann Strategien, die den Backtest überleben, ins Paper-Trading überführen, bevor Kapital riskiert wird. Die Lücke zwischen Simulation und Realität ist real, und Paper ist der günstigste Weg, sie zu messen.