Validazione e robustezza
Distinguere l'abilità dalla fortuna — overfitting, PBO, Monte Carlo, stress e rischio di coda.
Overfitting e PBO
Una strategia è in overfitting quando è tarata così strettamente sui dati passati da adattarsi al rumore anziché al segnale — brillante nel backtest, inutile dal vivo. Il PBO (Probability of Backtest Overfitting) stima la probabilità che la tua configurazione migliore sia in overfitting; più basso è meglio. Usalo per ridimensionare un backtest troppo pulito. Il test walk-forward è la prima difesa — vedi la pagina Walk-forward.
Monte Carlo
Monte Carlo ricampiona e rimescola i risultati dei trade migliaia di volte producendo una distribuzione di esiti invece di un singolo numero. Mostra la gamma di curve di equity e drawdown realisticamente possibili, così giudichi una strategia dalla dispersione degli esiti, non dal singolo percorso fortunato (o sfortunato) realmente seguito.
Stress test
Gli stress test ripercorrono la strategia attraverso regimi storicamente difficili — crash, fasi laterali, rally violenti — e applicano shock avversi come slippage extra e rifiuti di esecuzione. La domanda non è come va in un giorno medio, ma se sopravvive ai peggiori.
VaR e CVaR
Il Value at Risk (VaR) è una soglia di perdita che non superi a una data confidenza — es. il 95% dei periodi perde meno di X. Il VaR condizionato (CVaR) è la perdita media nei periodi negativi oltre quella soglia — la dimensione della coda. Insieme descrivono non solo quanto spesso perdi, ma quanto gravi diventano le rare perdite.