Validación y robustez
Distinguir la habilidad de la suerte — sobreajuste, PBO, Monte Carlo, estrés y riesgo de cola.
Sobreajuste y PBO
Una estrategia está sobreajustada cuando se afina tan estrechamente a los datos pasados que encaja el ruido en vez de la señal — brillante en el backtest, inútil en real. El PBO (Probability of Backtest Overfitting) estima la probabilidad de que tu mejor configuración esté sobreajustada; cuanto más bajo, mejor. Úsalo para relativizar un backtest demasiado limpio. La prueba walk-forward es la primera defensa — ve la página Walk-forward.
Monte Carlo
Monte Carlo remuestrea y reordena los resultados de tus operaciones miles de veces para producir una distribución de resultados en vez de un solo número. Muestra el rango de curvas de capital y drawdowns realistas, para juzgar una estrategia por la dispersión de resultados, no por el único camino afortunado (o desafortunado) que realmente siguió.
Pruebas de estrés
Las pruebas de estrés reproducen la estrategia a través de regímenes históricamente duros — caídas, lateralidad, rallies bruscos — y aplican choques adversos como slippage extra y rechazos de ejecución. La pregunta no es cómo le va en un día medio, sino si sobrevive a los peores.
VaR y CVaR
El Value at Risk (VaR) es un umbral de pérdida que no superas a una confianza dada — p. ej. el 95% de los periodos pierde menos de X. El VaR condicional (CVaR) es la pérdida media en los periodos malos más allá de ese umbral — el tamaño de la cola. Juntos describen no solo con qué frecuencia pierdes, sino cuán graves son las pérdidas raras.