El backtest demasiado bonito: cinco maneras en que te cuenta un cuento
Hola trader,
ayer publiqué en mi Instagram un reel corto (en italiano) sobre una historia que me pasó hace unas semanas.
Un seguidor me manda su equity.
Un backtest sobre varios mercados, con una línea que sube limpia de izquierda a derecha. De esas que te hacen pensar “vale, ya he terminado de trabajar”.
Mirándolo mejor, en la vela de un minuto había a menudo stop y target dentro de la misma vela.
Y quien decidía cuál de los dos llegaba primero no era el mercado.
Era el backtest.
En el reel solo había espacio para un motivo. Aquí te cuento cinco, porque esa línea limpia normalmente no tiene uno solo.
1. Stop y target en la misma vela
Empecemos por el del reel.
Una vela de un minuto te dice cuatro cosas: apertura, máximo, mínimo, cierre.
No te dice en qué orden llegaron el máximo y el mínimo.
Si el mínimo de esa vela llega hasta tu stop y el máximo hasta tu target, dentro de ese minuto se tocaron los dos.
¿Pero cuál primero?
La vela no lo sabe. Y si no lo sabe la vela, tampoco lo sabe el backtest.
Así que el software tiene que adivinar.
MultiCharts y TradingView, por ejemplo, por defecto suponen que el precio va primero hacia el extremo más cercano a la apertura. MetaTrader 5, si no le das los ticks reales, se los inventa.
Cada uno a su manera, pero siempre es una hipótesis, y no está claro que sepas cuál ha usado el tuyo.
Ahora hagamos las cuentas, con números redondos e inventados a propósito.
Cien trades, stop y target a la misma distancia, así que cada trade vale más o menos 1 R.
Ochenta son claros: 42 ganados y 38 perdidos. Da +4 R. Un sistema que sobrevive a duras penas.
Los otros veinte son ambiguos, stop y target en la misma vela.
Si el backtest los cuenta todos como ganados, cierras en +24 R. Equity de portada.
Si en realidad estaban todos perdidos, cierras en -16 R.
Mismo sistema, mismos trades. La diferencia la marca una hipótesis que no has elegido tú y que a lo mejor ni sabes que has hecho.
Cuanto más ajustados estén tu stop y tu target respecto al timeframe, más casos ambiguos tienes. Y cuantos más casos ambiguos tienes, más decide el resultado la hipótesis del software en lugar del mercado.
La solución de verdad es una: donde stop y target caen en la misma vela, hay que ir a mirar los ticks. Casi todos los programas lo tienen: Bar Magnifier en MultiCharts y TradingView, la resolución de ejecución “High” en NinjaTrader, “Cada tick basado en ticks reales” en MetaTrader 5.
Si no tienes los ticks, por lo menos cuéntalos como perdidos. Si el sistema aguanta incluso así, empieza a interesarte.
2. El toque regalado
Segundo regalo, pariente cercano del primero.
Tu orden limitada está en 100. El precio llega a 100 y se da la vuelta.
Muchos backtests, con la configuración por defecto, escriben: ejecutada.
En el mercado real, cuando el precio toca tu nivel y se va, no está claro que estés dentro. Delante de ti puede haber otras órdenes al mismo precio, y un solo toque no basta para despacharlas todas.
Y fíjate en el detalle malicioso: los toques que el backtest te regala con más gusto son justo aquellos en los que el precio te roza y se gira enseguida a tu favor. Es decir, los mejores trades.
Regla sencilla para que no te la cuelen: en backtest una limitada la das por ejecutada solo si el precio la atraviesa por lo menos un tick. Pierdes algún trade sobre el papel, pero los que quedan son de verdad.
3. Los costes quitados “para simplificar”
Lo veo hacer muchísimo, incluso a gente buena.
“Los costes ya los pongo después.”
Y luego el después no llega nunca.
Comisiones del bróker y fees del mercado, y para los stops y las órdenes a mercado también el slippage, es decir, la diferencia entre el precio que querías y el que te dan. Una limitada que está de verdad en el book no te ejecuta peor que tu precio, como mucho no te ejecuta, como hemos visto arriba. El stop en cambio, cuando salta, se convierte en una orden a mercado, y ahí el slippage lo pagas.
En un sistema que hace dos trades a la semana con un target de treinta puntos, los costes son ruido.
En un sistema que hace diez trades al día con un target de tres ticks, los costes son el sistema. Un beneficio medio por trade de un tick y medio, si pagas uno entre comisiones y slippage, pierde dos tercios por el camino.
La prueba que hay que hacer es trivial: mira el beneficio medio por trade y ponlo al lado del coste de un trade, ida y vuelta. Si los dos números están cerca, no tienes un sistema. Tienes una forma elegante de pagar al bróker.
4. Espiar el futuro
Este es difícil de ver, porque en el código parece todo en orden.
El sistema usa una información o un precio que, en el momento en que habría tenido que decidir, no tenía a su disposición.
Algunos ejemplos que he visto:
- la señal se calcula sobre el cierre de la vela, pero la entrada se coloca en la apertura de la misma vela;
- se usa el máximo o el mínimo del día para decidir un trade hecho a media mañana;
- un indicador que repinta, es decir, cambia los valores pasados cuando llegan datos nuevos, y en el backtest te enseña siempre su versión “a toro pasado”;
- las velas Heikin Ashi usadas como si fueran precios reales. Son medias: la apertura de una vela Heikin Ashi no es el precio al que podías entrar en ese momento. Si el backtest te hace entrar ahí, entras a un precio que en el mercado, en ese instante, no existía.
La señal de alarma es siempre la misma: un win rate demasiado alto, demasiado estable, con poquísimas jornadas torcidas. El mercado no es tan amable con nadie.
5. Demasiados mandos
El último, y quizá el más humano.
Tienes un sistema con cinco parámetros. Longitud de la media, distancia del stop, distancia del target, hora de inicio, hora de fin.
Pones a correr el optimizador sobre dos años de datos y encuentras la combinación perfecta.
El problema es que no has encontrado el sistema que funciona. Has encontrado el que mejor se adapta a esos dos años, ruido incluido. Cuantos más mandos tienes y más combinaciones pruebas, más fácil es que la mejor sea la mejor por casualidad.
No es una impresión mía. Hay una línea de investigación seria sobre esto.
David Bailey, Marcos López de Prado y dos colegas matemáticos han demostrado que, probando suficientes variantes, es relativamente fácil encontrar un backtest precioso incluso para una estrategia sin ninguna ventaja real.
Y Campbell Harvey y Yan Liu sugieren “recortar” los resultados de un backtest tanto más cuantas más pruebas hayas hecho para llegar a él.
Qué haces en la práctica:
- guardas aparte un trozo de datos que no tocas mientras optimizas, y lo miras solo al final, una vez;
- mira si los parámetros cercanos al mejor funcionan casi igual. Si la media de 20 es fantástica y las de 19 y 21 son un desastre, no has encontrado un sistema, has encontrado un accidente;
- menos mandos es mejor. Cada parámetro de más es un sitio más donde esconder la casualidad.
También me ha pasado a mí
No te lo cuento desde arriba.
Me ha pasado más de una vez mirar equities estupendas, tests increíbles, y luego rehacer las cuentas con los datos correctos y descubrir que el sistema, en la realidad, no se tenía en pie.
La última vez fue hace poco. Retomé unos backtests hechos sobre barras y los rehíce sobre ticks, con los costes reales y los fills honestos. Algunos sistemas que sobre el papel eran bonitos bajaron a un profit factor por debajo de uno.
Es decir, perdían.
No fue agradable. Pero mucho menos agradable habría sido descubrirlo con la cuenta.
Las cinco preguntas que hay que hacerle a tu backtest
Antes de fiarte de una línea que sube, hazle estas preguntas.
- ¿Cuántas veces caen stop y target en la misma vela? ¿Y cómo las ha contado el software?
- ¿Una limitada tocada la cuenta como ejecutada? ¿O pide que el precio la atraviese?
- ¿Están los costes? Comisiones, y slippage en los stops y en las órdenes a mercado.
- ¿El sistema usa algo que en el momento de la decisión no podía saber? Cierres, máximos del día, indicadores que repintan, velas que no son precios.
- ¿Cuántas variantes has probado antes de esta? ¿Y cómo va con los datos que nunca has usado para optimizar?
Si después de estas cinco la línea sigue subiendo, bien. Pero no se ha acabado.
La última prueba la hace el mercado
El backtest más honesto del mundo sigue siendo una hipótesis.
El paso siguiente es ponerlo a correr hacia delante, en demo o con size mínima, y comparar trade por trade lo que hace el sistema con lo que decía el backtest. Cuántos fills faltan, cuánto slippage pagas de verdad, cuántos trades “de backtest” en la realidad no han existido nunca.
Para esta comparación necesitas un sitio donde apuntar los trades reales. Si no lo tienes, usa el TradingBlog Diary: es gratuito, y a final de mes tienes los números delante en lugar de tener que recordarlos.
Si la diferencia entre papel y realidad es pequeña, tienes algo entre manos.
Si es grande, el backtest te ha contado un cuento.
Mejor saberlo ahora.
Un backtest es una hipótesis, no un resultado. El resultado lo escribe el mercado.
¡Suerte Amigo!
Tiziano Brunno
Tradingblog
Fuentes
- David H. Bailey, Jonathan M. Borwein, Marcos López de Prado, Qiji Jim Zhu, “Pseudo-Mathematics and Financial Charlatanism: The Effects of Backtest Overfitting on Out-of-Sample Performance”, Notices of the American Mathematical Society, 2014.
- Campbell R. Harvey, Yan Liu, “Backtesting”, The Journal of Portfolio Management, 2015.
¿Quieres poner a prueba tu lectura de los mercados?
Compite y desafía a otros traders dentro de una Arena en un entorno demo, sin riesgo de capital real. Descubre los Performance Arena Event de The Thunder Trader.
Aviso legal: contenido puramente informativo y educativo. No constituye asesoramiento financiero ni una invitación a operar. El trading conlleva riesgo de pérdida del capital.
