Checklist in 5 punti per validare un backtest prima di fidarsi

Una equity line pulita e in salita può essere molto convincente. Ma non è ancora la prova che una strategia funzioni davvero. Il backtest nel trading mostra infatti come un Trading System si sarebbe comportato sui dati storici utilizzati per il test. Il problema è capire quanto quei risultati siano robusti e quanto, invece, possano dipendere dal modo in cui il sistema è stato costruito, ottimizzato e testato.

È una distinzione fondamentale nel trading sistematico.

Andrea Unger, quattro volte vincitore del World Cup Trading Championships(R), insiste da sempre sull’importanza di costruire strategie basate su regole oggettive e sottoporle a test approfonditi prima di utilizzarle con denaro reale.

Nessun test può garantire che una strategia continuerà a guadagnare in futuro. I mercati cambiano e qualsiasi Trading System può attraversare periodi negativi o perdere efficacia.

Possiamo però cercare di capire se i risultati che vediamo nel backtest siano sufficientemente solidi da meritare ulteriori verifiche.

Ecco quindi cinque controlli fondamentali da effettuare prima di fidarsi di un backtest nel trading.

Check 1: Il sistema rischia di essere overfittato?

L’overfitting nel trading è uno dei problemi più insidiosi. Si verifica quando una strategia viene adattata troppo precisamente ai dati storici utilizzati per costruirla. Aggiungendo parametri, filtri e condizioni è infatti possibile migliorare progressivamente i risultati del backtest nel trading, ma questo non significa necessariamente aver migliorato la strategia.

Al contrario, potremmo aver semplicemente costruito un sistema molto bravo a descrivere ciò che è già successo.

Immaginiamo, per esempio, di partire da una strategia relativamente semplice e di aggiungere progressivamente filtri sulla volatilità, sul giorno della settimana, sugli orari o su altri indicatori perché ciascuno di essi elimina alcuni trade negativi dal backtest.

Ogni modifica potrebbe sembrare ragionevole presa singolarmente. Il rischio, però, è che l’insieme delle regole finisca per adattarsi a caratteristiche molto specifiche del campione storico.

Per questo una buona strategia non dovrebbe essere valutata soltanto in base alla performance finale del backtest.

È importante chiedersi anche se le regole abbiano una logica, se il numero di parametri sia ragionevole e soprattutto se piccole variazioni dei parametri producano risultati completamente diversi.

Un sistema che funziona soltanto con una combinazione estremamente precisa di valori potrebbe essere molto meno robusto di quanto suggerisca la sua equity line.

Abbiamo approfondito questo problema in un video del nostro canale YouTube.

Check 2: Il sistema è stato verificato out-of-sample?

Uno dei controlli più importanti per riconoscere un backtest affidabile consiste nel verificare la strategia su dati che non sono stati utilizzati per costruirla.

È il principio dell’analisi out-of-sample nel trading.

Durante lo sviluppo di un Trading System, una parte dei dati storici viene utilizzata per costruire, testare e ottimizzare la strategia. Questa costituisce il campione in-sample.

Una parte diversa dello storico può invece essere lasciata fuori dal processo di sviluppo e utilizzata successivamente per verificare come si comporta il sistema su dati che non hanno contribuito alla sua costruzione.

Questa è la parte out-of-sample.

La distinzione è importante perché un ottimo risultato in-sample potrebbe essere semplicemente la conseguenza di un’eccessiva ottimizzazione.

Se invece la strategia continua a mostrare un comportamento interessante anche su dati che non sono stati utilizzati per svilupparla, abbiamo un’indicazione in più sulla sua robustezza.

Naturalmente, nemmeno un buon risultato out-of-sample garantisce che il sistema continuerà a funzionare in futuro.

Serve però a rispondere a una domanda fondamentale: la strategia ha mostrato risultati interessanti soltanto sui dati sui quali è stata costruita oppure è riuscita a mantenere caratteristiche simili anche su un campione indipendente?

Check 3: Il campione è abbastanza ampio e rappresentativo?

Un altro elemento fondamentale è la quantità e la qualità dei dati sui quali stiamo valutando il sistema.

Un backtest nel trading basato su poche operazioni può mostrare risultati eccellenti semplicemente per effetto del caso. Allo stesso modo, anche un numero apparentemente elevato di trade potrebbe non essere sufficiente se tutti appartengono a un periodo storico molto particolare.

Non esiste un numero minimo di operazioni valido per qualsiasi Trading System. La numerosità necessaria dipende da molti fattori, tra cui la frequenza operativa della strategia, il mercato utilizzato e la variabilità dei risultati.

Per questo non basta chiedersi quanti trade siano presenti nel backtest.

È utile osservare anche quanto è esteso il periodo analizzato e se comprende condizioni di mercato differenti.

Una strategia testata soltanto durante una fase particolarmente favorevole potrebbe infatti restituire un’immagine poco rappresentativa del suo comportamento complessivo.

Più il campione è ampio e diversificato, maggiori sono le informazioni che possiamo raccogliere sul comportamento della strategia.

Anche in questo caso, però, la quantità di dati non sostituisce gli altri controlli: un backtest molto lungo può comunque essere overfittato o costruito in modo non corretto.

Check 4: Il periodo out-of-sample è davvero “vergine”?

Avere un periodo definito come out-of-sample non è sufficiente.

Bisogna anche assicurarsi che quei dati non abbiano influenzato, direttamente o indirettamente, lo sviluppo della strategia.

Supponiamo, per esempio, di mettere da parte gli ultimi anni dello storico come campione out-of-sample.

Testiamo la strategia su quel periodo, osserviamo che i risultati non ci soddisfano e torniamo quindi a modificare parametri o regole. Successivamente eseguiamo nuovamente il test sugli stessi dati.

A quel punto quei dati non sono più realmente “nuovi”.

Le informazioni ottenute dal primo test hanno infatti influenzato le nostre decisioni successive.

Questo fenomeno viene spesso definito contaminazione dell’out-of-sample ed è particolarmente insidioso perché può avvenire senza rendersene conto.

Per mantenere significativa la verifica, il campione out-of-sample dovrebbe essere definito prima della fase finale di sviluppo e non dovrebbe essere utilizzato ripetutamente per scegliere quali modifiche apportare alla strategia.

Altrimenti rischiamo di trasformare progressivamente anche l’out-of-sample in una nuova forma di in-sample.

La disciplina con cui vengono separati i dati è quindi importante almeno quanto la divisione stessa.

Check 5: Il backtest nel trading tiene conto di slippage e costi reali?

Un altro errore frequente consiste nel valutare una strategia senza considerare adeguatamente i costi che si incontreranno nell’operatività reale.

Commissioni, spread e slippage possono ridurre i risultati di una strategia, in alcuni casi anche in maniera significativa.

Lo slippage, in particolare, rappresenta la differenza tra il prezzo teorico al quale il sistema dovrebbe eseguire un ordine e quello al quale l’ordine viene effettivamente eseguito sul mercato.

La sua incidenza dipende da diversi fattori, come lo strumento utilizzato, la liquidità, il tipo di ordine, le condizioni di mercato e la frequenza operativa.

Il problema diventa particolarmente importante quando una strategia presenta un average trade ridotto.

Se il profitto medio per operazione è piccolo, infatti, anche costi apparentemente contenuti possono assorbire una parte significativa del vantaggio statistico mostrato dal backtest nel trading.

Per questo i risultati di una strategia dovrebbero essere valutati includendo ipotesi realistiche e, quando possibile, prudenti sui costi di esecuzione.

Un Trading System che appare interessante soltanto ignorando commissioni e slippage difficilmente offre una rappresentazione realistica di ciò che potremmo aspettarci nell’operatività live.

Abbiamo approfondito questo tema nell’articolo dedicato allo slippage e alle differenze tra backtest e live.

Cosa dimostrano davvero questi 5 check sui backtest nel trading?

Superare questi controlli non significa aver trovato una strategia che sicuramente guadagnerà in futuro.

Una garanzia del genere nel trading non esiste.

Significa, però, aver sottoposto il backtest ad alcuni controlli importanti per cercare di capire se i risultati osservati siano sufficientemente robusti da meritare ulteriori verifiche.

Abbiamo cercato di ridurre il rischio di overfitting.

Abbiamo verificato il comportamento della strategia su dati non utilizzati durante lo sviluppo.

Abbiamo valutato se il campione storico sia sufficientemente rappresentativo.

Abbiamo cercato di mantenere realmente indipendente il periodo out-of-sample.

E abbiamo considerato l’impatto dei costi che incontreremo passando dalla simulazione al mercato reale.

Naturalmente, questi non sono gli unici aspetti che possono influenzare l’affidabilità di un backtest nel trading.

La qualità dei dati, le caratteristiche dello strumento, le modalità di esecuzione degli ordini e molti altri elementi possono avere un impatto sui risultati.

L’obiettivo non è quindi eliminare ogni possibile fonte di incertezza, ma costruire un processo di sviluppo e validazione il più possibile rigoroso.

E dopo la validazione? La simulazione Monte Carlo

Una volta costruita e validata una strategia, possiamo sottoporla ad altri tipi di analisi.

Tra questi c’è la simulazione Monte Carlo.

Il suo obiettivo è diverso da quello dei controlli che abbiamo appena visto.

Una simulazione Monte Carlo può essere utilizzata, per esempio, per analizzare come potrebbero cambiare alcuni risultati modificando la sequenza dei trade e per ottenere maggiori informazioni sulla possibile variabilità delle performance e dei drawdown.

Non sostituisce quindi la validazione del Trading System, ma rappresenta uno strumento complementare per studiarne più approfonditamente il profilo di rischio.

Se vuoi approfondire, ne abbiamo parlato nell’articolo dedicato alla simulazione Monte Carlo.

Una buona equity line può essere il punto di partenza.

Ma prima di affidare denaro reale a una strategia, ciò che conta è capire come è stata ottenuta e quanto il risultato riesca a resistere ai controlli che mettono alla prova la robustezza del sistema.

È proprio questa attenzione ai dati, ai test e alla validazione che distingue lo sviluppo sistematico di una strategia dal semplice tentativo di trovare una configurazione che abbia funzionato bene in passato.

Domande frequenti sul backtest nel trading

Come faccio a sapere se ho realizzato un backtest affidabile?

Non esiste un singolo test che possa garantire l’affidabilità di un backtest nel trading. È però possibile sottoporlo a diversi controlli: verificare il rischio di overfitting, utilizzare dati out-of-sample, analizzare un campione sufficientemente ampio e rappresentativo, evitare la contaminazione dell’out-of-sample e includere costi e slippage realistici.

Cosa può rendere un backtest poco affidabile?

Tra i problemi più comuni troviamo l’overfitting sui dati storici, un campione poco rappresentativo, l’assenza di una vera verifica out-of-sample e la mancata considerazione dei costi dell’operatività reale. Esistono inoltre altri fattori, come la qualità dei dati e il modo in cui vengono simulate le esecuzioni.

Quante operazioni servono prima di fidarsi di un backtest nel trading?

Non esiste un numero valido per qualsiasi strategia. Dipende dalla frequenza operativa del sistema, dal mercato, dalla variabilità dei risultati e dall’estensione dello storico analizzato. In generale, un campione più ampio permette di raccogliere maggiori informazioni, ma il numero di trade deve sempre essere valutato insieme agli altri elementi del backtest nel trading.

Un periodo di test molto lungo sostituisce la verifica out-of-sample?

No. La durata del backtest e la verifica out-of-sample rispondono a due esigenze differenti. Uno storico ampio permette di osservare il comportamento della strategia in un maggior numero di condizioni di mercato, mentre l’out-of-sample serve a verificare il sistema su dati che non hanno contribuito alla sua costruzione.