Seri 15 — Backtest & Reality vs Expectation
Fase 4: Statistik & Edge (1/4)
Pernahkah Anda menemukan sebuah strategi trading yang kelihatannya sangat menjanjikan?
Misalnya, setiap kali harga menembus resistance, saham cenderung naik. Atau ketika harga berada di atas MA200 dan volume meningkat, peluang kenaikan terlihat lebih besar.
Anda kemudian mencoba strategi tersebut pada beberapa saham. Hasilnya bagus. Beberapa transaksi menghasilkan keuntungan yang lumayan, bahkan ada yang naik puluhan persen.
Lalu muncul keyakinan: “Sepertinya saya sudah menemukan sistem trading yang bagus.”
Tunggu dulu.
Apakah strategi tersebut memang memiliki keunggulan statistik, atau Anda hanya kebetulan menemukan beberapa contoh yang berhasil?
Inilah alasan mengapa trader yang ingin mandiri tidak cukup hanya mengandalkan pengalaman, pengamatan visual, atau ingatan terhadap transaksi yang menguntungkan. Mereka perlu melakukan pengujian.
1. Strategi yang terlihat bagus belum tentu benar-benar bagus
Manusia secara alami lebih mudah mengingat kejadian yang menyenangkan. Ketika sebuah saham naik setelah breakout, kita cenderung mengingat pola tersebut. Namun, ketika breakout gagal dan harga kembali turun, pengalaman itu terkadang cepat terlupakan.
Akibatnya, penilaian kita terhadap strategi bisa menjadi terlalu optimistis.
Bayangkan seorang trader mencoba strategi breakout pada lima saham. Empat transaksi menghasilkan keuntungan dan satu mengalami kerugian. Ia mungkin langsung menyimpulkan bahwa strategi breakout sangat efektif.
Padahal, lima transaksi belum tentu cukup untuk menggambarkan kinerja sebuah sistem. Hasilnya bisa sangat berbeda ketika strategi yang sama diuji pada puluhan atau ratusan transaksi, berbagai periode, dan kondisi pasar yang berbeda.
Bukan berarti lima transaksi tidak berguna. Pengalaman tersebut bisa menjadi petunjuk awal. Namun, petunjuk awal tidak sama dengan bukti yang memadai.
Dalam trading, sesuatu yang masuk akal secara logika belum tentu terbukti menguntungkan secara statistik.
Karena itu, sebelum menambah modal atau meningkatkan ukuran posisi, kita perlu menguji strategi secara lebih sistematis.
2. Apa itu backtest?
Backtest adalah proses menguji aturan trading menggunakan data historis untuk melihat bagaimana aturan tersebut akan bekerja pada periode masa lalu.
Misalnya, kita ingin menguji sebuah sistem sederhana:
Saham harus berada dalam tren naik, misalnya harga penutupan di atas MA200.
Entry dilakukan ketika harga menembus level tertinggi periode sebelumnya.
Volume digunakan sebagai salah satu konfirmasi.
Stop loss ditentukan sebelum transaksi dilakukan.
Posisi ditutup ketika aturan exit terpenuhi.
Aturan tersebut kemudian diterapkan pada data historis sesuai urutan waktu. Setiap sinyal yang memenuhi kriteria dicatat, termasuk transaksi yang untung, transaksi yang rugi, dan transaksi yang tidak menghasilkan keuntungan berarti.
Dari hasil itu, kita dapat mulai menjawab beberapa pertanyaan penting.
Berapa banyak transaksi yang terjadi? Berapa persentase transaksi yang menghasilkan keuntungan? Seberapa besar rata-rata keuntungan dan kerugiannya? Berapa besar penurunan modal ketika sistem mengalami periode buruk? Apakah hasilnya tetap masuk akal setelah biaya transaksi diperhitungkan?
Pertanyaan-pertanyaan tersebut jauh lebih berguna daripada sekadar bertanya, “Strategi ini pernah menghasilkan profit, bukan?”
Sebab, hampir semua strategi bisa terlihat bagus jika kita hanya memilih contoh yang mendukungnya.
3. Backtest bukan alat untuk meramal masa depan
Di sinilah kita perlu membedakan antara expectation dan reality.
Backtest menunjukkan bagaimana suatu aturan bekerja pada data masa lalu. Backtest tidak memberi kepastian mengenai hasil transaksi berikutnya.
Pasar dapat berubah. Karakter saham bisa berbeda. Biaya transaksi memengaruhi hasil. Likuiditas dapat berubah, dan harga yang terlihat tersedia pada grafik historis belum tentu bisa diperoleh persis ketika transaksi dilakukan.
Bahkan strategi yang memiliki hasil historis baik dapat mengalami kerugian beruntun ketika digunakan pada periode berikutnya.
Karena itu, tujuan backtest bukan mencari strategi yang menjamin profit, melainkan mencari bukti bahwa aturan trading memiliki dasar yang layak untuk dipertimbangkan.
Kita ingin mengetahui apakah hasilnya didukung oleh banyak transaksi dan aturan yang konsisten, atau justru bergantung pada beberapa transaksi luar biasa.
Perbedaannya sangat penting.
Jika keuntungan total sebuah sistem terutama berasal dari satu atau dua transaksi besar, kita perlu memahami hal itu sebelum menyimpulkan bahwa sistem tersebut kuat. Sebaliknya, sistem dengan hasil yang lebih merata pun masih harus diuji dari sisi risiko, biaya, dan ketahanannya pada kondisi pasar berbeda.
Backtest membantu kita mengurangi keputusan berdasarkan dugaan. Ia tidak menghilangkan ketidakpastian.
4. Jangan hanya menguji saham yang sudah naik
Salah satu jebakan terbesar ketika menguji strategi adalah memilih contoh setelah kita mengetahui hasil akhirnya.
Misalnya, kita melihat daftar saham yang saat ini sedang naik, kemudian membuka grafik historisnya dan mencari pola breakout yang pernah berhasil. Setelah menemukan banyak contoh bagus, kita menyimpulkan bahwa pola tersebut sangat efektif.
Masalahnya, kita hanya melihat saham-saham yang menarik perhatian kita sekarang. Saham yang dahulu memenuhi kriteria tetapi kemudian jatuh, tidak likuid, atau tidak lagi menarik perhatian bisa saja terabaikan.
Cara seperti ini menghasilkan gambaran yang tidak seimbang.
Pengujian yang lebih baik harus dimulai dari aturan yang jelas, lalu diterapkan secara konsisten pada seluruh saham dan periode yang memenuhi kriteria tersebut, termasuk kasus yang berakhir buruk.
Kita tidak boleh mengubah aturan hanya karena hasil transaksi tertentu tidak sesuai harapan.
Jika sistem mensyaratkan breakout dengan konfirmasi volume, misalnya, maka seluruh kejadian yang memenuhi syarat itu harus diperlakukan dengan cara yang sama. Jangan menerima sinyal yang berhasil tetapi menganggap sinyal yang gagal sebagai pengecualian tanpa alasan yang sudah ditentukan sebelumnya.
Prinsipnya sederhana: aturan harus mendahului hasil, bukan hasil yang menentukan aturan.
5. Hati-hati terhadap overfitting
Ada jebakan lain yang sering terjadi ketika trader mulai melakukan pengujian: terlalu banyak mengutak-atik parameter sampai hasil historis terlihat sempurna.
Awalnya, sebuah strategi menggunakan MA200 dan breakout 20 hari. Hasilnya biasa saja. Lalu periode MA diubah, parameter breakout diganti, filter volume ditambahkan, dan stop loss disesuaikan berulang kali.
Setelah puluhan atau ratusan percobaan, akhirnya ditemukan kombinasi yang menghasilkan grafik keuntungan sangat menarik pada data historis.
Apakah sistem itu otomatis lebih baik?
Belum tentu.
Bisa jadi parameter tersebut benar-benar menangkap karakteristik pasar yang relevan. Namun, bisa juga sistem hanya terlalu cocok dengan pola kebetulan pada data yang digunakan untuk pengujian. Inilah salah satu bentuk overfitting.
Ibarat seorang siswa yang menghafal jawaban soal ujian tahun lalu. Ia bisa memperoleh nilai tinggi pada soal yang sama, tetapi belum tentu mampu menyelesaikan soal baru.
Untuk mengurangi risiko ini, pisahkan data pengembangan sistem dari data pengujian yang tidak digunakan ketika memilih parameter. Setelah aturan ditetapkan, uji kembali pada periode berbeda yang belum dipakai untuk mengoptimalkan sistem. Jika memungkinkan, lanjutkan dengan pengujian berjalan (walk-forward) atau simulasi transaksi tanpa menggunakan modal nyata terlebih dahulu.
Hasil yang sedikit lebih sederhana tetapi tetap masuk akal pada data yang belum pernah digunakan sering kali lebih informatif daripada hasil luar biasa yang hanya muncul setelah banyak penyesuaian.
6. Data EOD menjadi bahan pengujian
Sampai di sini, kita mulai melihat mengapa data historis penting dalam proses membangun trading system.
Grafik bisa membantu kita memahami perilaku harga. Namun, untuk menguji aturan secara konsisten, kita membutuhkan rangkaian data yang memadai, tersusun menurut waktu, dan dapat diolah kembali.
Data EOD atau End of Day menyediakan data pasar pada akhir hari perdagangan. Data ini dapat digunakan untuk menelusuri perubahan harga, memeriksa volume, menghitung indikator, menyaring saham, dan menguji aturan berdasarkan data harian.
Contohnya, kita ingin mengetahui apakah penambahan filter volume benar-benar meningkatkan kualitas sistem breakout.
Kita dapat membuat dua versi pengujian. Versi pertama menggunakan aturan breakout tanpa filter volume. Versi kedua menggunakan aturan yang sama, tetapi menambahkan persyaratan volume tertentu.
Keduanya kemudian diuji pada periode, kumpulan saham, dan asumsi biaya yang sebanding.
Setelah itu, kita membandingkan hasilnya. Apakah jumlah transaksi berkurang? Apakah keuntungan setelah biaya membaik? Apakah drawdown mengecil atau justru membesar? Apakah perubahan hasil cukup konsisten, atau hanya disebabkan oleh beberapa transaksi tertentu?
Kita tidak boleh langsung menyimpulkan bahwa filter volume pasti lebih baik. Bisa saja filter tersebut membantu pada kondisi tertentu tetapi tidak pada kondisi lain.
Justru itulah manfaat pengujian: kita dapat memeriksa sebuah gagasan tanpa harus mempercayainya terlebih dahulu.
Data historis bukan jaminan keuntungan. Data adalah bahan untuk menguji asumsi, menemukan kelemahan, dan membuat keputusan yang lebih terukur.
7. Apa yang sebaiknya dinilai dari hasil backtest?
Jangan berhenti pada total profit.
Sebuah sistem yang menghasilkan keuntungan besar tetapi mengalami penurunan modal yang sangat dalam mungkin tidak sesuai dengan kemampuan modal atau kenyamanan psikologis penggunanya.
Sebaliknya, sistem yang terlihat stabil tetapi menghasilkan keuntungan terlalu kecil setelah biaya transaksi juga belum tentu layak digunakan.
Pada tahap awal, setidaknya perhatikan jumlah transaksi, keuntungan bersih setelah biaya, win rate, rata-rata keuntungan dibandingkan rata-rata kerugian, drawdown maksimum, serta distribusi hasil transaksi. Perhatikan juga periode pengujian dan kondisi pasar yang diwakilinya.
Metrik-metrik tersebut akan kita bahas lebih terperinci pada seri-seri berikutnya. Pada Seri 16, kita akan masuk ke CAR, MDD, dan CAR/MDD untuk melihat hubungan antara pertumbuhan modal dan risiko penurunan modal.
Untuk sekarang, pegang satu prinsip: jangan menilai sistem hanya dari angka yang paling menyenangkan.
8. Dari berharap menjadi menguji
Trader yang belum memiliki proses pengujian sering kali berpindah strategi ketika mengalami kerugian. Hari ini menggunakan breakout, besok mencoba moving average crossover, kemudian beralih ke indikator lain setelah beberapa transaksi gagal.
Akibatnya, tidak ada satu sistem pun yang benar-benar diuji secara konsisten. Trader tidak pernah mengetahui apakah kerugian berasal dari kelemahan sistem, kondisi pasar, pelaksanaan aturan yang tidak disiplin, atau sekadar variasi hasil yang wajar.
Trader yang membangun sistem secara serius mengambil pendekatan berbeda. Ia merumuskan aturan, menguji aturan tersebut, mencatat hasil, mengidentifikasi kelemahan, lalu melakukan perbaikan yang dapat dipertanggungjawabkan.
Ia tetap bisa salah. Sistemnya tetap bisa mengalami drawdown. Tetapi keputusan berikutnya tidak harus didasarkan pada rasa takut atau euforia semata.
Tujuannya bukan menemukan sistem yang tidak pernah rugi. Tujuannya adalah memahami karakteristik sistem, mengetahui risiko yang mungkin dihadapi, dan menentukan apakah bukti yang tersedia cukup untuk membenarkan penggunaannya.
Itulah pergeseran dari berharap menjadi menguji.
Dan itulah salah satu langkah penting menuju trader mandiri.
Kesimpulan
Backtest membantu kita memeriksa apakah suatu strategi memiliki dasar statistik yang layak, tetapi hasil masa lalu tidak menjamin hasil masa depan. Pengujian yang berguna memerlukan aturan yang jelas, data yang sesuai, biaya transaksi yang realistis, perlakuan yang konsisten terhadap transaksi menang maupun kalah, serta kewaspadaan terhadap bias dan overfitting.
Jangan mencari angka yang membuat kita merasa yakin. Carilah bukti yang membantu kita memahami kapan sebuah sistem bekerja, kapan ia kesulitan, dan seberapa besar risiko yang harus siap ditanggung.
Trading system yang baik bukan sistem yang terlihat sempurna di masa lalu, melainkan sistem yang telah diuji dengan jujur dan risikonya dipahami sebelum digunakan.
Pada seri berikutnya, kita akan membahas metrik yang membantu menilai kinerja sistem secara lebih terstruktur: CAR, MDD, dan CAR/MDD.
Catatan edukasi: Artikel ini bertujuan untuk pendidikan dan bukan rekomendasi membeli atau menjual saham. Pengujian historis memiliki keterbatasan dan tidak menjamin hasil yang sama pada masa depan.
Hak cipta: Seluruh artikel dalam seri “Menjadi Trader Mandiri Berbasis Sistem & Data” ditulis untuk tujuan edukasi. Dilarang menyalin, memperbanyak, atau mempublikasikan ulang sebagian maupun seluruh isi tanpa izin tertulis dari penulis.
