백테스트가 실패하는 이유 — 그리고 피하는 방법 백테스트를 신뢰할 수 없게 만드는 5가지 함정과 각각의 해결책.
200% 수익을 보여주는 백테스트도 방법론에 결함이 있으면 아무 의미가 없습니다. 크립토에서 백테스트가 실패하는 5가지 가장 흔한 이유와 PRUVIQ가 이를 방지하도록 설계된 방법을 알아보세요. 「백테스트는 왜 안 통하나」 — 종이 위에서는 좋아 보였던 전략이 실전에서 돈을 잃은 이유 — 를 묻고 있었다면, 답은 거의 언제나 이 다섯 중 하나입니다.
백테스트가 실패하는 5가지 이유
Look-Ahead Bias (미래 참조 편향)
전략이 거래 시점에 사용할 수 없었던 정보를 사용합니다. 예를 들어, 시장 개장 시점에 하루 전체의 고/저를 사용하여 결정을 내리는 것입니다. 이것은 가장 흔하고 — 가장 위험한 — 백테스팅 오류입니다.
PRUVIQ의 해결 방법
PRUVIQ는 엄격한 순차적 데이터 처리를 사용합니다. 각 캔들은 해당 시점까지 사용 가능한 데이터만으로 평가됩니다.
진입은 신호가 난 캔들의 다음 캔들 시가에서 체결되고, 진행 중인 미완성 캔들은 쓰지 않습니다 — 방법론 페이지가 그 규칙과 엔진 파일을 명시합니다.
Survivorship Bias (생존자 편향)
오늘날 존재하는 코인만 테스트합니다. 상장 폐지된 코인(Luna, FTT 등)이 데이터셋에서 제외되어 결과가 인위적으로 좋게 보입니다. 데이터에 생존자만 포함되어 있다면, 백테스트는 거짓말입니다.
PRUVIQ의 해결 방법
PRUVIQ는 이 편향을 숨기지 않고 명시합니다. 라이브 OKX 유니버스는 현재 상장된 USDT-SWAP 페어이며 — 모든 시뮬레이터 페이지에 공시되어 있습니다.
아카이브된 바이낸스 시절 연구(LUNA·FTT 등 상장 폐지 코인을 포함한 535개 코인)는 당시 존재했던 전체 유니버스에서 전략을 테스트했고, 신규 상장 코인은 라이브 엔진에 자동 편입되어 유니버스가 조용히 동결되지 않습니다. 데이터가 죽은 코인을 포함할 수 없는 곳에서는 그렇다고 말합니다.
Overfitting (과적합)
과거 데이터에서 백테스트가 완벽해 보일 때까지 파라미터를 조정하지만, 새로운 데이터에서는 전략이 실패합니다. 20개의 최적화된 파라미터를 가진 전략은 다음 달에 작동하지 않을 가능성이 높습니다.
PRUVIQ의 해결 방법
PRUVIQ는 동일한 전략을 여러 코인에서 실행할 수 있게 하여(280개 이상 코인 분석) 표본 외 테스트를 장려합니다. 3개 코인에서만 작동하면 과적합입니다.
또한 몬테카를로 시뮬레이션을 보여주어 결과가 무작위성에 얼마나 민감한지 드러냅니다.
수수료와 슬리피지 무시
거래 수수료, 펀딩비, 슬리피지 없이 돌린 백테스트는 존재하지 않았던 수익률을 보고합니다. 수수료 전 15% 수익을 보여주는 전략이 실제로는 손실일 수 있습니다. 레버리지 선물에서 펀딩만의 평균은 측정 창에 따라 연율 3.07%에서 11.63% 사이를 오갑니다 (BTC 정산 7,591회, 2019-09~2026-08 — 창별 수치와 출처는 「백테스트가 펀딩비를 틀리는 세 가지 방식」 글이 소유합니다).
PRUVIQ의 해결 방법
모든 PRUVIQ 시뮬레이션에는 메이커/테이커 수수료, 펀딩비, 현실적인 슬리피지 모델링이 포함됩니다. 보이는 것이 실제로 얻는 것입니다 — 예상치 못한 비용 없이.
시장 레짐 변화
상승장에서 큰 수익을 낸 전략이 횡보장이나 하락장에서는 손실을 낼 수 있습니다. 시장은 레짐이 변하며, 적응하지 못하는 전략은 실패합니다. 유리한 기간만 테스트하면 이 위험이 숨겨집니다.
PRUVIQ의 해결 방법
PRUVIQ의 과거 데이터는 최장 2.9년으로 여러 시장 사이클(상승, 하락, 횡보)을 포괄합니다. 또한 여러 전략 조합을 테스트했으며 — 대부분 하나의 레짐에서만 작동하고 다른 레짐에서 실패했고, 그 실패를 전부 공개합니다.
우리의 증거: 테스트한 파라미터 변형은 대부분 실패했습니다
테스트 기준을 통과하지 못한 모든 전략을 공개적으로 공시합니다. Look-ahead bias, 과적합, 부실한 위험 조정 수익률: 전략이 엄격한 테스트를 통과하지 못하면 제거하고 이유를 설명합니다.
이것은 마케팅이 아니라 방법론입니다. 실패한 조합들은 살아남은 전략만큼이나 중요합니다.효과가 없는 것을 보여줌으로써, 효과가 있는 것에 집중할 수 있게 합니다.
전략 라이브러리 둘러보기 →더 알아보기
이 사이트의 관련 글, 읽는 순서대로:
- 크립토 전략 백테스트 하는 법 — 다섯 가지 규칙, 코드 포함
- 백테스트가 거짓말하는 방식 — 좋아 보이는 결과가 틀리는 경로
- 백테스트만으로 부족한 이유 — 백테스트가 말해 주지 못하는 것
- 백테스트→실전 체크리스트 — 1달러를 걸기 전에
전략을 테스트하세요
추측하지 마세요. 실제 데이터, 실제 수수료, 실제 시장 조건으로 테스트하세요.
모든 프리셋은 설정값을 전부 공개합니다 — 직접 같은 숫자를 재현해 보세요 →
투자 조언이 아닙니다. 암호화폐 트레이딩은 상당한 손실 위험을 수반합니다. 과거 성과는 미래 결과를 보장하지 않습니다. PRUVIQ는 교육 및 연구 프로젝트입니다.