백테스팅만으로는 충분하지 않은 이유

백테스트와 현실의 격차

백테스트에서 +800% 수익을 보인 전략이 실거래에서 30%를 잃는 것은 놀랍지 않습니다. 백테스트가 결함 있는 토대 위에 만들어졌을 때 예상되는 결과입니다. 이 격차를 만드는 세 가지 구조적 문제가 있습니다 — 그리고 올바른 프로세스로 모두 해결할 수 있습니다.

선행 편향은 크립토 백테스트에서 가장 흔하고 가장 위험한 결함입니다. 백테스트가 거래 시점에 실제로 사용할 수 없는 정보를 사용할 때 발생합니다.

함정: 백테스트가 현재 캔들의 종가로 결정을 내림
현실: 오전 10:01에 10:00 캔들은 아직 형성 중

현재 캔들에는 아직 종가가 없습니다. 신호 로직에 이를 사용하면 백테스트가 “미래를 보는” 것 — 캔들이 닫히기 전에 어떻게 닫힐지 알고 있습니다. 이것만으로도 손실 전략을 수익 전략으로 바꿀 수 있습니다.

구체적인 예시: 현재_캔들.종가 < 시가일 때 트리거되는 SHORT 진입. 백테스트에서는 깔끔하게 보입니다. 실거래에서 10:01에는 종가가 없습니다 — 실시간으로 움직이는 가격만 있을 뿐입니다. 이 로직은 재현될 수 없습니다.

해결책: 신호 로직은 반드시 이전 완성 캔들만 사용해야 합니다. 현재 캔들은 진입가에만 유효합니다.

과적합은 과거 데이터에서 완벽하게 보일 때까지 파라미터를 조정한 다음 — 한 번도 본 적 없는 데이터에서 실패한다는 것을 발견할 때 발생합니다.

40가지 파라미터 조합 테스트 → 최고 선택 → "PF 3.8, 승률 72%!"
이것은 전략이 아닙니다. 과거의 암기입니다.

백테스트 기간에는 유한한 시장 조건이 있습니다. 2024년 6개월 데이터로 최적화된 전략은 그 기간에 특정한 패턴을 학습했습니다 — 무작위 노이즈인 패턴도 포함해서. 시장 조건이 변하면 실패할 것입니다.

과적합 징후:

선행 편향 없이 올바르게 코딩된 백테스트도 거래 비용을 무시하면 성과를 과대평가할 수 있습니다:

백테스트에서 PF 1.6인 전략이 비용 후 PF 1.0–1.1이 될 수 있습니다 — 겨우 유효한 수준. 이 비용들은 수백 건의 거래에서 복리로 누적됩니다.

아웃오브샘플(OOS) 테스트는 전략 검증의 황금 표준입니다. 프로세스:

1. 데이터 분할: 처음 70% = 훈련 세트, 마지막 30% = 테스트 세트
2. 훈련 세트에서만 전략 개발 및 최적화
3. 최종 전략(이후 변경 없음)을 테스트 세트에 실행
4. 성과가 유지되면 → 실제 엣지의 증거
5. 성과가 무너지면 → 과적합 확인

OOS 기간은 전략이 완성될 때까지 건드리지 않아야 합니다. 조정을 위해 들여다보면 목적이 무너집니다.

더 강력한 버전: 워크포워드 테스트 — 롤링 윈도우에서 반복적으로 재훈련하고 다음 보이지 않는 기간에 테스트합니다. 이는 실거래에서 실제로 일어나는 것을 모방합니다.

PRUVIQ의 시뮬레이터는 이 세 가지 문제를 중심으로 구축되었습니다:

선행 편향에 대해: 모든 전략 신호는 이전 완성 캔들에서 평가됩니다. 현재 캔들의 종가, 거래량 비율, 방향 필드는 신호 로직에서 차단됩니다. 현재 캔들 오픈만이 진입가에 사용됩니다.

과적합에 대해: 전략 랭킹은 동시에 500개 이상의 코인과 여러 시장 기간에 걸쳐 실행됩니다. 하나의 코인이나 하나의 기간에서만 작동하는 전략은 낮게 랭킹됩니다 — 테스트 유니버스의 다양성이 자연스럽게 과적합 전략을 걸러냅니다.

체결 비용에 대해: 모든 백테스트는 기본적으로 각 방향 0.08% 수수료와 체결당 0.1% 슬리피지를 포함합니다. 비용 전에만 좋아 보이는 전략은 명확하게 표시됩니다. 랭킹의 PF는 비용 후 성과를 반영합니다.

백테스팅은 필요하지만 충분하지 않습니다. 선행 편향 방지, 과적합 제어, 실제 체결 비용 없는 백테스트는 연구보다 금융 소설에 가깝습니다. 신뢰의 기준은 현실적인 비용을 적용하여 보이지 않는 데이터에서 살아남는 전략입니다.

교육 목적의 콘텐츠입니다. 투자 조언이 아닙니다.