인용 표기: 아래 인용문은 영어 원문의 번역입니다. 원문은 인용에 붙은 링크의 영문판에서 확인할 수 있습니다.
이 트랙의 여기까지 왔다면 백테스트를 돌리고 결과를 읽을 수 있습니다. 이 글은 더 어려운 질문에 대한 것입니다: 언제 그 결과를 믿기를 그만두는가?
아래 검사들은 이 사이트에서 전략을 폐기시키는 데 실제로 일한 것들입니다 — 늘 단독으로는 아니고, 검사 하나에 전략 하나도 아닙니다. 가정이 없습니다 — 각 절이 그 전략이 죽은 글로 링크하니, 이 요약을 믿지 말고 원문을 읽으십시오.
검사 1 — 엣지가 자기 비용을 견디는가
전략을 죽이는 첫 번째는 연패가 아니라 산수입니다.
MACD 크로스오버는 “50% 승률 — 정확히 동전던지기 — 그리고 비용 후 음의 엣지”를 냈습니다 (MACD는 작동하는가?). 비용 전에는 본전처럼 보였고, 비용을 반영하면 느린 손실이었습니다.
거래소 글이 이 트랙에서 앞에 온 이유가 이것입니다. 전략은 “수익이 나는데 마찰이 좀 있는 것”이 아닙니다. 마찰이 전략의 일부이고, 그것을 무시할 때만 작동하는 규칙은 작동하지 않는 규칙입니다.
어떻게 쓰나: 비용을 나중에 빼는 보정이 아니라 켠 채로 계산하십시오. 비용 0에서만 존재하는 엣지는 시장의 성질이 아니라 당신 스프레드시트의 성질입니다.
검사 2 — 설정 탓인가, 아이디어 탓인가
실패한 전략의 가장 흔한 변호는 “튜닝을 잘못했다”입니다. 그 변호는 검증 가능하고, 검증하는 것이 요점입니다.
슈퍼트렌드는 좋아하는 설정 하나가 아니라 격자 전체를 돌렸습니다: “30개 중 수익 나는 설정 0개” (슈퍼트렌드 전략은 크립토에서 작동하는가?). 한 조합도 살아남지 못했습니다.
이 결과는 어떤 단일 백테스트보다 값지고, 양방향으로 그렇습니다. 30개가 전부 실패하면 “파라미터를 잘못 썼다”는 답이 됩니다. 그리고 서른 중 하나가 성공했더라도 그것만으로는 엣지의 증거가 아닙니다 — 서른 개를 뒤져 최고를 보고하는 것은, 하나를 시험해서 그게 통한 것과 다른 주장입니다. 많이 뒤질수록 1위가 넘어야 할 기준도 올라갑니다. 그 기준이 우리 주간 랭킹에서 얼마나 높아지는지를 쟀습니다.
그 대가를 재면
숫자를 붙였습니다. 2026-08-30 까지의 1년 동안, 네 유니버스 각각의 랭킹 셀 105개를 놓고 아무 엣지도 없다면 105개 중 최고가 어디까지 올라가는지를 구한 뒤, 우리 실제 최고를 그 기준과 견줬습니다.
| 유니버스 | 관측된 최고 Sharpe | 105개 중 최고를 고르는 것만으로 서는 기준 | 넘었나 |
|---|---|---|---|
| BTC | 1.68 | 2.66 | 아니오 |
| 상위 30 | 1.64 | 2.76 | 아니오 |
| 상위 100 | 1.52 | 2.75 | 아니오 |
| 상위 50 | 1.28 | 2.82 | 아니오 |
네 유니버스 모두에서, 우리 최고 셀은 「105개를 뒤졌다」는 사실만으로 서는 기준을 넘지 못합니다.
그 기준은 품질의 척도가 아닙니다. 전부 쓸모없어도 105번 뽑으면 최댓값이 대개 그만큼은 올라간다는 뜻입니다 — 충분히 뒤지면 뭔가는 늘 좋아 보입니다. 그 105개 중 우리 최고가 그 위로 못 올라간다는 것은 1위를 그것을 만들어낸 탐색과 분리할 수 없다는 뜻입니다. 이 표의 전략들이 노이즈보다 못하다는 말이 아닙니다. 보정 없이 내건 1위 배지가 엣지의 증거는 아니라는 말입니다.
한 가지가 이걸 구체적으로 만듭니다. 2026-08-30 02:51 UTC 기준 BTC 유니버스에서 1위에 앉아 있던 셀은 — 수익 팩터 기준 정렬입니다 — 켈트너 스퀴즈 숏이었고 Sharpe 는 1.16 이었습니다. 105개 중 가장 높은 Sharpe 도 아니었습니다. 그건 1.68 이었고, 1.68 도 2.66 에 못 미칩니다. 그리고 이 글의 네 번째 검사가 죽었다고 선언한 바로 그 전략입니다. 라이브 랭킹은 폐기된 전략을 1위에 올릴 수 있고, 배지는 그 사실을 말해 주지 않습니다.
수치와 방법은 multiple-testing-correction.json 에 있고, 그 파일은 자기 한계를 숨기지 않고 적어 둡니다: 완전한 deflated-Sharpe 절차는 실행하지 않았고 — 임계 비교만으로 판정이 섰기 때문입니다 — 상관 추정은 이 네 창에만 해당하며, 거래는 서로 독립이 아닙니다.
두 가지를 기록으로 남깁니다. 상관 보정은 사실상 없는 것과 같았습니다 — 105개 후보가 독립 104.7개처럼 행동했고, 줄어든 폭이 0.3% 미만입니다. 그리고 그 상관 값은 우리가 보여드릴 수 없는 유일한 입력입니다. 공개하지 않은 산출물에서 나오기 때문에, 바깥 독자는 그 값이 기준으로 바뀌는 산수는 확인할 수 있어도 값 자체는 확인할 수 없습니다.
어떻게 쓰나: 파라미터 범위를 돌리기 전에 정하고, 전부 돌리고, 최댓값이 아니라 분포를 보고하십시오.
검사 3 — 높은 승률은 엣지가 아니다
슈퍼트렌드의 최선 설정이 57% 승률을 내면서 돈을 잃었습니다 (같은 글 — “왜 57% 승률로도 잃는가”).
승률은 얼마나 자주 맞았는지를 말합니다. 맞았을 때 얼마를 벌고 틀렸을 때 얼마를 잃는지는 아무 말도 하지 않습니다. 부검 글이 실제 설정으로 계산해 둡니다: “100번 중 57번을 +4%로 이기고 43번을 −12%로 지면, 비용 전에 이미 깊은 손실입니다 …” — 이긴 횟수가 더 많은데 잃는 전략입니다. 한 번 질 때 이길 때의 세 배를 돌려줬기 때문입니다.
어떻게 쓰나: 승률은 평균 수익·평균 손실과 나란히 읽으십시오. 혼자 읽지 마십시오.
검사 4 — 엣지가 일한 것인가, 시장이 일한 것인가
우리 판정을 실제로 뒤집은 적이 있는 검사입니다.
켈트너 스퀴즈 숏은 글이 올라갈 때 「관찰 중」 상태였습니다. 2026-06-28 에 돌린 아웃오브샘플 국면 검사가 결론을 냈고, 항목은 2026-08-15 에 폐기로 갱신됐습니다: “숏 엣지는 베어-베타다. OOS 창에서의 수익은 스퀴즈 필터가 설계대로 작동해서가 아니라 하락장에서 나왔다. 그 국면 노출을 보정하면 독립적인 엣지는 남지 않는다.” (켈트너 스퀴즈는 작동하는가? — 2026-08-15 업데이트)
하락장의 숏 전략은 진입 규칙에 의미가 있든 없든 돈을 법니다. 질문은 시장이 공짜로 준 것보다 더 벌었는가입니다.
어떻게 쓰나: 규칙에 공을 돌리기 전에, 그 창에서 방향만으로 벌었을 것을 먼저 빼십시오.
네 검사 아래의 공통점
넷 다 같은 질문을 다른 방식으로 합니다: 이 결과에 다른 설명이 있는가? 비용·파라미터 탐색·거래 비대칭·시장 방향 — 숫자가 엣지가 아니면서 엣지처럼 보이는 네 가지 길입니다.
여기 판정이 바뀌는 이유도 그것입니다. 켈트너 스퀴즈는 글이 발행될 때 “관찰 중”이었고 몇 주 뒤 “폐기”가 됐습니다. 그 글은 조용히 고쳐 쓰이지 않고 둘 다 날짜와 함께 남겼습니다. 결코 바뀔 수 없는 판정은 애초에 측정이 아니었습니다.
다음에 볼 곳
전략 라이브러리는 죽은 것을 포함해 모든 항목에 상태를 답니다. 부검이 긴 판본입니다: MACD · 슈퍼트렌드 · 켈트너 스퀴즈 · 모멘텀 롱.
그중 하나를 처음부터 끝까지 읽는 것이 연습입니다. 숫자는 우리 것이고, 창은 명시돼 있고, 결과가 나중에 바뀐 곳은 그 변화가 페이지에 남아 있습니다.