스크린샷 뒤에 있는 질문
AI 매매 에이전트가 백테스트를 올립니다. 대규모 언어 모델(LLM)이 뉴스와 차트를 읽고 매매를 정했고, 수익 곡선은 올라갔습니다. 코딩 도우미로 직접 만든 에이전트일 수도 있고, 다른 에이전트가 이걸 추천하거나 대신 실행하려는 참일 수도 있습니다.
물어야 할 것은 «이 AI가 똑똑한가»가 아닙니다. 더 좁고, 답하기 쉬운 질문입니다. 다른 사람이 같은 절차를 돌려도 같은 결과가 나오는가, 그리고 보여 준 기간 밖에서도 유지되는가. 이것이 재검증입니다. 이 글은 2025~2026년에 연구자들이 공개된 AI 매매 에이전트에게 이 질문을 했을 때 무슨 일이 있었는지 보여 주고, 직접 묻는 단계를 정리합니다.
짧은 답: AI 에이전트의 백테스트를 재검증하는 법
- 규칙을 규칙으로 꺼냅니다. 진입, 청산, 포지션 크기, 수수료, 코인, 타임프레임, 날짜. 에이전트가 결정을 규칙으로 적지 못하면 백테스트는 다시 돌릴 수 없고, 실전 기록으로만 판단할 수 있습니다.
- 먼저 재현합니다. 같은 규칙, 같은 기간, 같은 비용으로 돌립니다. 공개된 수치가 다시 나오지 않으면 거기서 멈춥니다.
- 기간을 옮깁니다. 더 긴 기간, 그리고 앞뒤의 다른 기간으로 다시 돌립니다. 한 구간의 날짜에서만 나오는 결과는 그 날짜의 것입니다.
- 모델이 볼 수 없었던 데이터를 씁니다. 어떤 날짜까지의 글로 학습한 LLM은 그 전의 시장 흐름을 이미 «알고» 있을 수 있습니다. 모델의 학습 마감일 이후로 시험합니다.
- 시도 횟수를 셉니다. 보여 준 것 전에 프롬프트, 모델, 설정을 몇 개나 시도했는지 묻습니다. 쉰 번 중 가장 좋은 한 번은 시험 한 번이 아닙니다.
- 체결에 값을 매깁니다. LLM 에이전트는 결정에 몇 분이 걸리기도 합니다. 종가에서 완벽하게 체결된다고 두지 말고, 현실적인 수수료, 슬리피지, 펀딩비, 체결 시점을 씁니다.
- 그다음 앞으로 갑니다. 규칙을 고정한 뒤 모의 매매나 데모 매매를 하고, 같은 날짜의 백테스트와 비교합니다.
아래에서 각 단계가 왜 있는지, 바깥 연구가 잰 결과로 설명합니다.
연구자들이 AI 매매 에이전트를 다시 돌렸을 때
아래는 다른 사람들의 연구입니다. 연구마다 시장, 기간, 방법이 다르고, 저자가 보고한 그대로 적습니다. 대부분은 크립토가 아니라 미국 주식에서 돌린 것이고, 매번 표시합니다.
두 달을 늘리자 부호가 바뀌었다 (주식)
FINSABER(arXiv:2505.07078, 6판, 2026-06-26, ACM SIGKDD 학회 논문집 게재)는 LLM 투자 전략을 다시 시험하려고 만든 백테스트 프레임워크입니다. 부록 D에서 저자들은 LLM 에이전트 FinMem에 대해 2022-10-06부터 2023-04-10까지의 기간으로 처음 보고된 수치와, 두 달 더 긴 2022-10-05부터 2023-06-10까지의 기간의 같은 에이전트 수치를 나란히 놓았습니다(긴 기간의 LLM 수치는 이후 논문인 Yu et al. 2024에서 가져온 것입니다).
- MSFT: 누적수익률 보고값 23.261% → 긴 기간 −22.036%, 샤프 지수 1.440 → −1.247.
- NFLX: 샤프 지수 2.017 → −0.478.
같은 논문은 20년, 100개 이상 종목에서 타이밍 전략을 돌려 시장 국면별로 나눴습니다. 보고된 샤프 지수는 FinAgent 상승장 0.12, 하락장 −0.38, FinMem −0.19와 −0.97, 매수 후 보유는 상승장 0.61, 횡보장 0.48, 하락장 −0.28입니다. 저자의 요약은, 넓은 종목군과 긴 기간에서 기존에 보고된 LLM의 우위가 «크게 약화»된다는 것입니다.
이 결과가 보여 주는 것은 짧은 기간 하나가 결과를 떠받칠 수 있다는 점입니다. LLM 에이전트는 매매를 못 한다는 뜻이 아닙니다. 짧은 기간의 수치만으로는 어느 쪽인지 알 수 없다는 뜻입니다.
크립토 거래소에서 백테스트, 모의 매매, 실제 돈
«Can AI Make Money in Crypto? Measuring the Gap from Backtests to Real Markets»(arXiv:2609.34510, 1판, 2026-09-28)는 아직 동료 심사를 거치지 않은 프리프린트입니다. 크립토이고, OKX에서 돌렸습니다. 시가총액 상위 코인 10개, 거래소와 같은 테이커 수수료를 백테스트에도 적용했고, 머신러닝, 강화학습, LLM, 에이전트 방법을 세 단계로 평가했습니다.
- 백테스트: 2021~2023년으로 학습하고 2024년으로 고른 뒤 2025년 데이터로 시험.
- 모의 매매: 거래소에서 2026-06-04~2026-09-21. 같은 날짜에서 같은 방법의 백테스트와 모의 매매 결과 사이에 큰 차이가 양방향으로 있었다고 저자는 보고합니다. 14개 방법 중 10개는 백테스트보다 모의 매매 성적이 더 좋았습니다. 일부 방법은 결론의 부호가 바뀌었습니다. 예를 들어 백테스트 수익률은 음수였는데 모의 매매에서는 양수였습니다. 계열별로도 갈렸습니다. 머신러닝 방법 8개는 2025년 백테스트에서 모두 수익이었는데 모의 매매에서는 2개만 수익을 유지했고, 강화학습·LLM·에이전트 방법 6개는 백테스트에서 하나도 수익이 아니었는데 모의 매매에서는 6개 모두 수익이었습니다.
- 실제 돈 매매: 2026-08-24~2026-09-21, 4개 방법. 머신러닝 모델 3개(LSTM, TRA, XGBoost)와 LLM 1개(Qwen)입니다. 저자는 4개 중 1개인 Qwen이 수익으로 끝났고, 그 기간 비트코인 보유를 넘은 방법은 없었으며, 4개 모두 알파가 음수였다고 보고합니다.
숫자 자체에서 나오는 주의 두 가지: 실매매 단계는 4주, 4개 방법이고 그중 LLM은 하나뿐이라 표본이 작습니다. 모의 매매의 차이는 양방향으로 났습니다(14개 중 10개가 백테스트보다 모의 매매에서 높음). 교훈은 «백테스트가 너무 낙관적이다»가 아닙니다. 백테스트가 모의 매매나 실매매 결과를 대신할 만큼 예측하지 못했다는 것입니다.
같은 논문은 모의 매매에서 결정부터 체결까지 걸린 시간도 쟀습니다. 보고값으로 XGBoost 모델은 약 14.6초, FinAgent는 약 501초, FinMem은 약 545초였습니다. LLM 에이전트를 결정한 봉의 가격에 체결시키는 백테스트는 그 몇 분을 없는 것으로 칩니다. 저자는 스스로 단서도 답니다. 방법들 사이에서 체결 차이가 큰 쪽이 백테스트와 모의 매매의 차이도 큰 것은 아니었고, 그래서 지연만으로는 차이를 설명할 수 없다는 것입니다.
미래를 본 전략도 통계를 통과할 수 있다 (주식·ETF)
«What survives honest evaluation?»(arXiv:2608.27734, 2026-08-27, 프리프린트)는 LLM이 매매 전략을 찾고, 모든 시도가 기록되는 시스템을 만들었습니다. 거래·충격·대차 비용을 넣은 미국 주식 453종목과 ETF 39개 자산군에서 저자가 보고한 결과 두 가지입니다.
- 일부러 미래 정보가 새도록 만든 전략이 샤프 지수 35를 냈고, 그래도 수축 샤프 지수(Deflated Sharpe Ratio)와 백테스트 과적합 확률 검정을 통과했습니다. 통계 보정은 이 누수를 잡지 못했습니다. 저자들은 데이터 구성 단계에서 막아야 한다고 봅니다.
- 탐색이 시도한 전략 수만큼 성과를 할인하자, LLM이 찾은 전략 중 저자가 표본외 우위를 인증할 수 있는 것은 없었습니다. 최신 모델 두 개, 후보 최대 100개, 반복 5회에서 그랬습니다. 수동적 기준(벤치마크)은 인증됐습니다.
모델이 과거를 기억할 수 있다 (주식)
2024년에 학습한 LLM은 2020년에 대한 글을 이미 읽었을 수 있습니다. «Summoning the Oracle to Slay It»(arXiv:2605.24564, 2판, 2026-08-29, EMNLP 2026 본회의 논문으로 표기)은 이것을 매개변수 미래 참조 편향(parametric look-ahead bias)이라 부릅니다. 7B~14B 모델 5개, 초대형주 5개에서 모델이 외운 결과를 덜 쓰게 하자 표본내 수익률이 최대 −67.1% 바뀌었습니다(저자가 보고한 모델별 평균 중 가장 큰 값). 학습한 연도 위에서 LLM을 돌린 백테스트는 기억을 재고 있을 수 있습니다.
체결 규칙이 에이전트 순위를 바꿀 수 있다 (합성 데이터)
«How Execution Assumptions Change Short-Horizon Sharpe Rankings»(arXiv:2610.05077, 2026-10-04, 프리프린트)는 LLM 정책 5개와 고전적 기준 7개를 같은 합성 가격 경로에서 6가지 체결 설정으로 매매시켰습니다. 자산 2개짜리 보드의 고변동 국면에서 거의 이상적인 체결의 순위와 기본 스트레스 체결의 순위는 약하게만 일치했습니다(켄달 τ_b 0.21, 평온한 국면은 0.82, 구간은 넓고 서로 겹침. 자산이 10개일 때는 일치도가 더 높았음). 저자의 요점은, 짧은 기간에서는 체결 관례가 헤드라인의 일부가 될 수 있다는 것입니다.
일반 체크리스트가 놓칠 수 있는 AI 에이전트 백테스트의 네 가지 문제
어떤 전략에나 쓰는 일곱 가지 질문 같은 일반 백테스트 체크리스트는 그대로 적용됩니다. LLM 에이전트는 여기에 네 가지 문제를 더합니다.
1. 기억된 역사. 모델의 학습 마감일 이전 기간에서 시험하면 추론이 아니라 기억에 점수를 줄 수 있습니다. 모델 이름, 학습 마감일, 시험 기간을 물으세요. 마감일 이후 데이터의 결과를 우선합니다.
2. 에이전트가 짠 코드. AI 도우미가 백테스트를 짰다면 인덱스를 직접 확인하세요. 2026-02-05 Quantitative Finance Stack Exchange 질문에서 한 개발자는 직전 봉에서 끝나는 이동 구간으로 신호를 만들라고 코딩 도우미에게 시켰는데, 코드는 문제없이 돌았고 현재 봉을 몰래 포함하고 있었다고 적었습니다. 미래 참조 편향입니다. 그의 말처럼, 백테스트 결과만 보고는 알 수 없는 경우가 많습니다.
3. 기록되지 않은 시도. 에이전트는 몇 분 만에 프롬프트, 모델, 설정을 여러 개 시도할 수 있습니다. 가장 좋은 실행만 공개되면 결과에는 선택 효과가 섞입니다. 위의 전략 탐색 연구에서는 시도가 늘수록 결과가 넘어야 할 기준이 표본내 최고 샤프 지수보다 빠르게 올라갔습니다. 버린 실행까지 포함한 전체 횟수를 물으세요.
4. 결정 시간과 체결. 모델 응답을 몇 분씩 기다리는 에이전트는 자기가 읽은 봉에서 매매하지 못합니다. 주문이 언제, 어떤 가격에, 어떤 수수료와 슬리피지로 체결됐는지, 무기한 선물이라면 펀딩비를 얼마나 냈는지 물으세요.
같은 절차로 재검증하는 법
«같은 절차»는 누구든 단계를 반복해 비교할 수 있다는 뜻입니다. 실제로는 이렇게 합니다.
- 아무것도 돌리기 전에 입력을 적어 둡니다. 규칙, 코인, 타임프레임, 시작일과 종료일, 편도 수수료, 슬리피지 모델, 펀딩비. 날짜와 함께 저장합니다. 텍스트 파일 하나라도 이것이 사전등록입니다.
- 주장된 기간을 재현합니다. 같은 입력, 같은 기간. 차이가 있으면 원인을 적은 뒤에 넘어갑니다.
- 기간을 늘리고 옮깁니다. 앞뒤로 몇 달을 더하고, 서로 다른 기간을 따로 돌립니다. 나빠 보이는 결과까지 전부 남깁니다.
- 전략이 LLM의 판단에 기대면 모델 학습 마감일 이후로 돌립니다.
- 비용을 하나씩 바꿉니다. 슬리피지를 올리고, 체결을 한 봉 늦추고, 펀딩비를 넣습니다. 결과가 어느 가정에 기대는지 봅니다.
- 고정하고 앞으로 갑니다. 고정한 규칙으로 모의 매매나 데모 매매를 하고, 같은 날짜의 백테스트와 비교합니다.
출처가 기계가 읽을 수 있는 입력, 날짜, 버전을 주면 AI 에이전트도 이 전부를 프로그램으로 할 수 있습니다. 주지 않으면 에이전트는 결과를 옮기지 말고 재검증되지 않음이라고 보고해야 합니다.
PRUVIQ에서 하는 법, 그리고 할 수 없는 것
PRUVIQ는 이 절차 중 규칙 기반 부분을 돌릴 수 있는 곳 중 하나입니다. 유일한 곳은 아닙니다. 직접 관리하는 오픈소스 백테스터로도 됩니다.
- 어떤 기간에서든 규칙을 다시 돌립니다. 에이전트의 진입·청산 규칙을 전략 빌더에 넣고, 코인, 타임프레임, 시작일과 종료일을 골라 돌립니다. 모든 실행에 매매 수수료, 시가총액 순위로 나눈 슬리피지 모델(작은 코인일수록 비쌈. 등급은 오늘 순위를 써서, 방법론 페이지에 알려진 한계로 적혀 있음), 그리고 펀딩비 이력이 있는 모든 코인의 펀딩비가 적용됩니다. 그다음 날짜를 옮겨 다시 돌립니다.
- 에이전트가 돌리게 합니다. 같은 시뮬레이터를 공개 API로 쓸 수 있어서, 에이전트가 같은 규칙을 여러 기간에 넣고 결과를 스스로 비교할 수 있습니다.
- 저희 기록을 다시 확인합니다. 전략 레코드, 기준 버전과 고정된 엔진·데이터가 적힌 검증 기록, 재검증 스크립트는 AI 에이전트·개발자용 페이지에 있습니다. 수치마다 어떻게 만드는지, 저희가 아는 편향은 방법론 페이지에 있습니다.
- 데이터가 생기기 전에 규칙을 고정합니다. 저희 실전 검증은 SHA-256 해시와 OpenTimestamps 증명으로 사전등록하며, 확인 단계는 /ko/verify/forward/에 있습니다.
할 수 없는 것:
- 다시 돌리는 것은 규칙이지, LLM의 봉마다의 추론이 아닙니다. 에이전트가 읽은 뉴스도 재생하지 않습니다. 결정을 규칙으로 적을 수 없는 에이전트는 실전 기록으로 판단해야 합니다.
- OKX USDT 무기한 선물만 다룹니다. 주식, 현물, 다른 거래소에 대해서는 아무것도 말하지 않습니다.
- 코인 범위는 오늘 OKX에 상장된 페어라서, 중간에 상장 폐지된 코인이 빠져 있습니다(생존 편향).
- 여기서 돌린 백테스트도 백테스트입니다. 위의 크립토 연구가 보여 주듯, 모의 매매와 실매매 결과는 백테스트와 어느 방향으로든 다를 수 있습니다.
깨끗한 재실행이 증명하지 않는 것
여러 기간에서, 모델 학습 마감일 이후에, 정직한 비용과 셈한 시도 횟수로 결과가 유지되는 전략도 다음 달에는 손실을 낼 수 있습니다. 시장 국면은 바뀝니다. 재실행으로 얻는 것은, 그 결과가 기간 하나, 기억, 코딩 실수, 운 좋은 시도, 완벽한 체결에서 나온 것이 아니라는 점입니다. 작은 규모로 모의 매매를 할 이유이지, 건너뛸 이유가 아닙니다.
자주 묻는 질문
AI 매매 봇의 백테스트가 진짜인지 어떻게 아나요? 규칙, 입력, 날짜를 받아 같은 기간에서 직접 재현해 보세요. 재현이 안 되면 주장입니다. 재현되면 기간을 늘리고, 모델의 학습 마감일 이후로 시험하고, 이번 실행 전에 몇 번을 시도했는지 물으세요.
LLM 매매 에이전트는 크립토에서 통하나요? 지금까지의 근거는 얇고 엇갈립니다. 위의 2026-09-28 크립토 프리프린트에서 백테스트는 모의 매매나 실매매 결과를 안정적으로 예측하지 못했습니다. 모의 매매에서는 LLM·에이전트·강화학습 방법 6개가 모두 수익으로 끝났습니다. 4주간의 실제 돈 단계에서는 4개 방법 중 유일한 LLM(Qwen)만 수익으로 끝났고, 비트코인 보유를 넘은 방법은 없었습니다. 4주 동안의 LLM 하나는 어느 쪽으로도 결론을 내기에는 작은 표본입니다.
LLM 백테스트의 미래 참조 편향이란 무엇인가요? 결정 시점에 없던 정보를 쓰는 것입니다. LLM에서는 두 가지 형태가 있습니다. 백테스트 코드의 일반적인 데이터 누수, 그리고 학습 데이터에 있던 사건에 대한 모델 자체의 기억입니다. 두 번째는 모델 학습 마감일 이후의 시험 데이터가 필요합니다.
제 AI 에이전트가 전략을 추천하기 전에 재검증하게 할 수 있나요? 네. 출처가 기계가 읽을 수 있는 입력, 기준 날짜, 버전, 그리고 다시 돌릴 방법을 공개한다면 가능합니다. 에이전트는 그것을 받아 재실행하거나 재현하고, 비교하고, 할 수 없을 때는 «재검증되지 않음»이라고 말해야 합니다. 요구할 항목은 검증 체크리스트에 있습니다.
출처(공개된 그대로): FINSABER, arXiv:2505.07078 6판(2026-06-26) 부록 D와 국면 분석; arXiv:2609.34510 1판(2026-09-28); arXiv:2608.27734 1판(2026-08-27); arXiv:2605.24564 2판(2026-08-29); arXiv:2610.05077 1판(2026-10-04); Quantitative Finance Stack Exchange 질문 85456(2026-02-05). 게재 상태는 2026-10-26 arXiv 표기 기준. 이 글에서 가장 오래된 수치는 FINSABER의 FinMem 기간 수치로, 2023년에 끝나며 6개월보다 오래된 자료입니다.