가설을 많이 만드는 agent는 왜 위험할까. 같은 과거를 반복해서 보고 가장 좋은 backtest만 남기면 모델은 연구자가 아니라 다중검정 기계가 된다. 이 시스템은 agent가 실행 code를 쓰지 못하게 하고 사전 승인된 관측과 거래구조를 조합한 JSON만 받는다. discovery·validation·holdout 저장소와 cost·gate·trial budget은 첫 결과 전에 hash로 동결한다.
후보는 비용차감 양의 edge와 P&L, 이천 회 주간 cluster bootstrap의 양의 하한, 높은 비용에서도 양의 P&L, 연도별 안정성과 표본수 하한을 모두 만족해야 한다. 쉰 회 예산은 중복·근접중복을 미리 거부해 쉰 개의 다른 아이디어에만 쓴다. 평범한 worker는 holdout을 열 수 없고, 돌이킬 수 없는 receipt가 기록된 뒤 딱 한 번만 접근한다.
검증규율의 가치는 성공보다 실패에서 드러났다. QQQ 당일만기 후보는 discovery와 validation에서 Sharpe 2.94였지만 holdout에서 0.26으로 떨어졌다. 보고서는 모든 campaign을 싣지만 프로젝트는 독립 연구자의 공개 구현이고 자산별 창과 schema가 다르다. 따라서 수치를 채권 alpha의 일반적 성공률로 옮기기보다 권한분리·lineage·실패기록의 설계로 받아들여야 한다.
SCOPE독립 연구자의 open-source 연구 loop와 이질적인 campaign 보고다. 일부 campaign은 이전 schema를 사용했고, 옵션·ETF·예측시장 결과를 한국 채권시장 성과로 일반화할 수 없다.
Evidence & verification ↓Sources & evidence
Original passages appear only when checked against the publication. Earlier briefing records are identified separately.
Hard to Fool: A Bounded LLM Research Loop for Quantitative Finance, and What Two Dozen Campaigns Found5 primary · 0 archived +
agent는 code가 아니라 제한된 선언형 JSON을 제안한다.
ORIGINAL PASSAGEthe model emits data, not codearXiv:2611.06607v1, section 2.1, accessed 2026-11-11acceptance는 단일 점수가 아닌 절대 gate들의 결합이다.
ORIGINAL PASSAGEGates, not scoresarXiv:2611.06607v1, section 2.3, accessed 2026-11-11QQQ 0DTE 후보의 Sharpe가 validation 2.94에서 holdout 0.26으로 낮아졌다.
ORIGINAL PASSAGESharpe 2.94 to 0.26arXiv:2611.06607v1, Table 1 and section 3.1, accessed 2026-11-11저자는 모든 campaign을 보고했다고 명시한다.
ORIGINAL PASSAGEWe report all of themarXiv:2611.06607v1, section 3, accessed 2026-11-11기준 예산은 50개의 서로 다른 아이디어를 평가한다.
ORIGINAL PASSAGEA 50-trial budgetarXiv:2611.06607v1, section 2.2 Admission, accessed 2026-11-11Show the original briefing text
구분: 최신 연구·LLM 퀀트연구 agent와 과적합 통제
발표일: 2026년 11월 4일
핵심 요약
arXiv 원문은 LLM이 코드 대신 제한된 JSON 가설만 제안하고 결정은 신뢰된 평가기가 내리는 공개 연구 loop를 제시한다. discovery·validation·한 번만 열 수 있는 holdout을 시간순으로 고정하고, 비용차감 양의 edge·주간 cluster bootstrap 하한·고비용 생존·연도별 안정성·표본수 하한을 모두 통과해야 한다. 보고된 전체 campaign에서 대부분 가설이 탈락했고, discovery와 validation에서 Sharpe 2.94였던 QQQ 0DTE 후보도 단일 holdout에서 0.26으로 무너졌다.
실무 시사점
agent가 밤새 수백 가설을 만들면 아이디어 생산보다 다중검정과 정보누출 차단이 병목이 된다. 이 설계는 중복가설을 trial 전에 거부하고 50회 예산을 50개의 서로 다른 아이디어에만 쓰며, holdout 열람 전에 돌이킬 수 없는 receipt를 남긴다. 다만 독립 연구자의 공개 프로젝트이고 여러 campaign이 서로 다른 스키마와 자산을 사용했으므로 보고된 실패율을 일반적인 채권 alpha 발견률로 해석할 수 없다.
한국 시장 복제 아이디어
국고채 curve·입찰·현선물 basis 가설을 제한된 연산 vocabulary로 선언하고, dataset·cost·gate·trial budget을 첫 결과 전에 hash로 동결한다. discovery 2018~2022, validation 2023~2024, holdout 2025 이후처럼 시점을 나누고 비용차감 P&L, 주간 bootstrap 하한, 연도별 안정성, 최소 거래수와 DV01 stress를 모두 통과할 때만 사람이 검토한다.