LLM이 특징을 만들고 코드를 고치면 연구속도는 빨라지지만 반복 백테스트가 과최적화를 가릴 수 있다. Quant-Arena는 A주 3,042종목의 일별 자료와 Level-Two 주문·체결·호가를 주고, 모형이 특징과 종목점수 함수를 직접 작성하게 했다. 연구기간은 2022–2023년이며 다음 해 자료는 에이전트에게 보이지 않는다.
각 실행은 후보전략을 최대 다섯 개만 평가하고 마지막 코드·환경·특징목록을 동결한다. 공통 현금계정 evaluator가 거래단위와 주문의존 비용·시장충격을 적용해 봉인된 다음 해에 한 번 실행한다. 이 제한은 더 많은 시도가 우연히 좋은 과거 패턴을 고르는 selection bias를 줄이고, 예측신호와 실제 포트폴리오 성과를 같은 규칙으로 연결한다.
반복연구는 평가한 모든 모형의 종합점수를 높였지만 봉인기간 수익률이 좋아진 모형은 일부뿐이었다. 어느 모형도 2024년 동일가중 시장을 이기지 못했고, 상위로 고른 종목이 중간순위보다 낮은 수익을 내는 경우가 많았다. 국내 채권 에이전트도 후보예산을 고정하고 듀레이션·등급·현금·시장충격을 공통 evaluator에서 강제한 뒤 미공개 기간에 단 한 번 판정해야 한다.
SCOPE중국 A주 long-only 종목선정과 모의 체결의 공개 benchmark다. 채권 상대가치·파생헤지나 실거래 성과를 직접 검증하지 않으며, proprietary Kepler-1의 내부 구현은 공개되지 않았다.
Evidence & verification ↓Sources & evidence
Original passages appear only when checked against the publication. Earlier briefing records are identified separately.
Quant-Arena: Benchmarking LLM Agents for Quantitative Trading Research4 primary · 0 archived +
benchmark의 주식 유니버스는 3,042종목이다.
ORIGINAL PASSAGESelected universe of 3,042 stocksarXiv 2610.30113v1, Table 1, 21 October 2026, accessed 2026-10-26각 실행은 연구기간 후보전략을 최대 5개까지 평가할 수 있다.
ORIGINAL PASSAGEEach run may evaluate at most five candidatesarXiv 2610.30113v1, Section 2.3, 21 October 2026, accessed 2026-10-26평가한 9개 모형 중 2024년 동일가중 시장을 이긴 모형은 없었다.
ORIGINAL PASSAGEno model beats the equal-weight market in 2024arXiv 2610.30113v1, Contributions and Conclusion, 21 October 2026, accessed 2026-10-26연구기간은 2022–2023년이었다.
ORIGINAL PASSAGEResearch period 2022–2023arXiv 2610.30113v1, Table 1, 21 October 2026, accessed 2026-10-26Show the original briefing text
구분: 최신 연구·LLM 퀀트 연구 자동화와 봉인 표본외 평가
발표일: 2026년 10월 21일
핵심 요약
논문 원문은 중국 A주 3,042종목의 일별·Level-2 주문·체결 자료로 9개 LLM이 특징과 종목점수 코드를 만들고, 2022~2023년에는 후보를 최대 5개까지만 시험한 뒤 2024년 전략을 동결해 평가한다. 반복연구는 9개 모형 모두 총점을 높였지만 봉인기간 수익률을 높인 것은 4개뿐이었고, 어떤 모형도 2024년 동일가중 시장을 이기지 못했다. 예측상관이 있어도 상위 종목의 실제 포트폴리오 수익으로 이어지지 않았다는 결과다.
실무 시사점
LLM 에이전트의 코드 실행성이나 연구기간 IC만으로 research automation을 평가하면 selection bias를 놓친다. 후보 수를 제한하고 최종 코드·환경·특징목록을 동결한 뒤 미공개 기간에 한 번만 돌려야 한다. 채권에서는 종목선정뿐 아니라 현금잔고, 호가단위, 시장충격, DV01·등급한도를 공통 evaluator가 강제해야 모델 간 성과를 비교할 수 있다.
한국 시장 복제 아이디어
국고채·크레딧 상대가치 에이전트에 정규화된 호가·체결·발행·등급이력만 제공하고 연구기간 후보평가를 5회로 제한한다. 다음 연도의 봉인자료에서 비용차감 excess return, IC, turnover, 최대낙폭, DV01 위반, 현금대기 비율을 측정하고 사람 연구자와 같은 예산으로 비교한다.