가격의 기대값을 한 번 계산하는 일과 거래 후 새 정보를 받아 판단을 수정하는 일은 다르다. Optiver는 언어모형에 이론문제와 실제 교육에 쓰는 시장조성 시뮬레이션을 제공했다. 공정가치의 계산과 시장조성자의 역할, 더 많은 정보를 가진 상대가 불리한 호가를 골라 거래하는 역선택을 이해하는지 시험한다.
회사는 일부 기초영역에서 인턴과 경쟁할 만한 성능을 평가했지만 연속 의사결정에는 실패를 보고했다. 모형은 새 정보를 일관되게 반영하지 못하고 과거 거래와 통합해 가치를 다시 계산하는 데 흔들렸다. 여러 단계의 미래 추론도 약했다.
기대값 개념을 알아도 모의거래에서 지나치게 보수적으로 행동했다. 설명시험과 행동시험의 결과가 다르다는 사례다. 회사 훈련환경의 관측이며 모든 언어모형·시장에 같은 실패율을 적용할 수 없다. 국내 연구 에이전트도 변화하는 정보에 따른 판단 갱신을 별도 시험해야 한다.
SCOPE회사 모의시험이다. 실제 채권거래 능력과 시장별 수익을 검증하지 않는다.
Evidence & verification ↓Sources & evidence
Original passages appear only when checked against the publication. Earlier briefing records are identified separately.
가치를 계산해도 거래를 갱신하지 못한 LLM0 primary · 13 archived +
These 13 records come from the earlier briefing, not a newly verified original publication. They are retained in the original briefing below; no primary-source quotation is shown.
Read the earlier record ↓Show the original briefing text
구분: Optiver Applied AI 공식 실험 · 현직 trader Quintin Brown
발표일: 2026년 4월 27일
선정: 최신성보다 실제 LLM trading 실험 결과라는 기술적 가치 때문에 선정
채용공고 아님
오늘 퀀트사 자료 중에서는 이 자료를 가장 추천한다.
확인 가능한 사실 ① — LLM에게 trader 시험을 실제로 시켰다
Optiver Applied AI 팀의 trader Quintin Brown은 최신 LLM에 신입 trader 시험뿐 아니라 입사 6개월 수준의 mock trading assessment까지 시켰다. 이론 문제와 함께 실제 Optiver training에 쓰이는 market-making simulation에서도 테스트했다. Optiver 공식 실험
LLM은 fair value 계산, market-maker의 역할, adverse-selection 개념 등 기본 trading reasoning에서는 꽤 좋은 성능을 보였고, 일부 기초 영역에서는 intern 수준과 경쟁할 정도였다고 Optiver는 평가한다.
확인 가능한 사실 ② — 약점은 “sequential updating”
가장 반복적으로 나타난 실패는:
- fair value를 일관되게 업데이트하지 못함
- 한 번 행동한 뒤 새로운 정보를 제대로 반영하지 못함
- 1~2단계 이상의 미래 reasoning이 약함
이었다.
즉 LLM이:
Information A
→ fair value 수정
→ trade
까지는 잘하지만,
Information B 추가
→ 과거 trade와 새로운 information을 종합
→ 다시 belief 업데이트
하는 과정에서 자주 무너졌다.
이건 실제 trading agent에서 매우 중요한 failure mode다.
확인 가능한 사실 ③ — EV를 알지만 EV-maximizing action은 잘 못한다
모델들은 expected value 개념 자체는 잘 이해했지만 실제 simulation에서는 지나치게 보수적으로 행동했다.
Optiver는 모델이:
- 최적 size보다 작게 거래하거나
- positive-EV opportunity보다 hedge를 우선하거나
해서 알고 있는 EV를 행동으로 정확히 전환하지 못하는 문제를 관찰했다.
또 adverse selection을 올바르게 식별하고도 informed counterparty와 negative-EV level에서 거래하는 모순된 action을 보이기도 했다.
확인 가능한 사실 ④ — 다른 시장참가자의 반응을 제대로 simulation하지 못한다
LLM은 participant를:
- informed trader
- position-driven trader
- liquidity provider
등으로 분류하는 데는 괜찮았지만, 자신의 행동에 따라 상대가 다음에 어떻게 반응할지를 동적으로 추론하는 능력이 약했다. Optiver는 이를 game-theoretic/adversarial reasoning의 한계로 본다.
공개자료 기반 추론
이 결과를 보면 현 단계에서 LLM을:
직접 bond trader로 production 배치
하는 것보다,
Research copilot / scenario analyst / simulator critic
으로 쓰는 것이 훨씬 현실적이다.
LLM은:
- 문제 framing
- 계산
- 규칙 이해
에는 강하지만,
- stateful belief updating
- strict EV optimization
- adversarial sequential decision
에는 아직 별도의 시스템적 보완이 필요하다.
한국 채권시장 복제 아이디어
이 자료를 그대로 활용해서 Bond Trader Agent Benchmark를 만들 수 있다.
예를 들어 시나리오:
09:58 10선 fair value = 116.25
10:00 CPI surprise
→ fair value 업데이트
10:00:05 외국인 매도 3,000계약
→ 다시 업데이트
10:00:20 UST reversal
→ 다시 업데이트
각 단계에서 agent에게:
- fair value
- position
- order size
- confidence
- expected P&L
을 출력시킨다.
평가 metric은 단순 정답률보다:
Belief consistency Sequential adaptation EV optimality Risk limit compliance
로 잡아야 한다.
LLM trader 평가 benchmark로 상당히 재미있다.
복제 가치: ★★★★★