시장조성자는 가장 좋은 매수·매도 가격 한 쌍만 제시하는 것이 아니라 여러 가격대에 물량을 나눌 수 있다. 연구는 지정가와 시장가 주문을 여러 수준에 동시에 배분하는 문제를 강화학습으로 다룬다. 행동공간이 가격과 수량의 조합으로 커지는 문제다.
주문 집합의 길이가 달라져도 모형이 처리할 수 있도록 Deep Sets라는 집합 표현으로 고정 길이 입력을 만든다. 행동은 여러 수량 비중을 함께 나타내는 분포로 모델링한다. 목적은 거래매출을 높이면서 재고를 관리하는 것이며 잡음 거래자와 거래량 불균형에 반응하는 상대방 등의 모의 환경에서 평가한다.
최적 정책을 바꾸지 않으면서 학습을 돕는 보상 보조 방식도 사용한다. 하지만 실제 시장에서 상대방의 적응과 주문 대기순서까지 모두 재현됐다는 뜻은 아니다. 보존된 기록은 모의 환경과 설계를 설명하므로 국내에서는 가격대 배분이 같은 재고 한도에서 체결과 손실을 바꾸는지 재검증해야 한다.
SCOPE모의시장 연구의 역사적 기록이다. 실제 상대방과 체결 대기구조를 포함한 국내 수익 검증은 없다.
Evidence & verification ↓Sources & evidence
Original passages appear only when checked against the publication. Earlier briefing records are identified separately.
Multi-Level Market Making with Reinforcement Learning0 primary · 2 archived +
These 2 records come from the earlier briefing, not a newly verified original publication. They are retained in the original briefing below; no primary-source quotation is shown.
Read the earlier record ↓Show the original briefing text
구분: 최신 연구 · arXiv / Reinforcement Learning·Market Making
발표일: 2026년 8월 18일
핵심 요약
이 연구는 market maker가 best bid/ask 한 가격에 quote하는 문제가 아니라, 여러 price level에 서로 다른 size의 limit/market order를 동시에 배분하는 문제를 RL로 푼다. 행동공간을 multivariate logistic-normal distribution으로 모델링하고, variable-length order set을 Deep Sets encoder로 fixed-dimensional representation으로 압축한다. arXiv 원문
Agent의 목적은 trading revenue를 높이면서 inventory를 관리하는 것이며, 연구진은 noise trader뿐 아니라 volume imbalance에 반응하는 tactical trader와 strategic trader가 존재하는 서로 다른 simulated market에서 성능을 검증한다. potential-based reward shaping을 사용해 최적정책 자체를 바꾸지 않으면서 학습속도를 높인다.
채권 트레이딩 시사점
이 논문이 중요한 이유는 market-making action을 단순화하지 않는다는 것이다.
일반적인 모델은:
fair value = 100
→ bid 99.9 / ask 100.1
식으로 끝난다.
하지만 실제 dealer 행동은:
- 99.90에 20
- 99.88에 50
- 99.85에 100
- 필요 시 marketable hedge 30
처럼 가격과 size를 동시에 여러 level에 배치하는 문제다.
즉 진짜 output은:
Optimal Price
가 아니라
Optimal Order Allocation Surface
에 가깝다.
한국 시장 복제 아이디어
국채선물 top-5 호가를 이용해 먼저 단순한 version을 만들 수 있다.
State
- depth
- imbalance
- recent trade
- spread
- inventory
- short-horizon alpha
Action
- bid level 1~3 size
- ask level 1~3 size
- aggressive hedge size
Reward
- realized spread
- mark-out
- inventory penalty
- transaction cost
로 정의한다.
특히 inventory와 size decision을 함께 학습하는 것이 핵심이다.
다만 연구 결과는 simulation 기반이므로 production에 바로 옮기기보다 실제 한국 국채선물 event-replay simulator에서 먼저 검증해야 한다.
데스크 적용 우선순위: ★★★★★