Agent의 목적은 trading revenue를 높이면서 inventory를 관리하는 것이며, 연구진은 noise 트레이더뿐 아니라 volume imbalance에 반응하는 tactical 트레이더와 strategic 트레이더가 존재하는 서로 다른 simulated market에서 성능을 검증한다. potential-based reward shaping을 사용해 최적정책 자체를 바꾸지 않으면서 학습속도를 높인다.
편집 전 브리핑 원문 펼치기
구분: 최신 연구 · arXiv / Reinforcement Learning·Market Making
발표일: 2026년 8월 18일
핵심 요약
이 연구는 market maker가 best bid/ask 한 가격에 quote하는 문제가 아니라, 여러 price level에 서로 다른 size의 limit/market order를 동시에 배분하는 문제를 RL로 푼다. 행동공간을 multivariate logistic-normal distribution으로 모델링하고, variable-length order set을 Deep Sets encoder로 fixed-dimensional representation으로 압축한다. arXiv 원문
Agent의 목적은 trading revenue를 높이면서 inventory를 관리하는 것이며, 연구진은 noise trader뿐 아니라 volume imbalance에 반응하는 tactical trader와 strategic trader가 존재하는 서로 다른 simulated market에서 성능을 검증한다. potential-based reward shaping을 사용해 최적정책 자체를 바꾸지 않으면서 학습속도를 높인다.
채권 트레이딩 시사점
이 논문이 중요한 이유는 market-making action을 단순화하지 않는다는 것이다.
일반적인 모델은:
fair value = 100
→ bid 99.9 / ask 100.1
식으로 끝난다.
하지만 실제 dealer 행동은:
- 99.90에 20
- 99.88에 50
- 99.85에 100
- 필요 시 marketable hedge 30
처럼 가격과 size를 동시에 여러 level에 배치하는 문제다.
즉 진짜 output은:
Optimal Price
가 아니라
Optimal Order Allocation Surface
에 가깝다.
한국 시장 복제 아이디어
국채선물 top-5 호가를 이용해 먼저 단순한 version을 만들 수 있다.
State
- depth
- imbalance
- recent trade
- spread
- inventory
- short-horizon alpha
Action
- bid level 1~3 size
- ask level 1~3 size
- aggressive hedge size
Reward
- realized spread
- mark-out
- inventory penalty
- transaction cost
로 정의한다.
특히 inventory와 size decision을 함께 학습하는 것이 핵심이다.
다만 연구 결과는 simulation 기반이므로 production에 바로 옮기기보다 실제 한국 국채선물 event-replay simulator에서 먼저 검증해야 한다.
데스크 적용 우선순위: ★★★★★