자기흥분 주문흐름은 최근 체결 하나만으로 다음 도착확률을 설명할 수 없다. HSN은 과거 event를 여러 감쇠속도의 지수필터로 누적해 작은 상태벡터를 만들고, 그 감쇠율과 호가정책을 reward에서 end-to-end로 학습한다. 주문도착 kernel과 fill probability를 먼저 추정한 뒤 제어문제를 푸는 두 단계 오차를 피하려는 설계다.
평가는 단일·다중자산, 지수·power-law·regime-switching Hawkes를 포함한 일곱 설정에서 이뤄졌다. intensity 정보가 정책에 중요한 다섯 설정에서 HSN은 가장 강한 비교모형보다 평균 누적보상이 5~32% 높았고, greedy policy는 고정 episode와 30개 random seed로 비교됐다. 반면 단순 지수형 통제에서는 frame-stack MLP와 통계적으로 비슷했다.
보상차이는 simulator가 만든 spread, inventory penalty와 주문도착에 의존한다. 실제 국고채의 queue position, hidden liquidity, venue rule과 market impact는 들어 있지 않다. 따라서 국내 적용은 intensity 복원정확도보다 regime별 inventory tail, adverse-selection markout과 kill-switch 빈도를 먼저 통과시킨 뒤 shadow quoting으로 좁혀야 한다.
SCOPEHawkes 합성 주문장과 모형이 정의한 reward의 결과다. 실제 호가큐, 수수료, 지연, 시장충격과 비정상 참여자 반응을 검증하지 않았고 공개된 실거래 성과도 없다.
Evidence & verification ↓Sources & evidence
Original passages appear only when checked against the publication. Earlier briefing records are identified separately.
Reinforcement Learning with Hawkes-Structured Networks for Market Making3 primary · 0 archived +
실험은 일곱 설정과 네 시장조성 환경을 비교했다.
ORIGINAL PASSAGEacross seven configurations in four settingsarXiv 2610.16524v1, Section 5, 12 October 2026, accessed 2026-10-28intensity-sensitive 설정에서 HSN의 평균 누적보상 우위는 5~32%였다.
ORIGINAL PASSAGEhighest mean cumulative reward by +5–32%arXiv 2610.16524v1, Section 5, 12 October 2026, accessed 2026-10-28평가결과는 30개 random seed의 평균이다.
ORIGINAL PASSAGEaveraged over 30 random seedsarXiv 2610.16524v1, Section 5.1, 12 October 2026, accessed 2026-10-28Show the original briefing text
구분: 최신 연구·비마르코프 주문흐름과 RL 시장조성
발표일: 2026년 10월 12일
핵심 요약
논문 원문은 자기흥분과 장기기억을 가진 Hawkes 주문흐름에서 모델을 미리 추정하지 않고 호가정책을 학습하는 Hawkes-Structured Network를 제시한다. 학습 가능한 지수혼합 필터가 과거 주문을 압축하고 PPO 보상으로 표현과 호가를 함께 최적화한다. 모의환경 일곱 설정 중 intensity 정보가 중요한 다섯 설정에서 일반 MLP·RNN·Transformer 대비 평균 누적보상이 5~32% 높았지만, 이는 합성 주문장 모의실험이지 실거래 P&L이 아니다.
실무 시사점
주문도착 강도를 먼저 맞추고 정책을 따로 푸는 두 단계 접근은 kernel misspecification과 regime change에 취약하다. HSN은 빠른·느린 주문흐름 기억을 정책목표에 맞춰 함께 학습하며, 30개 seed와 고정 evaluation episode에서 heavy-tail·cross-asset·regime-switching 설정의 이점을 보였다. 다만 단순 지수형 통제환경에서는 가장 강한 frame-stack 기준과 통계적으로 비슷해 구조적 inductive bias가 항상 보상을 높이지는 않았다.
한국 시장 복제 아이디어
국채선물 최우선호가·체결·취소를 event stream으로 만들고 지수혼합 HSN, LSTM, Transformer, frame-stack PPO를 같은 simulator에서 비교한다. 목표는 spread capture에서 inventory penalty와 adverse-selection markout을 뺀 값으로 두고, 정상일·금통위·입찰·roll 구간별 reward, intensity 복원오차, kill-switch 발동률을 측정한다.