강화학습은 선택한 행동의 보상을 보며 다음 행동을 바꾸는 방법이다. 연구는 투자자가 시장의 구조를 정확히 모른 채 신경망으로 자신의 수요함수를 학습하는 상황을 다룬다. 학습이 합리적 기대에 맞는 균형 수요로 수렴할 수 있는지가 질문이다.
보존된 결과는 개별 투자자가 독립적으로 학습할 때 균형 수요를 회복할 수 있다고 설명한다. 그러나 여러 학습자가 거래에 의해 달라지는 가격으로 연결되면 각자의 안정적인 규칙도 전체에서는 불안정해질 수 있다. 다른 참가자의 변화가 다음 학습자료와 보상을 바꾸기 때문이다.
따라서 한 모형을 고정된 환경에서 시험한 안정성만으로 여러 AI가 함께 거래하는 시장을 판단하기 어렵다. 연구 페이지에 기재된 심사 상태는 이 메커니즘의 실증 검증을 대신하지 않는다. 국내에서는 참가자가 서로의 가격 반응을 바꾸는 환경을 따로 재생해 학습의 진동을 점검할 수 있다.
SCOPE역사적 모형 연구 기록이다. 학술 심사 상태를 동료평가 완료나 실제 시장의 위험 측정으로 확대하지 않는다.
Evidence & verification ↓Sources & evidence
Original passages appear only when checked against the publication. Earlier briefing records are identified separately.
Reinforcement Learning and Heterogeneity in Nonlinear Financial Markets0 primary · 2 archived +
These 2 records come from the earlier briefing, not a newly verified original publication. They are retained in the original briefing below; no primary-source quotation is shown.
Read the earlier record ↓Show the original briefing text
구분: 최신 연구논문 · SSRN / 현재 Management Science Reject & Resubmit
발표일: 2026년 8월 20일
작성일: 2026년 8월 19일
핵심 요약
이 연구는 투자자가 시장의 구조를 모르는 상태에서 neural-network 기반 reinforcement learning으로 자신의 수요함수를 직접 학습하면 rational-expectations equilibrium에 수렴할 수 있는가를 분석한다. 개별 RL investor가 독립적으로 학습할 때는 equilibrium demand를 회복할 수 있지만, 여러 RL agent가 endogenous price를 통해 연결되면 각자 안정적으로 작동하던 학습규칙도 전체 시스템에서는 불안정해질 수 있다. SSRN 원문
저자 Byung Hwa Lim의 공식 연구 페이지와 SKKU 연구랩 페이지는 해당 논문을 Management Science R&R 단계로 표기하고 있어 단순 미검증 아이디어보다는 한 단계 높은 신뢰도를 가진 working paper로 볼 수 있다. 저자 연구 페이지
시장미시구조·리스크관리 시사점
이 논문의 핵심은 “내 모델이 OOS에서 잘 작동한다”와 “여러 모델이 함께 시장에 들어갔을 때 안정적이다”는 전혀 다른 문제라는 점이다.
예를 들어 3개 증권사가 비슷한 RL 또는 ML execution agent를 쓰고 모두
유동성 감소 → 포지션 축소
를 학습한다면, 각 agent의 개별 risk logic은 합리적이어도 동시에 매도하면서 liquidity spiral을 만들 수 있다.
따라서 production AI에는 다음을 별도로 봐야 한다.
single-agent stability
multi-agent interaction risk
action correlation
feedback amplification
한국 시장 복제 아이디어
국채선물·회사채 RFQ simulator에서 우리 모델 하나만 돌리지 말고 경쟁 dealer/agent를 여러 개 넣은 multi-agent simulation을 만들어야 한다. 특히 금통위·입찰·유동성 스트레스 상황에서 여러 agent가 동시에 inventory를 줄일 때 spread와 slippage가 어떻게 폭발하는지 테스트할 가치가 크다.
데스크 적용 우선순위: ★★★★★