주문 메시지 다음토큰을 잘 맞히는 모형이 실제로 무엇을 학습했는지 알 수 있을까? 저자들은 모수가 알려진 Poisson, Hawkes, agent feedback, 비정상 heavy-tail 주문장과 정확한 Bayes·oracle 기준을 만들었다. 모형 손실을 기준선에 대조하고 은닉상태에서 excitation, decay, agent mixture를 선형 probe해 잠재체제가 쓰였는지를 점검했다.
고정 토큰예산에서 체제가 1개일 때 새 체제 손실은 3.57nats였지만 256개에서는 1.34로 낮아졌다. 반면 소형 모형도 손실바닥에 근접했고 더 큰 모형은 같은 예산에서 구분되지 않았다. 이 통제환경에서는 중복 토큰이나 모형크기보다 generator의 체제 다양성이 일반화와 decodability를 만들었다.
실데이터 검증은 NASDAQ 다섯 종목의 단 하루를 쓴 전이시험이므로 real market에 같은 잠재모수가 존재한다고 볼 수 없다. 국내 채권에서는 정상일만 길게 모으기보다 금통위, 입찰, 롤오버, 급변과 저유동성 체제를 날짜단위 holdout으로 나눠야 한다. probe는 체제의 진실값이 아니라 선택한 simulator prior의 해석임도 함께 표시해야 한다.
SCOPE정확한 기준을 계산할 수 있도록 단순화한 단일자산 합성 주문장이 중심이다. real-data 시험은 NASDAQ 한 날짜에 한정되며 은닉상태 probe는 인과적 사용을 완전히 증명하지 않는다.
Evidence & verification ↓Sources & evidence
Original passages appear only when checked against the publication. Earlier briefing records are identified separately.
What Do Foundation Models for Market Microstructure Learn? A Controlled Study with Synthetic Limit Order Books3 primary · 0 archived +
통제실험은 생성모수가 알려진 simulator를 사용해 Bayes 최적치와 oracle을 계산한다.
ORIGINAL PASSAGEthe exact Bayes-optimal next-token distributionarXiv 2610.20104v1, Sections 3.2 and 4.1, 14 October 2026, accessed 2026-10-27고정 4억토큰에서 체제 1개의 새 체제 손실 3.57nats는 체제 256개에서 1.34로 낮아졌다.
ORIGINAL PASSAGEfrom 3.57 nats at K=1 to 1.34 at K=256arXiv 2610.20104v1, Section 4.3, 14 October 2026, accessed 2026-10-27약 1.5×10^5개 모수 모형은 4억토큰에서 손실바닥 4millinats 이내였다.
ORIGINAL PASSAGEwithin 4 millinats of the floor at 400M tokensarXiv 2610.20104v1, Section 4.3, 14 October 2026, accessed 2026-10-27Show the original briefing text
구분: 최신 연구·주문흐름 foundation model의 잠재체제 학습
발표일: 2026년 10월 14일
핵심 요약
논문 원문은 생성모수가 알려진 네 종류 합성 주문장에서 GPT형 다음토큰 모형이 무엇을 복원하는지 Bayes 최적치와 oracle에 직접 대조한다. 1.5×10^5개 모수 모형도 손실바닥에 근접했지만, 같은 4억토큰이라도 학습체제가 1개일 때 새 체제 손실은 3.57nats였고 256개에서는 1.34로 낮아졌다. 실데이터 검증은 NASDAQ 하루에 한정돼 real-market 체제의 식별 가능성을 증명하지 않는다.
실무 시사점
주문 메시지를 더 많이 넣거나 모형을 키우는 것보다 금리발표일·롤오버·위기·저유동성처럼 서로 다른 체제를 학습집합에 넣는 일이 중요할 수 있다. 은닉상태의 선형 probe가 Hawkes·agent mixture 모수를 복원한 결과는 foundation model을 예측기뿐 아니라 실시간 체제계기로 쓸 가능성을 보여준다. 다만 합성 generator가 잘못되면 probe는 그 렌즈만 되풀이한다.
한국 시장 복제 아이디어
국채선물과 전자 국고채 L2를 메시지 토큰으로 만들고 정상·금통위·선물롤·대량입찰·급변 체제를 날짜 단위로 분리한다. 고정 토큰예산에서 체제 수를 늘리며 unseen-regime NLL, Hawkes 모수복원, spread·markout 예측과 calibration을 측정하고 합성 prior별 실데이터 전이를 비교한다.