학습데이터를 여러 번 보여주면 중요도가 선형으로 커진다고 가정하기 쉽다. Jane Street는 각 시퀀스의 가중치를 0.01부터 10까지 로그균등분포로 뽑고 세 번 학습했다. 손실과 가중치의 관계를 유효가중치 지수로 요약해 모델 규모별로 비교했다.
실험은 자체 dense·sparse 모델과 공개 Qwen 계열을 폭넓은 규모에서 비교했다. 최적 지수는 소형에서 중형으로 갈수록 커졌지만 더 큰 모델에서는 다시 작아졌고, 에포크를 반복하면 정점도 작은 규모 쪽으로 이동했다. 데이터 반복의 효율이 모델 크기에 단조롭게 비례하지 않은 것이다.
채권에서는 최근 국면, 드문 부도와 정책발표 구간의 가중치가 같은 문제다. 다만 이 글은 언어모델의 일반 학습연구이며 회사의 거래모델, 라벨이나 손익을 공개하지 않는다. 작은 대리모델에서 고른 시장국면 혼합비가 생산모델에서도 유지되는지는 별도 시계열 밖 검증이 필요하다. 그 차이가 데이터 혼합비 재조정의 근거가 된다.
SCOPE언어모델의 학습 실험으로 실제 시장데이터나 실거래 P&L을 검증하지 않는다. 채권 시계열의 비정상성, 거래비용과 누수 방지를 별도로 설계해야 한다.
Evidence & verification ↓Sources & evidence
Original passages appear only when checked against the publication. Earlier briefing records are identified separately.
A Study of Sequence Weighting at Scale2 primary · 0 archived +
시퀀스 가중치는 0.01에서 10 사이 로그균등분포에서 뽑혔다.
ORIGINAL PASSAGEdrawn log-uniform between 0.01 and 10. We train for 3 epochsJane Street tech blog, Method, accessed 2026-10-21작은 규모의 시퀀스 가중치 행동은 가장 큰 규모의 행동을 깔끔하게 예측하지 못했다.
ORIGINAL PASSAGEdoes not cleanly predict behavior at the largest scalesJane Street tech blog, Results and Analysis, accessed 2026-10-21Show the original briefing text
구분: Jane Street 공식 기술블로그·대규모 학습 데이터 가중치
발표일: 2026년 9월 14일
핵심 요약
Jane Street 원문은 훈련 시퀀스별 가중치를 0.01~10의 로그균등분포에서 뽑고 3개 에포크로 학습해 데이터 가중치가 모델 크기에 따라 어떻게 달라지는지 실험한다. 9개 dense, 8개 sparse 자체 모델과 Qwen2.5 5억~720억 파라미터를 비교했으며, 최적 유효가중치 지수는 소형에서 중형으로 갈 때 커졌다가 대형에서는 다시 작아졌다. 회사는 거래모델이나 손익을 공개하지 않았지만, 작은 모델에서 정한 데이터 혼합비가 큰 모델에 그대로 이전되지 않을 수 있다는 연구·컴퓨팅 리스크를 보여준다.
실무 시사점
채권 시계열에서 최근 국면이나 희귀 스트레스 구간을 얼마나 반복할지는 단순 전처리가 아니라 모델 크기와 학습예산에 얽힌 하이퍼파라미터다. 작은 대리모델로 찾은 가중치를 생산모델에 복사하기 전에 규모별 곡선과 에포크 효과를 확인하고, 표본 중복이 검증구간을 오염시키지 않도록 계보를 남겨야 한다.
한국 시장 복제 아이디어
국고채·크레딧 호가를 정상장, 금통위·물가지표, 유동성 경색 시퀀스로 나누고 0.1~10배 가중치를 준다. 소형·중형·대형 시계열 모델에서 다음 호가변화와 체결확률의 국면별 손실, 보정오차와 비용조정 수익을 비교해 작은 모델의 최적 가중치가 규모가 커져도 유지되는지 시험한다.