과거 경기를 맞히는 LLM은 당시 기사에서 승자를 추론했을 수도 있고 사전학습 문서에서 결과를 외웠을 수도 있다. 연구팀은 크리켓 경기 프리뷰를 지식 마감 전후로 나눠 기준모형 대비 추가 예측력, 마감 전후 성능차, 마감 전 과신을 함께 봤다. 기간 앞쪽은 남자 국제경기가 많고 뒤쪽은 구성이 더 다양해 단순 성능차가 자료분포 변화에서 올 가능성도 확인했다. 시점분할만으로 기억오염 문제가 자동 해결되지는 않는다.
divergence decoding은 2015년 이전과 2026년 이전까지 학습한 작은 보조모형의 logits 차이를 큰 모형 출력에 더한다. 두 보조모형 사이 기간의 지식을 추론시점에 줄이려는 방식이다. 크리켓 실험에서는 마감일 이전 성능을 낮추면서 이후 성능을 해치지 않았다. 과거 정답을 덜 꺼내면서 새 경기의 예측력은 보존했다는 간접증거다. 그러나 조정된 모형을 다시 큰 모형에 증류한 결과는 원모형과 추론시점 조정보다 일관되게 나빴다.
자연어 오토인코더로 내부표현을 문장처럼 읽는 실험도 했다. 팀 이름 언급비율은 최종 예측과 0.93 정도로 함께 움직였지만 마감 전후 차이를 구분하지 못해 기억 탐지지표가 되지 못했다. 대신 합성 추론자료에서는 뒤쪽의 불필요한 층을 찾아 제거하면서 학습속도가 1.5배 빨라졌다. 연구는 완성된 기억 제거기를 만들지 못한 탐색적 프로젝트로 끝났다. 금융예측에 옮길 때도 실패 결과와 데이터구성 변화를 함께 남겨야 한다.
SCOPE금융자료가 아닌 크리켓 프리뷰를 사용한 인턴 연구이며 결과도 탐색적이다. 공개 글은 Jane Street의 생산 거래모형이나 P&L을 설명하지 않고, 제안한 방법이 모든 LLM과 금융시점 분할에 일반화된다고 확인하지 않았다.
Evidence & verification ↓Sources & evidence
Original passages appear only when checked against the publication. Earlier briefing records are identified separately.
Mitigating memorization in LLMs6 primary · 0 archived +
divergence decoding은 서로 다른 지식기간을 가진 보조모형을 사용한다.
ORIGINAL PASSAGEpre-2015 and pre-2026Jane Street, Divergence decoding, published 2026-09-30, accessed 2026-10-07크리켓 실험의 추론시점 조정은 마감 뒤 표본 성능을 떨어뜨리지 않았다.
ORIGINAL PASSAGEwithout harming post-cutoff performanceJane Street, Divergence decoding, accessed 2026-10-07조정 모형을 증류한 결과는 원모형과 추론시점 조정보다 일관되게 낮았다.
ORIGINAL PASSAGEconsistently underperformed bothJane Street, Distillation, accessed 2026-10-07오토인코더가 읽은 팀 언급비율과 최종 예측의 상관은 약 0.93이었다.
ORIGINAL PASSAGEcorr ~0.93Jane Street, Natural language autoencoder, accessed 2026-10-07합성 추론자료에서 불필요한 마지막 층을 제거하자 학습이 1.5배 빨라졌다.
ORIGINAL PASSAGEsped up training by 1.5xJane Street, Sequence effects, accessed 2026-10-07공식 결론은 이 프로젝트의 결과를 완성된 제거기가 아닌 탐색적 연구로 규정한다.
ORIGINAL PASSAGEexploratoryJane Street, Conclusions, accessed 2026-10-07Show the original briefing text
구분: 퀀트회사 공식 ML 연구블로그·시점검증 및 LLM
발표일: 2026년 9월 30일
핵심 요약
Jane Street 공식 ML 연구 글은 과거 경기예측에서 모델이 당시 정보로 추론했는지 사전학습 때 결과를 외웠는지를 분리하려 했다. 크리켓 경기 프리뷰를 지식 마감일 전후로 나누고 예측력·전후 격차·과신을 점검했으며, 기간 사이 경기구성 변화도 따로 확인했다. 서로 다른 시점까지 학습한 보조모형의 logits 차이로 큰 모형을 조정하는 divergence decoding은 마감일 이전 성능을 낮추면서 이후 성능을 해치지 않았다. 다만 증류는 실패했고 자연어 오토인코더 진단도 완전한 기억 제거기를 만들지 못해, 공개 결과는 탐색적 연구로 남았다.
실무 시사점
역사적 금리·신용사건을 LLM에 물어 높은 적중률을 얻어도 지식 마감이 사건 뒤라면 백테스트가 아니다. 데이터 시점, 모델 체크포인트, 프롬프트와 검색자료의 공개시각을 고정하고 마감 전후의 성능 차이를 정식 지표로 남겨야 한다.
한국 시장 복제 아이디어
금통위 결정·등급변경·입찰결과를 발표 전 문서만으로 예측하는 벤치마크를 만든다. 마감일 전후 적중률과 확률보정, 단순 기준모형 대비 추가가치, 문서구성 변화 영향을 측정하고, divergence decoding·문서 재서술·검색차단을 각각 적용해 미래정보 오염 감소와 진짜 표본외 성능을 분리한다.