딥러닝 역전파는 순전파에서 만든 활성값을 다시 사용하므로 GPU 메모리를 많이 차지한다. Activation checkpointing은 일부 활성값을 저장하지 않고 역전파 때 다시 계산해 메모리를 연산으로 바꾼다. 무작정 버리면 재계산 중간텐서 때문에 peak memory가 오히려 커지고 학습도 느려질 수 있다. Jane Street 팀은 사용자가 비율이 아니라 절대 GB 예산을 지정하도록 문제를 다시 정의했다.
계획단계는 가짜 텐서로 모델을 한 번 컴파일해 순전파·역전파 그래프와 실행순서를 기록한다. 각 저장 활성값을 제거했을 때 줄어드는 전역 peak memory와 다시 계산해야 할 전체 상류연산의 비용을 추정한다. 현재 peak가 예산을 넘는 동안 메모리 한 바이트를 줄이는 데 계산비용이 가장 싼 후보를 탐욕적으로 제거한다. 최적해를 보장하지 않지만 전체 그래프를 보지 못하는 연산단위 정책보다 실제 peak를 직접 다룬다.
제한된 단일 그래프 모델에서는 새 방식이 대부분의 메모리 예산에서 PyTorch knapsack과 연산단위 정책보다 낮은 시간·메모리 경계를 보였다. 그러나 실행시간은 FLOP 근사치에 의존하고 메모리경계 연산의 비용을 충분히 반영하지 못한다. 동적 shape, 데이터 의존 연산과 RNG 상태가 있는 연산도 재계산 대상에서 제외된다. 공개결과는 인프라 벤치마크이며 거래모델의 정확도나 P&L 개선을 뜻하지 않는다.
SCOPEJane Street 인턴 프로젝트의 제한된 단일 그래프 모델 벤치마크다. 탐욕해법과 FLOP 기반 비용추정은 근사이며 동적 shape·데이터 의존·RNG 연산을 지원하지 않는다. 실제 거래모델이나 수익성과의 연결은 공개되지 않았다.
Evidence & verification ↓Sources & evidence
Original passages appear only when checked against the publication. Earlier briefing records are identified separately.
Trading off compute for memory with activation checkpointing4 primary · 0 archived +
새 계획기는 비율 대신 절대 GPU 메모리 예산을 입력하도록 설계됐다.
ORIGINAL PASSAGEabsolute actual total GB memory budgetJane Street Tech Blog, Why not just use…?, accessed 2026-10-10기존 memory budget API는 예산을 더 낮춰도 peak memory가 오를 수 있어 단조롭지 않았다.
ORIGINAL PASSAGEdecreasing the budget from 20% to 10%Jane Street Tech Blog, Why not just use…?, accessed 2026-10-10제한된 단일 그래프 모델에서 새 방식은 대부분의 예산에서 비교정책보다 나은 시간·메모리 경계를 보였다.
ORIGINAL PASSAGElimited set of single-graph modelsJane Street Tech Blog, Results, accessed 2026-10-10현재 구현은 동적 shape와 데이터 의존 연산을 지원하지 않는다.
ORIGINAL PASSAGEdynamic shapes or data-dependent opsJane Street Tech Blog, Results limitations, accessed 2026-10-10Show the original briefing text
구분: 퀀트·마켓메이킹 회사 공식 기술블로그·딥러닝 학습 인프라
발표일: 2026년 9월 30일
핵심 요약
Jane Street 공식 기술 글은 딥러닝 역전파에 필요한 활성값 일부를 버리고 나중에 다시 계산하는 activation checkpointing을 개선했다. 전체 계산그래프를 한 번 계획해 절대 GPU 메모리 예산 안에서 peak memory를 낮추고 추가 계산비용이 작은 노드를 탐욕적으로 선택한다. 제한된 단일 그래프 모델에서는 대부분의 메모리 예산에서 PyTorch knapsack과 연산단위 정책보다 나은 시간·메모리 경계를 보였다. 동적 shape, 데이터 의존 연산과 RNG 상태가 있는 연산에는 아직 적용되지 않았다.
실무 시사점
대형 시계열 모델은 GPU 부족을 batch 축소로만 해결하면 학습분포와 실험속도가 함께 바뀐다. 메모리 peak와 재계산시간을 그래프 전체에서 측정하면 같은 하드웨어에서 더 큰 사건열·더 긴 문맥을 시험할 여지가 생긴다.
한국 시장 복제 아이디어
국채 주문장 transformer와 다종목 시계열 모델에서 동일 batch·seed·정밀도를 고정한다. 기본 PyTorch, knapsack, 자동 checkpointing을 peak GPU memory, step time, OOM률과 검증손실로 비교하고 동적 종목수·불규칙 사건열에서는 별도 실패율을 기록한다.