FIXED INCOME / FIELD NOTES

Five Bottlenecks, Five Fixes: How We Avoid Leaving Training Performance on the Table

GPU가 느릴 때 모델 규모와 데이터보다 먼저 확인할 병목은 무엇인가?

발표자들은 Jane Street에서 머신러닝 예측을 거래전략에 사용한다고 설명한 뒤, 실제 연구코드를 노출하지 않고 같은 성능문제를 공개 저장소의 예제로 재현했다. 목적은 더 큰 GPU를 사는 것이 아니라 프로파일에서 어디가 계산을 기다리게 하는지 찾는 데 있다. 메트릭 계산과 텐서 노름 로깅도 작은 커널을 자주 호출하면 GPU가 충분히 오래 일하지 못한다.

첫 번째 계열의 해결책은 연산을 벡터화하거나 여러 커널을 융합하고 필요한 경우 사용자정의 커널을 쓰는 것이다. 반복 호출의 실행 오버헤드는 CUDA Graph로 묶었고, 통신이 계산을 막는 병목은 CUDA Stream으로 둘을 겹쳤다. 패딩 구간을 불필요하게 계산하는 문제는 하드웨어 설정이 아니라 알고리즘 자체를 바꿔 해결했다.

공식 GitHub에는 기본 학습부터 컴파일·텐서코어·벡터화·사용자정의 CUDA·Stream을 순차 적용한 코드와 프로파일이 남아 있어 수정효과를 재현할 수 있다. 다만 공개 예제는 실제 시장자료나 모델이 아니며 성능개선 폭을 거래성과로 연결하지 않는다. 채권모델에서도 처리량을 높인 뒤 고정 시드의 예측·손실곡선과 표본 밖 mark-out이 유지되는지 따로 확인해야 한다.

SCOPEJane Street 연구자가 재현용 공개코드로 설명한 GPU 최적화 사례다. 실제 거래코드·시장자료·모델구조·라벨·배포 지연과 P&L은 공개하지 않았으므로 성능개선과 수익의 관계는 확인할 수 없다.

Evidence & verification ↓

Sources & evidence

Original passages appear only when checked against the publication. Earlier briefing records are identified separately.

Five Bottlenecks, Five Fixes: How We Avoid Leaving Training Performance on the Table3 primary · 0 archived +
F1 · PRIMARY RECORD

발표자는 머신러닝 모델의 예측을 거래전략에 사용한다고 설명한다.

ORIGINAL PASSAGE
use the predictions from those models in our trading strategies
NVIDIA GTC 2026 session S82065, transcript 00:23–00:30, March 2026, accessed 2026-10-14
F2 · PRIMARY RECORD

통신과 계산의 중첩에는 CUDA Stream을 사용했다.

ORIGINAL PASSAGE
you can use CUDA streams to solve that one
NVIDIA GTC 2026 session S82065, transcript 27:42–27:55, March 2026, accessed 2026-10-14
F3 · PRIMARY RECORD

공식 저장소는 발표의 타이밍과 프로파일 코드를 제공한다.

ORIGINAL PASSAGE
all of the code that we used to get timings and profiles
Jane Street gtc2026 GitHub README, accessed 2026-10-14
Publication links ↑
Show the original briefing text

구분: Jane Street GTC 공식 발표·GPU 학습 성능과 공개 재현코드
발표일: 2026년 3월

핵심 요약

Jane Street의 NVIDIA GTC 발표는 실제 연구자 코드에서 발견한 다섯 가지 GPU 병목을 공개 예제로 재현했다. 작은 커널의 반복은 벡터화·연산융합·사용자정의 커널과 CUDA Graph로 줄이고, 통신과 계산이 겹치지 않는 병목은 CUDA Stream으로 처리했다. 발표자는 머신러닝 예측이 거래전략에 쓰인다고 확인했지만 실제 코드·모델·시장별 성과는 공개하지 않았으며, Jane Street 공식 GitHub는 재현용 학습 코드와 프로파일을 제공한다.

실무 시사점

학습시간이 길다고 모델이 본질적으로 큰 것은 아니다. 메트릭 로깅, 패딩 연산, 작은 커널 호출과 통신대기가 GPU 사용률을 떨어뜨릴 수 있으므로 연구 승인에는 예측성능과 함께 프로파일, 처리량, 비용, 수치일치 검사를 포함해야 한다.

한국 시장 복제 아이디어

호가창 시계열 모델의 기준 학습을 프로파일링한 뒤 벡터화·컴파일·CUDA Stream·Graph를 한 단계씩 적용한다. 각 단계에서 처리량과 GPU 사용률뿐 아니라 손실곡선, 고정 시드 예측차이와 표본 밖 mark-out 성능이 유지되는지 비교한다.