FIXED INCOME / FIELD NOTES

Jane Street — Making GPUs Actually Fast: GPU Training Performance의 실제 병목

GPU 학습의 실제 병목은 어떻게 찾아야 하는가?

GPU가 빠른 계산을 할 수 있어도 자료를 기다리거나 작은 연산을 반복 호출하면 학습이 지연된다. Jane Street의 기술강연은 이론 연산 성능보다 실제 병목을 제거하는 작업을 다룬다. CPU와 GPU 작업을 겹쳐 실행해 대기를 줄이는 방식이 그중 하나다.

여러 연산을 하나의 처리 단위로 합치거나 작업에 맞는 GPU 커널을 작성하는 방식도 소개된다. 계산 호출과 자료 이동의 부담을 줄여 학습 처리량을 높이려는 설계다. 공개된 연산자원 규모는 이런 연구를 지원하는 기반이지만 개별 모형의 경제적 가치를 직접 보여주지 않는다.

동시에 자료 관계의 변화와 경쟁하는 여러 참가자가 거래 기계학습의 어려움으로 제시된다. 계산이 빨라져도 이 문제는 남는다. 회사는 문제에 맞춰 선형모형부터 딥러닝까지 선택한다고 설명하므로 국내에서도 학습시간의 개선과 새 기간 예측의 개선을 따로 측정하는 것이 필요하다.

SCOPE기술강연·연구 소개의 역사적 기록이다. 연산 최적화의 투자수익 기여나 특정 모형의 보편적 우위는 미확인이다.

Evidence & verification ↓

Sources & evidence

Original passages appear only when checked against the publication. Earlier briefing records are identified separately.

Jane Street — Making GPUs Actually Fast: GPU Training Performance의 실제 병목0 primary · 3 archived +
EARLIER BRIEFING RECORD

These 3 records come from the earlier briefing, not a newly verified original publication. They are retained in the original briefing below; no primary-source quotation is shown.

Read the earlier record ↓
Publication links ↑
Show the original briefing text

구분: Jane Street 공식 기술강연 · Machine Learning Engineering
공개: 2026년 현재 공식 공개
선정 이유: 최신성보다 기술적 가치 때문에 선정. 채용자료가 아니라 실제 ML 엔지니어링 강연이다.

확인 가능한 사실

Jane Street의 Sylvain Gugger와 Corwin de Zahr는 공식 tech talk에서 neural-network training에서 GPU의 theoretical FLOPS보다 실제 병목을 제거하는 engineering이 중요하다고 설명한다. CPU 작업과 GPU 작업을 overlap하고, 여러 operation을 하나의 kernel로 합치는 kernel fusion, custom GPU kernel 작성 등 실제 training throughput 개선기법을 상세히 다룬다. Jane Street 공식 기술강연

Jane Street의 현재 ML 공식 페이지를 보면 ML 연구환경 자체도 상당히 크다. 최신 공개 기준 데이터는 petabyte 규모이고, 수십만 CPU core와 수만 개 high-end GPU로 성장하는 cluster를 ML 연구에 사용한다고 명시한다. Jane Street Machine Learning 공식 페이지

Jane Street는 동시에 non-stationary data와 competitive multi-agent environment를 trading ML의 핵심 어려움으로 명시하고 있으며, 특정 model family를 고집하지 않고 문제에 따라 linear model부터 deep learning까지 선택한다고 설명한다.

공개자료 기반 추론

이 자료에서 중요한 P&L 메커니즘은:

GPU Optimization → training time ↓
→ experiment throughput ↑
→ model iteration ↑
→ 시장변화에 대한 adaptation 속도 ↑
→ alpha decay 전에 deploy할 확률 ↑

다.

즉 top-tier quant가 수만 GPU를 보유하는 이유를 단순히 **“더 큰 neural net을 만들기 위해서”**라고 보면 부족하다.

실제로 더 중요한 것은:

Time-to-Experiment 와 Time-to-Production

일 가능성이 높다.

한국 채권시장 복제 아이디어

GPU 구매 전에 모든 연구 job을 profiling해야 한다.

예를 들어:

Data I/O: 70% Feature calculation: 20% Model training: 10%

이라면 A100/H100을 추가해도 전체 연구속도는 거의 안 빨라진다.

반대로:

Training: 80%

이면 GPU kernel/parallelization 최적화 가치가 커진다.

그래서 연구플랫폼에 다음 metric을 자동 수집하는 것이 좋다.

  • data loading time
  • feature computation
  • CPU idle
  • GPU utilization
  • GPU memory utilization
  • training time
  • total idea→result latency

핵심 KPI: Validated OOS Experiments / Researcher / Day

복제 가치: ★★★★★