좋은 모델도 연구완료까지 너무 오래 걸리면 시장이 바뀐 뒤에야 production에 도착한다. Optiver는 연구플랫폼의 우선목표를 아이디어에서 validated result까지의 loop 단축으로 둔다. 비용·용량·기능과 correctness는 이 반복시간을 줄이되 결과를 다시 만들 수 있게 하는 조건으로 설명한다.
Feature 생성, 학습과 simulation의 선형 pipeline은 상품과 날짜를 펼치는 순간 거대한 DAG가 된다. 글의 예시는 feature job이 100,000개를 넘는 수준으로 커져 수작업 배치가 불가능해지는 과정을 보여준다. Optiver는 GraphRunner가 runnable node를 추적하고 on-prem scheduler, cloud scheduler 또는 local pool로 개별 전송하게 했다.
배치원칙은 데이터를 매번 옮기기보다 workload를 데이터로 보내는 것이다. 공통 compute interface와 data catalog가 환경차이를 감추고, researcher code에 cloud 분기를 넣지 않게 한다. 이 구조는 research turnaround와 재현성을 위한 회사 설명이며 전략별 성과증거가 아니므로 국내 복제에서는 cost·재현실패·승격시간을 따로 측정해야 한다.
SCOPEOptiver의 공식 기술 설명이다. 공개된 것은 platform architecture와 예시 workload이며 전략별 연구속도 개선치, 모델성능과 P&L은 제공되지 않았다.
Evidence & verification ↓Sources & evidence
Original passages appear only when checked against the publication. Earlier briefing records are identified separately.
Research at scale: Orchestrating ML for systematic trading3 primary · 0 archived +
연구플랫폼의 최우선 목표는 아이디어에서 검증결과까지의 loop를 줄이는 것이다.
ORIGINAL PASSAGEshorten the loop from idea to validated resultOptiver, Research at scale, What a Research Platform Must Optimize, 2025-12-18, accessed 2026-11-05확장된 예시는 10만개가 넘는 feature generation job을 만든다.
ORIGINAL PASSAGE100,000+ feature generation jobsOptiver, Research at scale, When Pipelines Scale Up, 2025-12-18, accessed 2026-11-05데이터를 옮기기보다 workload를 데이터 위치로 보내는 원칙을 쓴다.
ORIGINAL PASSAGEmove the workload to the dataOptiver, Research at scale, Addressing Compute Capacity, 2025-12-18, accessed 2026-11-05Show the original briefing text
구분: Optiver 공식 기술 글·대규모 ML 연구 오케스트레이션
발표일: 2025년 12월 18일
선정 이유: 최신성보다 연구 아이디어를 재현 가능한 production 결정으로 옮기는 인프라를 구체적으로 공개한 가치 때문에 선정했다.
핵심 요약
Optiver 원문은 feature 생성, model 학습과 simulation을 수천 상품·장기 이력으로 확장할 때 연구 turnaround가 병목이 되는 과정을 설명한다. 예시 pipeline은 병렬화 후 10만개가 넘는 feature job으로 커진다. Optiver는 재현성과 추적성을 전제로 계산을 데이터 위치로 보내고, GraphRunner가 task별 실행환경을 선택하게 한다.
실무 시사점
수익화 경로는 GPU 수보다 아이디어에서 검증결과까지 걸리는 시간과 오류 없는 재현에 있다. on-prem·cloud를 연구 코드에서 분기하면 환경차이와 data replica 불일치가 backtest를 흔든다. 공통 catalog, immutable input version과 node별 배치를 사용하면 research와 production이 같은 계산그래프를 공유할 수 있지만 회사는 전략별 속도개선이나 P&L을 공개하지 않았다.
한국 시장 복제 아이디어
국채선물·현물·IRS의 feature→학습→replay simulation을 DAG로 기록하고 dataset·code·parameter hash를 node마다 남긴다. 단일 scheduler와 node-level placement를 비교해 wall-clock turnaround, compute cost, cache hit, 재현실패율과 동일 코드의 production 승격시간을 측정한다.