좋은 특징과 모형을 찾았는데 실험 하나가 끝나는 데 수주가 걸리면 연구 우위는 남을까? Optiver는 연구루프를 가설, 실험, 평가, production 의사결정으로 정의하고 turnaround time을 운영목표로 둔다. 한 시장일 특징생성에 한 시간이 들면 1,000거래일은 직렬 약 여섯 주가 되며 날짜별 sharding은 wall-clock을 다시 약 한 시간으로 줄인다.
백 종목으로 넓히면 십만 개 넘는 특징작업과 약 11년의 직렬시간이 생긴다. GraphRunner는 Python 프로세스 안에서 DAG를 소유하고 준비된 노드를 on-prem scheduler, cloud scheduler, local pool 중 하나로 보낸다. object storage·NFS·Postgres·Delta를 공통 catalog로 노출해 파이프라인 코드에서 데이터 위치와 환경분기를 줄인다.
병렬화는 총계산량을 없애지 않으며 cloud spillover는 데이터복제 지연·불일치와 비용을 키울 수 있다. 따라서 국내 데스크도 최고 동시작업 수보다 lineage, 환경고정, cache와 재실행 일치율을 함께 봐야 한다. 이 글은 인프라가 연구회전을 줄이는 경로를 설명하지만 어떤 모델이 실제 손익을 냈는지는 공개하지 않는다.
SCOPEOptiver의 공식 엔지니어링 설명으로 회사 내부 실측 일부를 공개하지만 모델·라벨·배포빈도·위험한도·P&L은 제시하지 않는다. 인프라 경쟁력이 수익을 냈다는 인과추론은 할 수 없다.
Evidence & verification ↓Sources & evidence
Original passages appear only when checked against the publication. Earlier briefing records are identified separately.
Research at scale: Orchestrating ML for systematic trading4 primary · 0 archived +
한 시장일 1시간의 특징생성은 1,000거래일에서 직렬 약 6주가 된다.
ORIGINAL PASSAGE1,000 trading days will take roughly six weeksOptiver, Research at scale, When Pipelines Scale Up, 18 December 2025, accessed 2026-10-27100종목은 10만개 넘는 특징작업과 약 11년의 직렬시간을 만든다.
ORIGINAL PASSAGE100,000+ feature generation jobsOptiver, Research at scale, When Pipelines Scale Up, 18 December 2025, accessed 2026-10-27GraphRunner가 계산그래프를 소유하고 실행가능 노드를 환경별 scheduler에 보낸다.
ORIGINAL PASSAGEthe GraphRunner owns the computational graphOptiver, Research at scale, From Scheduler-Owned DAGs to In-Process Orchestration, 18 December 2025, accessed 2026-10-27직렬 실행시간은 약 11년으로 계산됐다.
ORIGINAL PASSAGEroughly 11 years of runtimeOptiver, Research at scale, When Pipelines Scale Up, 18 December 2025, accessed 2026-10-27Show the original briefing text
구분: Optiver 공식 기술 글·대규모 ML 연구 오케스트레이션
발표일: 2025년 12월 18일
선정 이유: 최신성보다 research→production 계산경로와 데이터 배치의 기술적 가치 때문에 선정했다. 채용공고가 아니다.
핵심 요약
Optiver 원문은 한 시장일 특징생성에 1시간이 걸리면 1,000거래일이 직렬 6주, 100종목은 10만개 넘는 작업과 약 11년으로 불어난다고 설명한다. GraphRunner가 Python 프로세스에서 DAG를 소유하고 노드별로 on-prem, cloud, local pool에 보낸다. S3·NFS·Postgres·Delta를 공통 catalog로 감춰 연구자가 데이터 위치보다 가설검증에 집중하게 하지만 구체 모델과 P&L은 공개하지 않았다.
실무 시사점
퀀트 수익화의 병목은 모델 한 번의 정확도보다 재현 가능한 실험 회전수와 production 전환시간일 수 있다. 다만 무제한 병렬화는 비용과 데이터 복제 불일치를 키우므로 계산을 데이터 쪽으로 보내고 lineage·환경·결과를 함께 고정해야 한다. 연구자 코드에 cloud 분기를 넣지 않는 노드단위 배치는 같은 파이프라인을 여러 계산환경에서 재현하게 한다.
한국 시장 복제 아이디어
국고채 전 종목·선물·IRS의 날짜×종목 특징 DAG를 만들고 serial, 날짜 shard, 종목×날짜 shard를 비교한다. wall-clock, compute-hour, cache hit, 재실행 일치율, 데이터 이동량과 비용을 기록하고 최종 신호의 비용차감 markout은 동일 simulator에서 평가한다.