예측모형이 좋아도 데이터가 늦거나 화면마다 계산정의가 다르면 연구와 실거래의 원인을 연결할 수 없다. Optiver는 분산된 온프레미스 시스템을 하나의 petabyte급 Databricks 플랫폼으로 옮겼다. Spark와 Structured Streaming을 최적화해 데이터 수신부터 화면까지의 지연을 분 단위에서 초 단위로 줄였다고 설명한다.
트레이더는 Dash 앱을 Databricks에 직접 올려 엔지니어 지원 없이 화면을 만들고 반복개선할 수 있다. 규모와 신뢰성은 smart caching, version control과 모듈식 대시보드 생성으로 다뤘고, Unity Catalog로 세밀한 접근통제를 유지했다. 속도만 줄인 것이 아니라 계산의 계보와 운영권한을 같은 플랫폼에 묶은 설계다.
채권 데스크에서는 예측값, 체결률, mark-out, 재고 듀레이션 노출, 데이터 지연과 모델버전을 같은 event time으로 남겨야 한다. 그래야 손익저하가 신호·집행·인프라 중 어디서 왔는지 분해할 수 있다. 회사 글은 생산 파이프라인의 구조를 보여주지만 구체적인 모델, 위험한도, kill switch와 전략별 P&L은 공개하지 않았다.
SCOPEOptiver의 공식 엔지니어링 소개이며 내부 모델이나 거래성과를 공개한 실험보고서가 아니다. 공개된 사실에서 인프라가 특정 P&L을 만들었다고 추론할 수 없다.
Evidence & verification ↓Sources & evidence
Original passages appear only when checked against the publication. Earlier briefing records are identified separately.
Real-Time Trading Dashboards with Databricks Apps and Dash3 primary · 0 archived +
분산 시스템은 petabyte급 Databricks 플랫폼으로 통합됐다.
ORIGINAL PASSAGEunified, petabyte-scale Databricks platformOptiver, From Fragmented Systems to Live Insights at Scale, 29 January 2026, accessed 2026-10-23End-to-end 지연은 분 단위에서 초 단위로 줄었다.
ORIGINAL PASSAGECut end-to-end latency from minutes to secondsOptiver, From Fragmented Systems to Live Insights at Scale, 29 January 2026, accessed 2026-10-23규모와 신뢰성은 캐시·버전관리·모듈식 생성으로 다뤘다.
ORIGINAL PASSAGEsmart caching, version control, and modular dashboard generationOptiver, From Fragmented Systems to Live Insights at Scale, 29 January 2026, accessed 2026-10-23Show the original briefing text
구분: Optiver 공식 기술 블로그·실시간 트레이딩 데이터 파이프라인
발표일: 2026년 1월 29일
채용공고 아님: 회사가 Databricks Data + AI Summit에서 공개한 엔지니어링 사례다.
핵심 요약
Optiver는 분산된 온프레미스 시스템을 petabyte급 Databricks 플랫폼으로 통합하고 Spark Structured Streaming을 조정해 end-to-end 지연을 분 단위에서 초 단위로 줄였다고 설명한다. Dash 앱을 Databricks에 직접 호스팅해 트레이더가 엔지니어 지원 없이 화면을 만들고 반복개선하도록 했으며, smart caching·version control·모듈식 생성으로 규모와 신뢰성 문제를 다뤘다. Unity Catalog의 세밀한 접근통제도 유지했다. 이는 회사 공식 시스템 설명이며 전략 성과나 P&L 증거는 아니다.
채권 트레이딩·리스크관리·시장미시구조 관점 실무 시사점
실시간 AI 운영에서 대시보드는 사후 보고서가 아니라 연구-배포-P&L 피드백의 관측층이다. 예측값, 체결률, mark-out, 재고 DV01, 데이터 지연과 모델 버전을 같은 event time으로 묶어야 성능저하가 신호·집행·인프라 중 어디서 왔는지 구분할 수 있다. 캐시와 모듈화는 속도뿐 아니라 동일 계산의 재현과 장애범위 축소에 기여한다.
한국 시장 복제 아이디어
국채선물·현물·IRS 피드를 공통 event schema로 정규화하고, 데이터 수신-특징계산-예측-주문-체결 단계별 지연과 버전을 기록한다. 기존 배치 대시보드와 스트리밍 화면을 비교해 탐지지연, 결측 경보시간, 잘못된 중단 횟수와 장애복구시간을 측정한다. P&L은 단독 KPI가 아니라 집행·데이터 품질과 함께 본다.