XTX는 50,000개가 넘는 금융상품의 가격예측을 거래에 사용하는 알고리즘 회사라고 설명한다. 모델이 늘면서 raw market data부터 GPU job 사이의 단기 random-access file까지 같은 연구계층에서 빠르게 읽어야 했다. TernFS는 이 병목을 외부 storage 제품에 맞추기보다 거래연구의 workload에 맞춰 설계한 시스템이다.
설계목표는 수십 exabyte, 수조 개 file과 수백만 동시 client다. 실제 배포는 30,000개 disk에 500PB 이상을 저장했고 여러 data center에 걸쳐 있었다. metadata shard, cross-directory coordinator, block service와 registry를 분리해 단일 장애점을 피하고 snapshot과 중복저장을 제공한다.
file을 완성한 뒤 directory에 연결하는 immutable 구조는 crash 중간 산출물이 정상 dataset으로 보이는 위험을 줄인다. 반면 작은 file과 제자리 수정에는 맞지 않는다. 채권 연구에서는 저장규모 자체보다 dataset hash와 snapshot을 backtest·model registry에 연결해 같은 입력이 같은 결과를 내는지 검증하는 것이 P&L 추론보다 먼저다.
SCOPEXTX의 공식 기술 글과 공개 source code 설명이다. 저장용량·구조는 확인되지만 모델정확도, 연구회전 개선률, 주문 latency와 전략 P&L은 공개되지 않았다.
Evidence & verification ↓Sources & evidence
Original passages appear only when checked against the publication. Earlier briefing records are identified separately.
TernFS — an exabyte scale, multi-region distributed filesystem3 primary · 0 archived +
XTX는 5만 개가 넘는 금융상품에 가격예측을 만든다고 설명한다.
ORIGINAL PASSAGEprice forecasts for over 50,000 financial instruments worldwideTernFS, introduction, accessed 2026-11-03TernFS의 설계범위는 수십 exabyte, 수조 file과 수백만 동시 client다.
ORIGINAL PASSAGEscale up to tens of exabytes, trillions of files, millions of concurrent clientsTernFS, design goals, accessed 2026-11-032025년 9월 배포는 3만 disk에 500PB 이상을 저장했다.
ORIGINAL PASSAGE500PB across 30,000 disksTernFS, deployment scale as of September 2025, accessed 2026-11-03Show the original briefing text
구분: XTX Markets 공식 기술 글·시장자료와 GPU 연구 저장계층
발표일: 2025년 9월
선정 이유: 최신성보다 ML 연구를 실제 거래예측으로 연결하는 데이터 인프라를 공개한 기술적 가치 때문에 선정했다.
핵심 요약
XTX Markets 원문은 5만 개가 넘는 금융상품의 가격예측에 쓰는 연구데이터를 위해 분산파일시스템 TernFS를 만든 과정을 공개한다. 설계목표는 수십 exabyte, 수조 개 file과 수백만 동시 client이고, 2025년 9월 배포본은 세 data center에서 500PB 이상을 저장했다. 2024년 중반부터 모든 ML workflow가 TernFS를 사용했으며 raw market data와 GPU job 사이의 단기 random-access 자료를 같은 계층에서 다룬다.
실무 시사점
모델개선 속도는 GPU 수뿐 아니라 원시자료 보존, snapshot, 동시읽기와 장애복구에 좌우된다. immutable file은 반쯤 쓴 결과가 연구데이터로 보이는 위험을 줄이지만 작은 file과 제자리 수정에는 비용이 있다. 공개 글은 storage 규모와 설계를 확인시켜 주지만 예측정확도·latency·P&L 개선을 분리해 제시하지 않는다.
한국 시장 복제 아이디어
국고채·회사채·IRS·선물 tick 원본을 immutable object와 날짜별 feature snapshot으로 보관하고 dataset hash를 backtest·model registry에 연결한다. 기존 저장계층과 비교해 재실행 일치율, GPU data-loader 꼬리지연, snapshot 복구시간, PB당 비용과 장애 중 손실된 연구시간을 평가한다.