가격예측 연구가 수만 종목과 긴 이력으로 커지면 GPU 수보다 저장계층이 먼저 병목이 될 수 있다. XTX는 수만 개가 넘는 금융상품의 가격예측을 거래에 사용한다고 밝히며, 원시장자료부터 GPU 작업 사이의 임시 랜덤접근 데이터까지 한 시스템에서 처리하도록 TernFS를 설계했다. 설계 뒤 생산 적용을 거쳐 이천이십사년 중반부터 모든 머신러닝 작업이 TernFS를 사용했다.
이천이십오년 구월 회사 공개치로는 세 데이터센터의 삼만 개 디스크와 일만 개 플래시 드라이브에 오백 PB 이상을 저장했고 피크 처리량은 초당 수 TB였다. 파일은 완전히 기록된 뒤에만 디렉터리 항목으로 연결돼 프로세스가 중단한 반쪽 파일이 학습자에게 보이지 않는다. 데이터 블록마다 CRC 체크섬을 두고 Reed–Solomon 부호로 여러 드라이브 손실을 복구한다.
이 구조는 연구자가 같은 데이터 스냅샷을 다시 읽고 부분산출물을 완성본으로 오인하지 않게 한다. 반면 TernFS는 불변 파일과 큰 파일에 맞춰져 작은 파일이나 일반 POSIX 수정작업에는 제약이 있고, 권한관리도 외부 서비스에 맡긴다. 공개자료는 인프라의 규모와 설계를 보여줄 뿐 특정 모델·라벨·예측기간·수익기여는 공개하지 않는다.
SCOPEXTX가 직접 공개한 운영설계와 규모다. 무손실·처리량 수치는 독립 감사값이 아니며, TernFS가 개별 예측 정확도나 거래 P&L을 높였다는 증거는 공개되지 않았다.
Evidence & verification ↓Sources & evidence
Original passages appear only when checked against the publication. Earlier briefing records are identified separately.
TernFS — an exabyte scale, multi-region distributed filesystem4 primary · 0 archived +
XTX는 5만 개가 넘는 금융상품의 가격예측을 거래에 사용한다고 설명한다.
ORIGINAL PASSAGEover 50,000 financial instruments worldwideXTX Tech Blog, opening paragraph, accessed 2026-10-092024년 중반부터 모든 XTX 머신러닝 작업이 TernFS를 사용했다.
ORIGINAL PASSAGEmachine learning effortsXTX Tech Blog, Another filesystem? section, accessed 2026-10-092025년 9월 배치는 세 데이터센터의 3만 디스크와 1만 플래시에 500PB 이상을 저장했다.
ORIGINAL PASSAGEmore than 500PBXTX Tech Blog, Another filesystem? section, deployment paragraph, accessed 2026-10-09불변 파일은 완성된 뒤에만 연결돼 부분 기록 파일이 보이지 않으며 블록은 체크섬과 Reed–Solomon 부호로 보호된다.
ORIGINAL PASSAGEhalf-written files are not visibleXTX Tech Blog, Making TernFS POSIX-shaped and Keeping blocks in check, accessed 2026-10-09Show the original briefing text
구분: 퀀트·마켓메이킹 회사 공식 기술블로그·ML 데이터 인프라
발표일: 2025년 9월
선정 사유: 최신성보다 대규모 시장자료와 ML 연구를 한 저장계층에서 운영한 기술적 가치 때문에 선정
핵심 요약
XTX Markets 공식 기술 글은 5만 개가 넘는 금융상품의 가격예측을 거래에 쓰는 연구환경을 위해 자체 분산파일시스템 TernFS를 만든 과정을 공개했다. 2024년 중반부터 모든 머신러닝 작업이 TernFS를 사용했고, 2025년 9월에는 세 데이터센터의 3만 개 디스크와 1만 개 플래시 드라이브에 500PB 이상을 저장하며 피크 처리량은 초당 수 TB라고 회사가 밝혔다. 파일은 완성된 뒤에만 디렉터리에 연결돼 중간 파일이 보이지 않으며 4KiB 단위 CRC32-C와 Reed–Solomon 부호로 손상과 드라이브 실패를 다룬다. 구체적인 모델·라벨·예측기간·P&L은 공개되지 않았다.
실무 시사점
연구 재현성은 모델 코드만 버전관리해서 확보되지 않는다. 부분 기록의 노출, 데이터 손상, 지역 장애를 막고 원자료부터 특징·모델까지 같은 스냅샷 계보를 재생할 수 있어야 연구결과와 생산결과의 차이를 좁힐 수 있다.
한국 시장 복제 아이디어
국고채 틱·RFQ·민평·포지션을 불변 원본과 파생 특징으로 분리하고 완성 전 파일은 학습에서 숨긴다. 체크섬·스냅샷 ID·지역복제를 도입한 경로와 기존 경로의 재현 성공률, 손상 탐지시간, 학습 I/O 처리량, p99 지연을 비교한다.