알고리즘 연구는 원시 시장자료를 반복해서 읽고 같은 입력에서 아이디어를 비교한다. HRT는 수백 PB 규모에서 기존 저장장치의 비용·확장성과 noisy neighbor 문제가 커지자 append-only 분산파일시스템 Blobby를 만들었다. 목표는 단일 client 최고속도보다 많은 연구자가 동시에 읽을 때의 높은 aggregate throughput이다.
기본 block은 data chunk 6개와 parity chunk 3개로 구성돼 어느 3개 chunk가 사라져도 복구한다. 여러 rack에 분산한 대용량 순차읽기 중심의 선택이므로 작은 임의읽기나 제자리 수정이 많은 workload에는 같은 설계가 최적이라고 볼 수 없다.
분산학습에서는 여러 host의 loader 가운데 하나만 늦어도 나머지가 기다린다. HRT는 noisy host의 영향과 storage 자체 지연을 분리하려고 통제된 prober로 client 체감 꼬리지연을 측정한다. 모델실험의 wall-clock을 줄이려면 평균 대역폭과 함께 가장 느린 loader, 복구와 데이터 버전 일치까지 관리해야 한다.
SCOPEHRT의 공식 인프라 설명이며 Blobby는 글 작성 시 soft-production 단계였다. 전략별 학습속도 개선치, 예측성과와 P&L은 공개되지 않았다.
Evidence & verification ↓Sources & evidence
Original passages appear only when checked against the publication. Earlier briefing records are identified separately.
Building a Distributed Filesystem for Scalable Research4 primary · 0 archived +
HRT는 수백 PB의 데이터를 저장하는 비용과 확장문제를 설명한다.
ORIGINAL PASSAGEhundreds of petabytes of dataBuilding a Distributed Filesystem for Scalable Research, Why?, accessed 2026-11-02Blobby 기본 block은 data chunk 6개와 code chunk 3개로 구성된다.
ORIGINAL PASSAGE6 data chunks and 3 code chunksBuilding a Distributed Filesystem for Scalable Research, Data Layout, accessed 2026-11-02어느 3개 chunk 손실도 견딘다.
ORIGINAL PASSAGEa loss of any 3 chunksBuilding a Distributed Filesystem for Scalable Research, Data Layout, accessed 2026-11-02분산학습은 한 loader의 정체가 전체 job을 멈출 수 있어 꼬리지연 관리가 중요하다.
ORIGINAL PASSAGEvery important to minimize tail latencyBuilding a Distributed Filesystem for Scalable Research, Prober, accessed 2026-11-02Show the original briefing text
구분: Hudson River Trading 공식 기술 글·대규모 연구데이터 인프라
발표일: 2025년 8월 19일
선정 이유: 최신성보다 연구데이터가 모델학습과 거래전략으로 이어지는 기술적 가치 때문에 선정
핵심 요약
HRT 원문은 수백 PB 데이터와 동시 모델학습을 위해 자체 분산파일시스템 Blobby를 구축한 과정을 설명한다. 기본 block은 data chunk 6개와 parity chunk 3개로 나눠 어느 3개 chunk가 사라져도 복구하며, chunk 크기는 8MB다. 여러 학습 job 중 하나의 data loader만 지연돼도 전체가 멈추므로 통제된 prober로 client 체감 꼬리지연을 따로 측정한다. 이 글은 인프라 사례이며 전략별 P&L은 공개하지 않는다.
실무 시사점
퀀트 연구의 병목은 GPU만이 아니라 데이터 내구성, 동시접근과 꼬리지연이다. 평균 처리량이 높아도 한 shard의 지연이 분산학습 전체를 멈추면 research-to-production 시간이 늘어나므로 실제 사용자 traffic과 독립 prober를 분리해 관측해야 한다.
한국 시장 복제 아이디어
국고채·회사채·IRS 원시자료와 feature snapshot을 append-only block으로 보관하고 연구 job별 데이터 버전과 loader 지연을 기록한다. 기존 NFS와 분산저장을 동시 학습완료시간, 꼬리지연, 재실행 일치율, 장애 중 복구시간, 저장비용과 데이터 손실 허용범위로 비교한다.