기본 블록은 6개 데이터 조각과 3개 패리티 조각으로 저장돼 세 조각 손실을 견딘다. 평균 단일사용자 속도보다 많은 동시 작업의 총처리량을 우선하고, 지속적인 chaos testing으로 디스크·네트워크·업그레이드 실패에서 데이터가 보존되는지 확인한다.
국내 채권 데이터도 원시 시세·주문·체결·공시를 append-only로 저장하고 체크섬과 스냅샷을 붙인다. 디스크손실·부분파일·순서역전을 주입한 뒤 행 수와 DV01 집계가 원본과 같은지 검증해야 저장장애가 조용한 라벨오염으로 바뀌지 않는다.
편집 전 브리핑 원문 펼치기
구분: 퀀트회사 공식 기술 블로그·대규모 연구 데이터 인프라
발표일: 2025년 8월 19일
선정 이유: 최신성보다 실제 모델 연구환경의 규모·격리·복구 설계라는 기술적 가치 때문에 선정
핵심 요약
HRT의 공식 기술 글은 회사가 대량의 데이터를 수집하고 연구자가 아이디어를 개발·검증해 거래전략으로 전환한다고 명시한다. 수백 페타바이트 규모에서 비용·확장성·동시 연구자의 간섭을 해결하려고 append-only 분산 파일시스템 Blobby를 직접 구축했으며, 기본 블록은 6개 데이터 조각과 3개 패리티 조각으로 저장해 임의의 세 조각 손실을 견디도록 설계했다. 많은 동시 사용자의 총처리량을 우선하고 지속적인 chaos testing으로 디스크·네트워크·업그레이드 실패에서 데이터 보존을 시험한다. 확인 가능한 사실은 연구 저장계층의 구조이며, 어떤 전략·모델·라벨이나 P&L 개선폭인지는 공개되지 않았다.
실무 시사점
공개자료에 기반한 추론으로는 연구자의 대규모 실험이 서로 방해하지 않고 실패 뒤 같은 데이터를 복구할 수 있어야 research→production 반복속도가 안정된다. 평균 처리속도보다 멀티테넌시, 데이터 내구성과 장애 재현성이 중요하며, 저장장애가 백테스트 표본이나 위험집계의 조용한 누락으로 이어지지 않게 해야 한다.
한국 시장 복제 아이디어
국고채·회사채 원시 시세, 주문·체결과 공시를 append-only 객체로 저장하고 날짜·시장·소스별 체크섬과 스냅샷을 붙인다. 연구팀별 자원격리, 동시 대량읽기, 디스크손실·네트워크 단절·부분파일 주입을 시험해 복구 후 행 수·순서·DV01 집계가 원본과 같은지 자동 검증한다.