대규모 자료를 여러 연구자가 동시에 읽으면 개별 조회속도만으로 운영을 평가하기 어렵다. HRT는 비용·확장성·사용자 간 간섭을 다루려고 Blobby를 구축했다고 설명한다. 기존 내용을 덮어쓰기보다 추가기록을 중심으로 하는 분산 저장구조다.
Blobby는 기본 블록을 6개 데이터 조각과 3개 패리티 조각으로 나눠 저장한다. 패리티는 일부 조각을 잃어도 원자료를 복구할 수 있게 하는 정보로, 이 설계는 임의의 세 조각 손실을 견디도록 만들었다. 여러 사용자의 총처리량을 우선하고 디스크·네트워크·업그레이드 실패를 의도적으로 일으키는 장애시험으로 자료보존을 점검한다. 단일 조회의 최고속도보다 많은 연구자의 동시 작업과 실패 뒤 복구를 함께 다루는 구조다.
설계는 최고 조회속도와 함께 동시사용·장애 중 지속성을 중요하게 본다. 글에는 전략·라벨·손익이 없다. 국내 평가도 단일 조회, 여러 사용자의 처리량, 장애 후 값의 일치율을 나눠야 공개 운영목표를 모델 성과와 혼동하지 않는다.
SCOPE저장시스템의 기술 설명이며 특정 모델과 손익 개선폭은 공개하지 않는다.
Evidence & verification ↓Sources & evidence
Original passages appear only when checked against the publication. Earlier briefing records are identified separately.
많은 연구자가 함께 읽는 저장기반0 primary · 1 archived +
These 1 records come from the earlier briefing, not a newly verified original publication. They are retained in the original briefing below; no primary-source quotation is shown.
Read the earlier record ↓Show the original briefing text
구분: 퀀트회사 공식 기술 블로그·대규모 연구 데이터 인프라
발표일: 2025년 8월 19일
선정 이유: 최신성보다 실제 모델 연구환경의 규모·격리·복구 설계라는 기술적 가치 때문에 선정
핵심 요약
HRT의 공식 기술 글은 회사가 대량의 데이터를 수집하고 연구자가 아이디어를 개발·검증해 거래전략으로 전환한다고 명시한다. 수백 페타바이트 규모에서 비용·확장성·동시 연구자의 간섭을 해결하려고 append-only 분산 파일시스템 Blobby를 직접 구축했으며, 기본 블록은 6개 데이터 조각과 3개 패리티 조각으로 저장해 임의의 세 조각 손실을 견디도록 설계했다. 많은 동시 사용자의 총처리량을 우선하고 지속적인 chaos testing으로 디스크·네트워크·업그레이드 실패에서 데이터 보존을 시험한다. 확인 가능한 사실은 연구 저장계층의 구조이며, 어떤 전략·모델·라벨이나 P&L 개선폭인지는 공개되지 않았다.
실무 시사점
공개자료에 기반한 추론으로는 연구자의 대규모 실험이 서로 방해하지 않고 실패 뒤 같은 데이터를 복구할 수 있어야 research→production 반복속도가 안정된다. 평균 처리속도보다 멀티테넌시, 데이터 내구성과 장애 재현성이 중요하며, 저장장애가 백테스트 표본이나 위험집계의 조용한 누락으로 이어지지 않게 해야 한다.
한국 시장 복제 아이디어
국고채·회사채 원시 시세, 주문·체결과 공시를 append-only 객체로 저장하고 날짜·시장·소스별 체크섬과 스냅샷을 붙인다. 연구팀별 자원격리, 동시 대량읽기, 디스크손실·네트워크 단절·부분파일 주입을 시험해 복구 후 행 수·순서·DV01 집계가 원본과 같은지 자동 검증한다.