과거 결과를 재현할 때 나중에 알려진 수정값을 섞으면 미래정보를 사용하게 된다. Versioned HDF5는 자료의 이전 상태를 보존해 이를 피하도록 돕는다. 큰 배열을 청크로 나누고 해시로 비교해 바뀐 조각만 추가 저장한다.
각 버전은 기존·신규 조각을 가상 데이터셋으로 연결해 전체 상태를 재구성한다. 117KB 배열의 5,000개 버전 예시에서 별도 파일 약 572MB가 청크 재사용으로 약 252MB가 됐다. 바뀌지 않은 값을 매번 중복 저장하지 않아 줄어든 특정 비교결과다.
절감폭은 자료의 변경패턴에 달리며 모든 데이터에 같은 비율이 적용되지는 않는다. 버전이 있어도 공개시점과 사용범위를 잘못 정하면 미래정보가 남는다. 라이브러리 설계와 저장 비교는 재현을 돕는 기반의 증거다. 실제 투자신호의 예측력이나 손익을 검증한 결과로 받아들여서는 안 된다.
SCOPE특정 배열의 기술 벤치마크다. 실제 전략과 거래손익은 공개하지 않는다.
Evidence & verification ↓Sources & evidence
Original passages appear only when checked against the publication. Earlier briefing records are identified separately.
나중에 고친 데이터를 빼는 시간여행0 primary · 1 archived +
These 1 records come from the earlier briefing, not a newly verified original publication. They are retained in the original briefing below; no primary-source quotation is shown.
Read the earlier record ↓Show the original briefing text
구분: 퀀트회사 공식 기술문서·연구 데이터 인프라
발표일: 2021년(원문에 연도만 표시)
선정 이유: 최신성보다 point-in-time 재현성의 기술적 가치 때문에 선정
핵심 요약
D. E. Shaw와 Quansight Labs의 공식 기술문서는 과거 T1의 결과를 만들 때 이후 T2에 알려진 데이터를 섞지 않으려면 버전 데이터셋을 통한 ‘시간여행’이 정확성과 재현성에 필수라고 설명한다. Versioned HDF5는 큰 배열을 청크로 나누어 해시하고, 바뀐 청크만 추가 저장한 뒤 가상 데이터셋으로 각 시점의 전체 상태를 재구성하는 구조를 쓴다. 공식 예시에서는 117KB 배열의 5,000개 버전을 별도 파일로 저장하면 약 572MB인 경우가 청크 재사용으로 약 252MB가 됐다. 이는 공개된 데이터 라이브러리 설계와 벤치마크 사실이며 D. E. Shaw의 실제 알파, 라벨, 전략별 P&L은 공개되지 않았다.
실무 시사점
채권 연구의 핵심 실패는 가격모델보다 수정 공시·정정 체결·사후 확정 지표를 과거로 되돌려 쓰는 시점 누출에서 자주 생긴다. 코드와 모델만 버전관리해서는 부족하고, 백테스트가 본 원시 데이터 스냅샷과 변환계보를 같은 실험 ID로 고정해야 연구→생산→P&L 차이를 재현할 수 있다.
한국 시장 복제 아이디어
국고채·회사채 체결, 호가, 신평등급, 발행사 공시를 수신시각 기준의 변경불가 청크로 저장하고 정정분은 새 버전으로만 추가한다. 모든 백테스트에 데이터 버전 해시를 의무화하고, 운영 손익이 연구와 달라지면 당시 스냅샷부터 다시 재생한다.