공식 저장소는 이전 데이터 버전과 스냅샷으로 돌아가는 time travel, S3·LMDB 저장, 수십억 행의 시계열 조회를 지원한다고 설명한다. 기록된 버전이 이후 갱신으로 손상되지 않는 구조는 당시 알려진 데이터만으로 백테스트를 재현하는 데 중요하다.
국고채 체결·호가, 민평, 등급과 공시를 수신시각 기준의 불변 버전으로 저장하고 모든 연구·배포에 스냅샷 ID를 붙인다. 연구와 생산의 쿼리 형식을 통일해 수정자료가 과거 백테스트에 소급 유입되는 것을 자동 검사한다.
편집 전 브리핑 원문 펼치기
구분: 퀀트회사 공식 데이터 기술·오픈소스 저장소
발표일: 2023년 3월 공개
선정 이유: 최신성보다 실제 퀀트 데이터 인프라의 버전·생산화 구조라는 기술적 가치 때문에 선정
핵심 요약
Man Group이 육성한 ArcticDB는 회사의 퀀트 데이터과학 기반으로, 개인 연구 데이터베이스부터 생산시스템까지 같은 방식으로 대규모 데이터를 다루도록 설계됐다. 공식 저장소는 Python에서 Pandas DataFrame을 S3·LMDB에 읽고 쓰면서 C++ 처리·압축 엔진으로 수십억 행의 시계열을 조회하고, 이전 버전과 사용자 정의 스냅샷으로 돌아가는 time travel을 지원한다고 설명한다. 하나의 symbol에 20년치 40만 개 넘는 증권을 저장할 수 있고, 기록된 버전은 이후 업데이트로 손상되지 않는 영속 구조를 사용한다는 것이 공개된 기술 사실이다. Man Group CTO는 전략생성·포트폴리오 최적화·투자리스크 관리에 도움이 됐다고 공식적으로 설명하지만, 특정 알파·모델·시장별 손익은 공개되지 않았다.
실무 시사점
시점 데이터베이스는 빠른 저장소를 넘어 백테스트 당시 실제로 알 수 있었던 값과 현재 수정값을 구분하는 통제장치다. 연구자가 쓴 DataFrame API를 생산에서도 유지하면 재작성 과정의 의미 변화와 research→production 지연을 줄일 수 있지만, 실제 수익효과는 데이터 품질·모델·집행을 포함한 전체 체계에 달려 있다.
한국 시장 복제 아이디어
국고채 체결·호가, 민평, 신용등급, 발행·공시를 수신시각 기준의 불변 버전으로 저장하고 모든 연구와 모델 배포에 스냅샷 ID를 붙인다. 연구용 Pandas 인터페이스와 생산 저장형식을 통일해 같은 쿼리를 재실행하며, 수정공시나 과거 데이터 보정이 당시 백테스트에 소급 유입되지 않도록 point-in-time 검사를 자동화한다.