시계열이 나중에 수정되면 현재 파일로는 당시 연구조건을 재현하기 어렵다. ArcticDB는 자료의 이전 버전과 사용자 정의 스냅샷을 남겨 과거 상태로 돌아가는 기능을 제공한다. 연구용 데이터베이스와 생산시스템에서 같은 방식으로 자료를 다루도록 설계됐다.
Python에서 Pandas 표 자료를 S3·LMDB 저장소에 읽고 쓰며 C++ 처리·압축 엔진으로 시계열을 조회한다. 공식 저장소는 하나의 심볼에 20년치, 40만 개 넘는 증권의 자료를 저장할 수 있다고 설명한다. 심볼은 저장·조회할 데이터 묶음의 식별자다. 이전 버전은 후속 업데이트로 손상되지 않는 구조이므로 큰 자료를 빠르게 읽는 기능과 당시 상태를 보존하는 기능을 함께 제공한다. 다만 이 용량 설명이 모든 자료·하드웨어의 조회속도를 보장하는 벤치마크는 아니다.
회사는 전략생성·포트폴리오 최적화·위험관리에 도움이 됐다고 설명한다. 이는 도구의 사용맥락이며 특정 모델과 손익의 비교결과는 아니다. 과거 버전을 보존해도 발표시점과 입력범위를 잘못 정하면 미래정보가 섞일 수 있어 자료 시점 검증은 별도로 필요하다.
SCOPE저장기능의 공개 설명이다. 버전 보존만으로 미래정보 혼입이 자동 해결되거나 수익성이 입증되지는 않는다.
Evidence & verification ↓Sources & evidence
Original passages appear only when checked against the publication. Earlier briefing records are identified separately.
이전 데이터로 돌아가는 ArcticDB0 primary · 2 archived +
These 2 records come from the earlier briefing, not a newly verified original publication. They are retained in the original briefing below; no primary-source quotation is shown.
Read the earlier record ↓Show the original briefing text
구분: 퀀트회사 공식 데이터 기술·오픈소스 저장소
발표일: 2023년 3월 공개
선정 이유: 최신성보다 실제 퀀트 데이터 인프라의 버전·생산화 구조라는 기술적 가치 때문에 선정
핵심 요약
Man Group이 육성한 ArcticDB는 회사의 퀀트 데이터과학 기반으로, 개인 연구 데이터베이스부터 생산시스템까지 같은 방식으로 대규모 데이터를 다루도록 설계됐다. 공식 저장소는 Python에서 Pandas DataFrame을 S3·LMDB에 읽고 쓰면서 C++ 처리·압축 엔진으로 수십억 행의 시계열을 조회하고, 이전 버전과 사용자 정의 스냅샷으로 돌아가는 time travel을 지원한다고 설명한다. 하나의 symbol에 20년치 40만 개 넘는 증권을 저장할 수 있고, 기록된 버전은 이후 업데이트로 손상되지 않는 영속 구조를 사용한다는 것이 공개된 기술 사실이다. Man Group CTO는 전략생성·포트폴리오 최적화·투자리스크 관리에 도움이 됐다고 공식적으로 설명하지만, 특정 알파·모델·시장별 손익은 공개되지 않았다.
실무 시사점
시점 데이터베이스는 빠른 저장소를 넘어 백테스트 당시 실제로 알 수 있었던 값과 현재 수정값을 구분하는 통제장치다. 연구자가 쓴 DataFrame API를 생산에서도 유지하면 재작성 과정의 의미 변화와 research→production 지연을 줄일 수 있지만, 실제 수익효과는 데이터 품질·모델·집행을 포함한 전체 체계에 달려 있다.
한국 시장 복제 아이디어
국고채 체결·호가, 민평, 신용등급, 발행·공시를 수신시각 기준의 불변 버전으로 저장하고 모든 연구와 모델 배포에 스냅샷 ID를 붙인다. 연구용 Pandas 인터페이스와 생산 저장형식을 통일해 같은 쿼리를 재실행하며, 수정공시나 과거 데이터 보정이 당시 백테스트에 소급 유입되지 않도록 point-in-time 검사를 자동화한다.