BigQuery로 기반을 중앙화한 뒤 자동 이상탐지, 데이터 검색·문서화와 워크플로 오케스트레이션 도구를 내부에 구축했다. 특정 알파나 손익은 공개하지 않았지만, 스키마 변경·지연·수정치가 조용히 연구와 생산을 갈라놓는 일을 막는 구조는 분명하다.
국내 채권 데이터에는 스키마 계약, 수신시각 기준 버전과 변환코드 해시를 붙인다. 결측·중복·수정률·지연 검사가 실패하면 재학습과 주문배포를 자동 차단하고, 수정 전후 결과를 같은 스냅샷에서 재생할 수 있게 한다.
편집 전 브리핑 원문 펼치기
구분: 퀀트회사 공식 엔지니어링 글·데이터 생산화
발표일: 2025년 11월 13일
선정 이유: 최신성보다 연구 재현성과 생산 장애를 줄이는 구체적 구현 가치 때문에 선정
핵심 요약
Two Sigma의 공식 엔지니어링 글은 데이터와 처리 인프라를 함께 버전 관리하고 Terraform으로 파이프라인을 선언하며 dbt로 SQL을 시험하는 방식을 공개한다. 데이터셋과 인프라 버전을 함께 보존해 과거 상태를 재생하고, CI/CD와 데이터 품질 점검의 커버리지 지표를 연결한다. 회사는 BigQuery로 분산된 기반을 중앙화한 뒤 자동 이상탐지, 데이터 검색·문서화와 복잡한 워크플로 오케스트레이션 도구를 내부에 구축했다고 설명한다. 이는 생산 기반에 관한 확인 가능한 사실이지만 특정 알파·모델·손익 개선폭은 공개되지 않았다.
실무 시사점
연구→생산 성과가 달라지는 가장 흔한 원인은 모델보다 스키마 변경, 지연, 수정치와 계산계보 누락이다. 공개자료에 기반한 추론으로 데이터 계약·자동시험·재생가능 스냅샷은 잘못된 신호의 배포를 막고 장애원인을 빨리 찾아 P&L 피드백 시간을 줄인다.
한국 시장 복제 아이디어
국고채 체결·민평·등급·공시·RFQ 데이터에 스키마 계약과 수신시각 기준 버전을 붙이고, 모든 연구·배포가 데이터 스냅샷과 변환코드 해시를 기록하게 한다. 결측·중복·수정률·지연을 CI에서 검사하고 실패하면 모델 재학습과 주문배포를 자동 차단하며, 수정 전후 결과를 즉시 재생할 수 있게 한다.