많은 특징을 저장했어도 한 실험에서 쓰는 특징은 일부일 수 있다. 모든 열을 매번 읽으면 계산 전 데이터 이동에 시간을 쓴다. G-Research의 Parquet 글은 열을 별도로 저장해 필요한 특징만 조회하는 구조를 설명한다. 금융자료가 커질수록 저장형식이 연구비용과 조회성능에 영향을 준다는 문제다.
Parquet은 행 묶음을 병렬처리 단위로, 각 열의 묶음을 선택적 읽기 단위로 사용한다. 더 작은 페이지에서는 인코딩과 압축을 적용한다. 필요 없는 열을 제외하는 컬럼 가지치기와 필터에 맞지 않는 구간을 읽기 전에 거르는 조건 푸시다운을 통해 데이터 이동을 줄인다.
같은 값이 반복되거나 값의 차이가 작을 때 적합한 인코딩은 저장량을 줄일 수 있다. 다만 압축을 풀고 값을 복원하는 CPU 작업이 늘 수 있어 파일 크기만으로 우열을 판단하면 안 된다. 공개 글은 이런 절충을 설명하며 실제 거래신호나 손익효과는 공개하지 않는다. 자료의 모양과 조회패턴에 맞춘 비교가 필요하다.
SCOPE저장구조의 공개 기술 설명이다. 특정 압축설정이 모든 채권자료에 가장 빠르거나 모델 성능을 높인다고 일반화하지 않는다.
Evidence & verification ↓Sources & evidence
Original passages appear only when checked against the publication. Earlier briefing records are identified separately.
필요한 열만 읽는 금융데이터0 primary · 1 archived +
These 1 records come from the earlier briefing, not a newly verified original publication. They are retained in the original briefing below; no primary-source quotation is shown.
Read the earlier record ↓Show the original briefing text
구분: 퀀트회사 공식 기술 블로그·금융 데이터 인프라
발표일: 2026년 9월 21일
핵심 요약
G-Research의 Apache Parquet 기술 글은 대량 금융데이터를 매일 처리할 때 저장구조가 인프라 비용과 조회성능에 직접 영향을 준다고 설명한다. Parquet은 row group을 병렬처리 단위로, column chunk를 필요한 열만 읽는 단위로, page를 압축·인코딩 단위로 사용한다. 컬럼 가지치기와 조건 푸시다운은 수백·수천 개 특징 가운데 일부만 읽는 퀀트 연구의 I/O를 줄이고, dictionary·run-length·delta 인코딩과 압축 방식은 CPU와 저장비용의 절충을 결정한다. 이는 공개된 데이터 인프라 설명이며 실제 알파·모델·P&L 개선폭은 공개하지 않았다.
실무 시사점
공개자료에 기반한 추론으로 연구→생산 속도는 모델 학습시간만이 아니라 시점 데이터 검색과 특징 선택 비용에서 결정된다. 다만 row group 통계가 미래정보를 포함하거나 스키마 변경이 조용히 반영되면 빠른 조회가 잘못된 백테스트를 더 빨리 만들 수 있다.
한국 시장 복제 아이디어
국고채·회사채 체결, 민평, 공시와 RFQ를 거래일·상품군 기준 row group으로 저장하고 자주 쓰는 특징은 함께 읽히도록 배치한다. 수신시각과 유효시각, 스키마·파일 해시를 보존하고 열 가지치기·조건 푸시다운 전후의 조회시간·비용·재현성을 측정한다.