고대역폭 network가 있는데도 column scan이 느린 이유는 무엇일까. Parquet+Zstd는 압축을 더 많이 해 전송 byte를 줄이지만 CPU가 compressed input을 충분히 빨리 소비하지 못하면 network가 기다린다. BtrBlocks는 dictionary·run-length·SIMD bit-packing·FSST 같은 가벼운 encoding을 cascade하고 각 block의 백분의 일을 표본으로 삼아 최대 세 단계 조합을 고른다.
Public BI Benchmark에서 BtrBlocks의 압축률은 5.28배로 Parquet+Zstd 6.05배보다 낮았다. 대신 메모리 decompression은 3.8배 빨랐고 S3 end-to-end scan은 86Gbit/s까지 올라갔다. 더 많은 byte를 보내더라도 CPU가 가벼운 encoding을 빠르게 풀면 network를 더 잘 채울 수 있다는 뜻이다. 이 비교는 동일한 공개 benchmark에서 측정한 storage·scan 성능이며 금융모델의 학습성과로 볼 수 없다.
가격처럼 정밀도가 낮은 double은 significant digits와 십진 지수로 나누는 pseudodecimal encoding에 잘 맞지만 embedding 같은 고정밀 값에는 불리하다. BtrBlocks는 block compressor라 metadata·statistics·index를 제공하지도 않는다. G-Research 내부 P&L 자료가 아니므로 실무 연결은 같은 시간에 더 많은 replay와 OOS 검증을 돌릴 수 있다는 간접경로로만 해석해야 한다.
SCOPEG-Research가 제3자 open-source 연구와 Public BI Benchmark를 해설한 글이다. 회사 내부 금융데이터, 모델 학습속도나 실거래 P&L 성과는 제시하지 않았다.
Evidence & verification ↓Sources & evidence
Original passages appear only when checked against the publication. Earlier briefing records are identified separately.
BtrBlocks: Columnar compression for the high-bandwidth cloud6 primary · 0 archived +
Parquet+Zstd는 고대역폭 instance에서 compressed input 기준 24.8Gbit/s에 그쳤다.
ORIGINAL PASSAGE24.8 Gbit/sG-Research, BtrBlocks, When the network outruns the CPU, 2026-11-02, accessed 2026-11-11encoding 선택은 block의 1%를 표본으로 사용한다.
ORIGINAL PASSAGE1%G-Research, BtrBlocks, Cascades of cheap encodings, 2026-11-02, accessed 2026-11-11공개 benchmark의 압축률은 BtrBlocks 5.28배, Parquet+Zstd 6.05배였다.
ORIGINAL PASSAGE5.28x versus 6.05xG-Research, BtrBlocks, The trade-off in numbers, 2026-11-02, accessed 2026-11-11BtrBlocks의 메모리 decompression은 Parquet+Zstd보다 3.8배 빨랐다.
ORIGINAL PASSAGE3.8x fasterG-Research, BtrBlocks, The trade-off in numbers, 2026-11-02, accessed 2026-11-11S3 end-to-end scan은 86Gbit/s에 도달했다.
ORIGINAL PASSAGEIn an end-to-end scan from Amazon S3 it reached 86 Gbit/sG-Research, BtrBlocks, The trade-off in numbers, 2026-11-02, accessed 2026-11-11pseudodecimal encoding은 고정밀 embedding에 부적합하다.
ORIGINAL PASSAGEhigh-precision dataG-Research, BtrBlocks, Pseudodecimal encoding, 2026-11-02, accessed 2026-11-11Show the original briefing text
구분: G-Research 공식 기술 글·대규모 퀀트 데이터 스캔과 압축
발표일: 2026년 11월 2일
채용공고 아님: 회사의 공식 open-source 기술 검토다.
핵심 요약
G-Research 원문은 100Gbit/s cloud network에서 저장공간보다 CPU decompression이 전체 column scan의 병목이 될 수 있음을 설명한다. 원 연구의 Public BI Benchmark에서 BtrBlocks는 Parquet+Zstd보다 압축률은 5.28배 대 6.05배로 낮았지만 메모리 decompression은 3.8배 빨랐고, S3 end-to-end scan은 86Gbit/s에 도달했다. G-Research의 내부 거래성과가 아니라 공개 벤치마크를 해설한 결과이며, BtrBlocks는 metadata·index·query planner를 제공하지 않는 좁은 block compressor다.
실무 시사점
채권 tick·호가·체결을 반복 스캔하는 연구에서는 더 높은 압축률이 반드시 더 빠르고 싼 실험을 뜻하지 않는다. 네트워크가 빨라지면 compressed input을 소비하는 CPU가 병목이 되고, 가격 같은 저정밀 double은 pseudodecimal encoding과 cascade에서 이점을 볼 수 있다. 반면 embedding처럼 고정밀 vector는 부적합하며, 실제 P&L 연결은 같은 시간에 더 많은 검증실험을 돌리는 간접경로일 뿐이다.
한국 시장 복제 아이디어
국채선물 L3, 국고채 RFQ, IRS tick의 날짜·종목 column을 Parquet+Zstd·Snappy·BtrBlocks로 복제해 압축률, cold S3 scan, CPU시간, cloud 비용과 feature dataset 생성시간을 비교한다. 가격·수량·timestamp·문자열·embedding을 따로 측정하고 query pruning을 동일하게 만든다. 연구자당 봉인 OOS 실험 수가 늘어나는지도 보되 결과 품질과 인프라 속도를 분리한다.
오늘의 데스크 결론
오늘 자료는 범용화를 서두르기 전에 검증 경계를 먼저 그어야 한다는 공통점을 보여준다. 주문집행 정책은 익숙한 스프레드 범위 안에서 이전됐고, 연구 agent는 한 번뿐인 holdout에서 무너졌으며, 시장조성 reward는 단순 합성환경에서도 행동을 바꿨다. 퀀트회사의 공개자료는 이 과정을 simulation·저지연 실행·데이터 스캔으로 빠르게 만들지만, 속도 자체가 alpha나 P&L을 보장하지는 않는다.