분석용 컬럼 파일은 필요한 열을 길게 읽을 때 효율적이지만 ML 학습은 셔플된 개별 행을 반복해 요청한다. Parquet의 페이지와 행그룹은 이 패턴에서 불필요한 데이터를 읽고, 목록·구조체 같은 중첩 필드는 작은 요청을 더 많은 I/O로 늘린다. G-Research는 저장포맷과 하드웨어 사이의 이 불일치를 문제로 잡았다.
페이지·행그룹과 캐시를 조정한 Parquet은 기본값보다 랜덤 접근이 60배 넘게 빨라졌지만 순차 스캔과 메모리를 희생했다. 시험한 NVMe가 초당 수십만회의 4KiB 랜덤 읽기를 처리해도 포맷의 추가 읽기가 장치 성능을 가렸다. Lance는 고정폭 필드를 한 번, 가변폭을 두 번의 I/O로 찾도록 설계한다.
불변 매니페스트와 버전, 인덱스와 Arrow 통합은 같은 데이터 스냅숏으로 백테스트를 다시 돌리는 경로도 만든다. 그러나 공식 인프라 설명이므로 알파나 P&L을 입증하지 않는다. 채권 데이터에서는 행 읽기의 상위꼬리 지연과 셔플 처리량뿐 아니라 전체 스캔, 메모리와 버전 재현성을 함께 비교해야 한다.
SCOPEG-Research의 공식 기술설명으로 동일 하드웨어의 독립 벤치마크와 성격이 다르다. 데이터 폭, 중첩도, 캐시와 클라우드 객체저장 비용에 따라 결과가 달라지고 거래성과를 입증하지 않는다.
Evidence & verification ↓Sources & evidence
Original passages appear only when checked against the publication. Earlier briefing records are identified separately.
Lance: Rebuilding Columnar Storage for Random Access and AI Workloads2 primary · 0 archived +
세밀하게 튜닝한 Parquet은 기본설정보다 랜덤 접근 성능이 60배 넘게 개선됐다.
ORIGINAL PASSAGEover 60x better random-access performance than the defaultsG-Research official tech blog, Parquet tuning discussion, accessed 2026-10-21시험한 NVMe 장치는 초당 약 85만회의 4KiB 랜덤 읽기를 처리했다.
ORIGINAL PASSAGEaround 850,000 random 4 KiB reads per secondG-Research official tech blog, hardware and I/O discussion, accessed 2026-10-21Show the original briefing text
구분: G-Research 공식 기술블로그·AI 데이터 저장 인프라
발표일: 2026년 10월 19일
핵심 요약
G-Research 원문은 순차 분석에 맞춘 Parquet이 ML 셔플과 임의 행 읽기, 특히 중첩 데이터에서 과도한 읽기를 일으키는 문제를 다룬다. 세밀하게 조정한 Parquet도 기본값보다 랜덤 접근이 60배 넘게 빨라졌지만 스캔 성능과 메모리를 희생했고, 시험한 NVMe는 초당 약 85만회의 4KiB 랜덤 읽기를 처리했다. Lance는 고정폭 필드를 한 번, 가변폭을 두 번의 I/O로 읽고 불변 매니페스트와 버전, 인덱스, Arrow 통합을 결합하지만 이는 인프라 설명이며 알파나 P&L 증거는 아니다.
실무 시사점
채권 연구의 병목은 모델 연산보다 수십억 호가에서 무작위 미니배치를 재현하는 읽기 경로일 수 있다. 파일 포맷을 비교할 때 평균 스캔속도뿐 아니라 행 단위 I/O, 중첩 스키마, 캐시 메모리, 셔플 처리량과 특정 데이터 버전으로 백테스트를 재실행할 수 있는지를 함께 측정해야 한다.
한국 시장 복제 아이디어
국고채 호가·회사채 RFQ·뉴스 임베딩을 동일 Arrow 스키마로 만들고 Parquet 기본값, 튜닝본과 Lance를 비교한다. 고정 시드 셔플의 초당 표본수, p99 읽기지연, 메모리, 전체 스캔시간과 과거 버전 재현성에 가중 점수를 두고 생산비용까지 포함해 채택 여부를 결정한다.
오늘 자료는 채권 AI의 위험이 예측오차 밖에서 먼저 쌓일 수 있음을 보여준다. AI 인프라의 장기부채와 계약서 차이, 모델의 통제강도, 데이터 가중치와 저장 버전이 모두 같은 의사결정의 입력이다. 한국 데스크에서는 모델 점수보다 먼저 자금조달 주체, 원문 조항, 데이터 계보와 중단권한이 끝까지 추적되는지 확인해야 한다.