연구 데이터가 커지자 Jane Street는 외부 스토리지의 확장한계를 피하려고 OCaml 객체저장소 Depot을 만들었다. 문제는 핵심 연구도구 일부가 일반 POSIX 파일경로를 요구한다는 점이었다. 모든 도구를 다시 쓰는 대신 Linux 커널과 사용자 프로그램 사이에서 파일연산을 번역하는 FUSE 서버를 두고, 연구 워크로드에 맞춰 읽기 전용으로 범위를 줄였다.
정확성 검증은 문서만 따르지 않았다. 기존 libfuse 구현이 주고받은 실제 요청과 응답을 캡처해 직렬화 회귀시험의 입력으로 사용했다. Depot의 칠천 자 이름과 여러 경로에서 참조할 수 있는 bundle처럼 POSIX와 다른 의미는 저장소 개발자와 연구자의 사용방식을 함께 보고 매핑했다. 긴 이름은 짧게 변환하고 경로별 inode를 만들어 기존 도구의 기대를 보존했다.
초기 대용량 읽기속도는 약 30MiB/s였다. 동시읽기를 허용해 커널 readahead를 작동시키자 처리량이 두 배가 됐고, OCaml 문자열을 거치는 이중 복사를 없애자 1.3GiB/s에 도달했다. 4GiB 파일에서 약 팔 GiB를 할당하던 복사가 전체 할당의 92%였다. CPU와 NIC는 포화되지 않아 다음 병목은 보수적인 readahead 창으로 추정됐다. 이는 연구 인프라 벤치마크이며 거래모델 성과나 P&L을 보여주지 않는다.
SCOPEJane Street 인턴 프로젝트의 공식 기술글이다. 공개수치는 특정 대용량 읽기 벤치마크이며 랜덤 접근, 다중사용자 부하, 장애복구나 거래성과를 평가하지 않는다.
Evidence & verification ↓Sources & evidence
Original passages appear only when checked against the publication. Earlier briefing records are identified separately.
연구용 객체저장소를 기존 도구에 어떻게 붙이는가6 primary · 0 archived +
Depot은 연구 워크로드를 위한 사내 확장형 객체저장소이며 기존 핵심 연구도구를 위해 읽기 전용 FUSE를 만들었다.
ORIGINAL PASSAGEservice research workloadsJane Street Tech Blog, introduction, accessed 2026-10-11실제 FUSE 요청과 응답을 캡처해 직렬화·역직렬화 회귀시험 자료로 사용했다.
ORIGINAL PASSAGEcapture the requests and responsesJane Street Tech Blog, FUSE in OCaml, accessed 2026-10-11이중복사는 4GiB 파일에서 약 8GiB를 할당했다.
ORIGINAL PASSAGE4 GiB fileJane Street Tech Blog, Performance optimization, accessed 2026-10-11병렬 읽기와 zero-copy 버퍼 적용 뒤 대용량 읽기속도는 1.3GiB/s에 도달했다.
ORIGINAL PASSAGEread speeds of 1.3 GiB/sJane Street Tech Blog, Performance optimization, accessed 2026-10-11초기 대용량 읽기속도는 약 30MiB/s였다.
ORIGINAL PASSAGE~30 MiB/sJane Street Tech Blog, Performance optimization, accessed 2026-10-11이중복사는 전체 메모리 할당의 92%를 차지했다.
ORIGINAL PASSAGE92% of the program’s overall allocationsJane Street Tech Blog, Performance optimization, accessed 2026-10-11Show the original briefing text
구분: 퀀트회사 공식 기술블로그·연구 데이터 인프라
발표일: 2026년 10월 1일
핵심 요약
Jane Street 공식 기술 글은 커진 연구 데이터셋을 위해 만든 객체저장소 Depot을 기존 POSIX 도구에 연결하는 읽기 전용 FUSE 서버를 설명한다. 생산 트래픽을 캡처해 프로토콜 직렬화 시험데이터로 만들고, OCaml 비동기 런타임과 충돌하는 libfuse 대신 커널 프로토콜을 직접 구현했다. 초기 대용량 읽기 속도는 약 30MiB/s였지만 병렬 읽기와 zero-copy 버퍼 전달을 적용해 1.3GiB/s에 도달했다. 4GiB 파일을 읽을 때 약 8GiB를 할당하던 이중 복사가 전체 할당의 92%를 차지했다.
실무 시사점
연구자가 새 저장소를 쓰게 하려면 데이터 이전뿐 아니라 기존 도구의 파일 인터페이스, 현실적인 회귀시험, 메모리 복사와 readahead까지 관리해야 한다. 이는 연구 처리량을 높이는 기반이지만 거래모델의 성과나 P&L 개선을 뜻하지 않는다.
한국 시장 복제 아이디어
체결·호가·공시 원시데이터 저장소를 기존 Python·R 연구도구에 읽기 전용으로 연결한다. 동일한 4GiB 표본에서 순차·병렬 읽기, p95 지연, 메모리 할당, CPU·네트워크 사용량을 측정하고 캡처된 실제 요청으로 회귀시험을 만들어 기존 NAS와 비교한다.