실시간 시스템에서 평균 처리량이 충분해도 소비자가 잠시 멈추면 최근 메시지를 따라잡는 복구경로가 병목이 된다. Aria는 하루 여러 TB를 처리하고 최근 스트림을 메모리 ring buffer에 보관한다. 과거 방식은 클라이언트가 일부 주제만 원해도 전체 스트림을 선형으로 훑었다. 복구 클라이언트가 늘자 일부 서버 CPU가 포화돼 최신지점을 따라잡지 못했다.
거의 백만 개 주제마다 인덱스를 만들면 메모리가 과도하게 든다. 팀은 두 구간 접두사가 같은 주제를 파티션으로 묶고 각 파티션의 메시지 위치만 인덱싱한 뒤 min-heap 기반 n-way merge로 요청한 스트림 순서를 복원했다. AI 에이전트가 밤새 다섯 heap 구현을 만들게 하고 동일 복구 시나리오로 측정해 가장 빠른 구현이 인덱스 복구코드를 두 배 개선했다.
속도만으로 배포하지는 않았다. expect test, 무작위 메시지의 속성기반 테스트, Antithesis 실행으로 분할방식이 달라도 내용과 순서가 같은지 확인했다. tip 인덱싱은 생산에 들어갔고 일부 실제 시나리오의 스테이징에서 CPU가 30% 줄었으며 비인덱스 서버의 수초 꼬리 지연도 나타나지 않았다. 그러나 적응형 디스크 분할은 글 작성 시점에 스테이징만 거쳤으므로 생산성과로 합쳐 말할 수 없다.
SCOPEJane Street 내부 메시지시스템의 공개 기술사례다. 30% CPU 감소는 일부 실제 시나리오를 재현한 스테이징의 예비결과이고 적응형 분할은 당시 생산 전이었다. 거래전략이나 P&L 효과는 공개되지 않았다.
Evidence & verification ↓Sources & evidence
Original passages appear only when checked against the publication. Earlier briefing records are identified separately.
Scaling and benchmarking a critical message bus using a new indexing strategy4 primary · 0 archived +
Aria는 하루 여러 TB의 메시지를 처리하며 일부 복구서버가 CPU 100%에 도달했다.
ORIGINAL PASSAGEmultiple terabytes of data per dayJane Street Tech Blog, opening and Filtering messages sections, accessed 2026-10-09거의 100만 주제를 개별 인덱싱하지 않고 두 구간 접두사의 주제파티션 인덱스와 n-way merge를 사용했다.
ORIGINAL PASSAGEalmost a million topicsJane Street Tech Blog, Filtering messages section, accessed 2026-10-09AI 에이전트가 다섯 heap 구현을 만들었고 선택된 구현은 인덱스 복구코드를 두 배 개선했다.
ORIGINAL PASSAGEfive different heap implementationsJane Street Tech Blog, Prototyping and benchmarking the index, accessed 2026-10-09tip 인덱싱은 생산 배포됐고 일부 실제 시나리오의 스테이징에서 CPU가 30% 줄었으며 적응형 분할은 아직 생산 전이었다.
ORIGINAL PASSAGE30% less CPU utilizationJane Street Tech Blog, How did the optimizations do?, accessed 2026-10-09Show the original briefing text
구분: 퀀트·마켓메이킹 회사 공식 기술블로그·실시간 데이터 파이프라인
발표일: 2026년 10월 5일
핵심 요약
Jane Street 공식 기술 글은 하루 여러 TB를 처리하는 내부 메시지시스템 Aria에서 뒤처진 클라이언트가 일부 주제만 복구할 때 전체 스트림을 훑던 병목을 설명했다. 거의 100만 개 주제마다 인덱스를 만드는 대신 두 구간 접두사별 파티션 인덱스와 n-way merge를 사용했다. AI 에이전트로 다섯 개 heap 구현을 밤새 만들고 같은 벤치마크로 비교해 인덱스 복구코드를 두 배 빠르게 했으며, expect test·속성기반 테스트·Antithesis로 순서와 내용 보존을 확인했다. tip 인덱싱은 생산에 배포됐고 일부 실제 시나리오의 스테이징에서는 CPU 사용량이 30% 줄었지만, 적응형 분할은 글 작성 시점에 아직 생산 전이었다.
실무 시사점
실시간 가격·주문·위험 스트림은 평균 처리량보다 뒤처진 소비자의 복구경로와 꼬리 지연이 더 위험할 수 있다. AI가 구현 후보를 늘려도 동일 부하 벤치마크와 순서·내용 불변조건을 통과하기 전에는 생산효과로 간주할 수 없다.
한국 시장 복제 아이디어
국채선물·현물·IRS·RFQ를 상품·데스크·사건유형 주제로 나누고 재시작·네트워크 지연 뒤 복구를 재현한다. 선형 필터와 파티션 인덱스를 CPU, p99 복구지연, 누락·순서오류, 추가 메모리로 비교하고 shadow 환경에서 한도·DV01 계산이 동일할 때만 제한 배포한다.