Apache Arrow: Accelerating in-memory analytics through zero-copy data sharing

채권 틱 자료를 읽어 특징을 계산하고 모델에 넣는 동안, 실제 계산보다 도구 사이의 자료 변환에 시간이 들 수 있다. G-Research는 저장 파일에서 분산 분석, 데이터프레임 처리, 모델 학습, 시각화로 이어지는 경로를 예로 든다. 각 도구가 서로 다른 형식을 쓰면 데이터를 바이트로 바꾸고 다시 풀어야 한다. Arrow의 출발점은 이 도구들이 계산 중에 쓰는 메모리 규격을 맞추는 것이다.

Arrow는 같은 열의 값을 연속으로 배치한다. 호환되는 도구가 같은 실행 과정 안에 있으면 큰 자료를 새로 복사하는 대신 메모리 위치를 가리키는 정보로 넘길 수 있다. 서로 다른 실행 과정 사이에서는 메모리에 연결한 파일을 활용한다. 여러 서버에 나뉜 자료는 Arrow Flight가 각 자료 조각의 위치를 알려 주고 동시에 받아 오게 한다. 같은 과정의 메모리 공유와 서버 사이 전송은 구분해서 이해해야 한다.

이 구조가 저장 형식까지 대체하는 것은 아니다. Parquet은 압축과 부호화로 파일 크기를 줄이는 데, Arrow는 계산하기 쉬운 메모리 배치에 맞춰져 있다. 따라서 Parquet으로 보관한 자료를 Arrow로 읽어 처리하고 결과를 다시 저장하는 조합이 자연스럽다. 글은 이런 연결 방식을 설명하며, 특정 거래 모델의 예측력이나 수익 개선을 검증하지는 않는다. 어떤 경로에서 이득이 생기는지는 기존 도구의 호환성과 실제 변환 비용을 재서 판단해야 한다.