Puranik은 기존 positional encoding 하나를 단순 사용하는 대신, 원하는 성질을 먼저 정의하고 가능한 encoding family의 수학적 구조를 유도한다. 특히 상대적인 시간차에 의존하고 query/key transformation이 일정한 algebraic property를 만족하도록 제약을 둔다.
편집 전 브리핑 원문 펼치기
구분: Jane Street 공식 ML 기술블로그 · Alok Puranik
발표일: 2026년 4월 22일
선정: 최신성보다 실제 현직 연구자가 attention architecture를 어떻게 탐구하는지 보여주는 기술적 가치 때문에 선정
채용공고 아님
확인 가능한 사실
Jane Street의 Alok Puranik은 attention model에서 positional encoding이 sequence의 시간/위치를 어떻게 표현하는지를 group theory 관점에서 분석한다. attention의 기본 query-key dot product는 순서정보를 스스로 알지 못하므로 positional encoding이 “시간의 흐름”을 모델이 어떻게 보는지를 결정하는 중요한 modeling choice라고 설명한다. Jane Street 공식 기술글
Puranik은 기존 positional encoding 하나를 단순 사용하는 대신, 원하는 성질을 먼저 정의하고 가능한 encoding family의 수학적 구조를 유도한다. 특히 상대적인 시간차에 의존하고 query/key transformation이 일정한 algebraic property를 만족하도록 제약을 둔다.
왜 이게 quant research 관점에서 흥미로운가
확인 가능한 사실: 글은 attention/positional encoding에 대한 일반 ML 연구이며, Jane Street가 특정 trading model에서 이 encoding을 실제 사용한다고 공개한 것은 아니다. 따라서 이 알고리즘이 Jane Street의 비밀 alpha model이라는 식으로 해석하면 안 된다.
하지만 연구자의 사고방식은 굉장히 중요하다.
일반적인 접근:
Transformer 논문에서 positional encoding 복사
Jane Street 연구자가 보여주는 접근:
우리 문제에서 time representation이 가져야 하는 성질은 무엇인가? → 그 성질을 만족하는 architecture를 수학적으로 찾는다.
채권 AI에 주는 시사점
금융 time series에서는 1 step이 항상 같은 의미가 아니다.
예를 들어 event sequence가:
09:00 trade
→ 3ms
→ quote update
→ 2초
→ trade
→ 25분
→ macro announcement
처럼 irregular하다.
따라서 일반 Transformer의:
position 1, 2, 3, 4
보다:
실제 Δt event type market clock time-to-event
를 embedding하는 것이 훨씬 자연스러울 수 있다.
한국 시장 복제 아이디어
국채선물 Transformer를 만든다면 positional encoding을 단순 integer index로 두지 말고:
Δtime_since_last_event
time_since_market_open
time_to_close
time_to_macro_release
event_type
을 encoding한다.
특히:
trade → trade 100ms
와
trade → trade 10분
을 같은 “한 step 차이”로 보지 않게 한다.
그리고 Jane Street 글의 철학을 가져와:
“최신 positional encoding이 뭐지?”
대신
“한국 채권 microstructure에서 time representation이 만족해야 할 invariant가 무엇이지?”
부터 정의한다.
복제 가치: ★★★★☆