attention은 입력 사이의 관련성을 계산하지만 기본 계산만으로 어느 사건이 먼저인지 알지 못한다. 위치표현은 이 계산에 순서와 시간차를 반영하는 방법이다. Jane Street의 Alok Puranik은 익숙한 표현을 그대로 고르기보다 어떤 성질을 만족해야 하는지에서 출발한다.
원문은 질의와 키 벡터에 선형 변환을 가하고 절대 위치 대신 상대 위치만 보이도록 제한한다. 연속적인 시간변화 등의 가정을 더해 가능한 구조를 수학적으로 좁히는 접근이다. 선형성은 저자가 채택한 가정이므로 모든 가능한 비선형 표현까지 분류했다는 의미는 아니다.
이 분석은 시간의 표현을 설계하는 기계학습 글이며 특정 채권의 거래신호나 수익을 검증하지 않는다. 금융 사건의 간격이 일정하지 않다는 국내 적용 가설은 별도로 시험해야 한다. 순서만으로 표현한 입력과 실제 경과시간을 표현한 입력을 같은 목표에서 비교해야 어떤 조건이 필요한지 판단할 수 있다.
SCOPE본문과 보충절까지 원문을 읽었다. 선형성·상대위치 등 특정 가정 안의 분류이며 비공개 거래모형에 사용됐다는 주장은 원문에서 확인되지 않는다.
Evidence & verification ↓Sources & evidence
Original passages appear only when checked against the publication. Earlier briefing records are identified separately.
Jane Street — Attention의 “시간 인식 방식” 자체를 수학적으로 다시 설계한다3 primary · 8 archived +
위치표현의 선형성은 질의와 키에 대한 선형 변환으로 가정된다.
ORIGINAL PASSAGELinearity: $f$ is linear in $q(s)$, and $g$ is linear in $k(t)$.Using group theory to explore the space of positional encodings for attention, Apr 22 2026, Properties of good positional encodings, Linearity paragraph; accessed 2026-10-05평행이동 불변성은 상대 위치만 관측되도록 하는 조건이다.
ORIGINAL PASSAGEonly relative positions are observableSame publication, Apr 22 2026, Properties of good positional encodings, Translation invariance paragraph; accessed 2026-10-05시간에 따른 변환의 연속성을 추가 가정한다.
ORIGINAL PASSAGE$A(t)$ is a continuous function of $t$.Using group theory to explore the space of positional encodings for attention, Apr 22 2026, Properties of good positional encodings, Continuity paragraph; accessed 2026-10-05These 8 records come from the earlier briefing, not a newly verified original publication. They are retained in the original briefing below; no primary-source quotation is shown.
Read the earlier record ↓Show the original briefing text
구분: Jane Street 공식 ML 기술블로그 · Alok Puranik
발표일: 2026년 4월 22일
선정: 최신성보다 실제 현직 연구자가 attention architecture를 어떻게 탐구하는지 보여주는 기술적 가치 때문에 선정
채용공고 아님
확인 가능한 사실
Jane Street의 Alok Puranik은 attention model에서 positional encoding이 sequence의 시간/위치를 어떻게 표현하는지를 group theory 관점에서 분석한다. attention의 기본 query-key dot product는 순서정보를 스스로 알지 못하므로 positional encoding이 “시간의 흐름”을 모델이 어떻게 보는지를 결정하는 중요한 modeling choice라고 설명한다. Jane Street 공식 기술글
Puranik은 기존 positional encoding 하나를 단순 사용하는 대신, 원하는 성질을 먼저 정의하고 가능한 encoding family의 수학적 구조를 유도한다. 특히 상대적인 시간차에 의존하고 query/key transformation이 일정한 algebraic property를 만족하도록 제약을 둔다.
왜 이게 quant research 관점에서 흥미로운가
확인 가능한 사실: 글은 attention/positional encoding에 대한 일반 ML 연구이며, Jane Street가 특정 trading model에서 이 encoding을 실제 사용한다고 공개한 것은 아니다. 따라서 이 알고리즘이 Jane Street의 비밀 alpha model이라는 식으로 해석하면 안 된다.
하지만 연구자의 사고방식은 굉장히 중요하다.
일반적인 접근:
Transformer 논문에서 positional encoding 복사
Jane Street 연구자가 보여주는 접근:
우리 문제에서 time representation이 가져야 하는 성질은 무엇인가? → 그 성질을 만족하는 architecture를 수학적으로 찾는다.
채권 AI에 주는 시사점
금융 time series에서는 1 step이 항상 같은 의미가 아니다.
예를 들어 event sequence가:
09:00 trade
→ 3ms
→ quote update
→ 2초
→ trade
→ 25분
→ macro announcement
처럼 irregular하다.
따라서 일반 Transformer의:
position 1, 2, 3, 4
보다:
실제 Δt event type market clock time-to-event
를 embedding하는 것이 훨씬 자연스러울 수 있다.
한국 시장 복제 아이디어
국채선물 Transformer를 만든다면 positional encoding을 단순 integer index로 두지 말고:
Δtime_since_last_event
time_since_market_open
time_to_close
time_to_macro_release
event_type
을 encoding한다.
특히:
trade → trade 100ms
와
trade → trade 10분
을 같은 “한 step 차이”로 보지 않게 한다.
그리고 Jane Street 글의 철학을 가져와:
“최신 positional encoding이 뭐지?”
대신
“한국 채권 microstructure에서 time representation이 만족해야 할 invariant가 무엇이지?”
부터 정의한다.
복제 가치: ★★★★☆