신경망이 높은 정확도를 내도 어떤 계산을 배웠는지는 별도 문제다. Jane Street는 가중치가 모두 공개된 network를 주고 출력을 역공학하게 했다. 글은 복잡한 모델 feature를 해석할 때 회사 연구에서도 때때로 같은 상황을 마주친다고 밝히며 mechanistic interpretability를 실제 연구과제로 연결한다.
풀이자는 마지막 층의 ReLU 조합이 특정 값과의 일치를 검사한다는 점에서 출발했다. 이후 graph에서 identity node를 합치고 항상 양수인 경로의 ReLU를 제거했다. 조사한 많은 층에서 node의 80%가 identity operation이었고, 이런 축약으로 solver가 다뤄야 할 graph를 크게 줄였다.
축약만으로 solver는 끝내지 못했다. 반복 block이 특정 hash 함수 구조라는 domain hypothesis를 세운 뒤 내부 변수와 neuron을 대응시켜 해법에 도달했다. 거래모델에서도 attribution 하나로 설명이 끝나지 않으며 ablation, graph reduction과 regime counterfactual을 함께 써야 leakage나 shortcut을 찾을 수 있다. 공개 글은 퍼즐과 일반적 연구경험일 뿐 실제 전략 P&L 증거는 아니다.
SCOPE수제로 설계한 퍼즐 network의 역공학 사례다. Jane Street는 실제 연구에서 유사한 해석문제가 있다고만 밝혔으며 거래모델 구조·정확도·성과는 공개하지 않았다.
Evidence & verification ↓Sources & evidence
Original passages appear only when checked against the publication. Earlier briefing records are identified separately.
Can you reverse engineer our neural network?2 primary · 0 archived +
Jane Street는 복잡한 모델 feature를 해석할 때 자사 연구에서도 이런 상황을 접한다고 설명했다.
ORIGINAL PASSAGEa situation we sometimes find ourselves facing in our own researchJane Street Blog, introduction, 2026-02-24, accessed 2026-11-04약 1,500개 층에서 node의 80%가 identity operation이었다.
ORIGINAL PASSAGE80% of the nodes were just performing an identity operationJane Street Blog, Reverse-engineering the program section, 2026-02-24, accessed 2026-11-04Show the original briefing text
구분: Jane Street 공식 기술 글·복잡한 신경망의 mechanistic interpretability
발표일: 2026년 2월 24일
선정 이유: 최신성보다 복잡한 모델 feature를 실제 연구에서 해석하는 절차를 공개한 기술적 가치 때문에 선정했다.
핵심 요약
Jane Street 원문은 가중치가 모두 공개된 수제 신경망을 역공학하는 과정을 통해 mechanistic interpretability 도구를 설명한다. 작성자는 복잡한 모델 feature를 해석할 때 자사 연구에서도 마주치는 문제라고 명시한다. 풀이에서는 동일연산 node를 합치고 범위를 전파해 약 200만 node의 문제를 7만5천 node로 줄였지만, 최종 해법은 구조가 MD5 계산임을 알아낸 뒤에야 가능했다.
실무 시사점
복잡한 network를 성능지표만으로 승인하면 어떤 feature와 오류경로가 출력을 만드는지 알기 어렵다. graph reduction, activation range와 반복 subcircuit 분석은 모델 전체를 설명하지 못해도 비정상 의존성·data leak·취약한 shortcut을 찾는 도구가 된다. 이 글은 퍼즐과 일반적 연구경험을 공개한 것이며 거래모델의 실제 정확도나 P&L을 입증하지 않는다.
한국 시장 복제 아이디어
채권 spread·체결확률 신경망에서 상위 민감 feature와 반복 subgraph를 추출하고, feature ablation·integrated gradients·regime별 counterfactual을 함께 비교한다. 단순 SHAP 설명과 비교해 숨은 미래정보 누출 탐지율, 설명 안정성, 성능저하 없는 pruned node 비율과 risk reviewer의 오류발견 시간을 평가한다.