CARL: Chat Assisted Reinforcement Learning
불완전한 투자문제를 RL 코드로 옮길 때 가장 큰 손실은 어디서 생기는가?
RL 모델의 실패가 알고리즘 때문인지, 애초에 상태·행동·보상을 잘못 정의했기 때문인지 어떻게 가를까? CARL은 문제설명 뒤 곧바로 코드를 쓰지 않고 목표, 불가능한 행동, 종료시점과 현실 제약을 질문한다. 금융 예에서는 VTI와 BND의 연간 비중, 목표지출의 수락 여부, 이전 목표달성이 뒤 목표의 효용을 바꾸는 상태를 MDP에 넣었다.
시장모수는 4,630거래일로 적합했다. 증가형 네 목표 부분명세에서 CARL 평균효용은 7.94였고 질문 없이 명세를 채운 CC-Only는 4.19였다. 여섯 방법의 일곱 시나리오는 같은 주식·채권 수익경로 백만 회를 써서 simulation noise를 맞췄다. 차이는 초기에 비어 있던 목표타이밍·행동제약을 어떻게 채웠는지와 정책재검토를 포함한 전체 과정의 결과다.
이 결과는 특정 VTI·BND 확률과 목표효용을 사용한 모의 비교이며 CARL이 채권시장에서 알파를 냈다는 뜻이 아니다. 국내 적용에서는 상담대화 자체보다 산출된 MDP 계약을 사람이 승인하고, 불가능한 주문 masking·현금흐름·듀레이션·담보·거래비용을 자동검사해야 한다. 정책의 경제적 모양이 이상하면 재학습 전에 명세부터 되짚는 것이 실무적이다.
SCOPEVTI·BND를 이용한 목표기반 자산배분 모의실험이다. 효용은 수익률이나 실거래 P&L이 아니며 CARL의 대화, 구현, 학습과 재검토 효과가 하나의 시스템 비교에 섞여 있다.
Evidence & verification ↓주문흐름 foundation model은 토큰 양과 크기보다 다양한 시장체제를 더 필요로 하는가?
주문 메시지 다음토큰을 잘 맞히는 모형이 실제로 무엇을 학습했는지 알 수 있을까? 저자들은 모수가 알려진 Poisson, Hawkes, agent feedback, 비정상 heavy-tail 주문장과 정확한 Bayes·oracle 기준을 만들었다. 모형 손실을 기준선에 대조하고 은닉상태에서 excitation, decay, agent mixture를 선형 probe해 잠재체제가 쓰였는지를 점검했다.
고정 토큰예산에서 체제가 1개일 때 새 체제 손실은 3.57nats였지만 256개에서는 1.34로 낮아졌다. 반면 소형 모형도 손실바닥에 근접했고 더 큰 모형은 같은 예산에서 구분되지 않았다. 이 통제환경에서는 중복 토큰이나 모형크기보다 generator의 체제 다양성이 일반화와 decodability를 만들었다.
실데이터 검증은 NASDAQ 다섯 종목의 단 하루를 쓴 전이시험이므로 real market에 같은 잠재모수가 존재한다고 볼 수 없다. 국내 채권에서는 정상일만 길게 모으기보다 금통위, 입찰, 롤오버, 급변과 저유동성 체제를 날짜단위 holdout으로 나눠야 한다. probe는 체제의 진실값이 아니라 선택한 simulator prior의 해석임도 함께 표시해야 한다.
SCOPE정확한 기준을 계산할 수 있도록 단순화한 단일자산 합성 주문장이 중심이다. real-data 시험은 NASDAQ 한 날짜에 한정되며 은닉상태 probe는 인과적 사용을 완전히 증명하지 않는다.
Evidence & verification ↓LLM이 문헌의 금융아이디어를 감사 가능한 실행수식으로 바꿀 수 있는가?
문헌을 읽은 LLM의 설명을 어떻게 계산 가능한 신호로 바꿀까? AlphaRLM은 논문 제목·초록, 허용된 시장변수와 연산자, 출력 grammar를 함께 주고 경제적 기제를 observable proxy와 수식으로 연결하게 한다. 생성식은 미래자료를 덧붙여도 과거값이 바뀌지 않는지 검사하고, 실행되지 않거나 look-ahead가 있으면 보상을 받지 못한다.
유효한 수식은 매일 종목을 백 분위군으로 나누고 다음날 수익이 가장 벌어진 두 군의 차이를 보상으로 받는다. 문헌아이디어 하나에서 여러 수식을 뽑아 상대보상으로 DAPO를 학습한 뒤 XGBoost 선택과 포트폴리오 백테스트로 이어간다. 미국 대형주 시험에서 소형 모형의 연환산 초과수익은 6.94%, 최대낙폭 규모는 14.84%였다.
숫자는 다섯 seed 평균의 일별 주식 long-only 백테스트이며 실거래 체결을 뜻하지 않는다. 같은 학습기간 자료가 RL 보상에 반복 사용되므로 수식탐색의 data snooping도 남는다. 국내 채권 적용은 문헌과 변수의 발표시점을 동결하고, 거래가능성·호가비용·듀레이션와 등급중립을 grammar와 evaluator에서 강제한 뒤 봉인기간을 한 번만 평가해야 한다.
SCOPE중국·미국 주식의 일별 long-only 백테스트이며 다섯 seed 평균이다. 동일 학습자료에 대한 반복보상과 downstream 선택이 포함되고, 채권시장이나 실거래 성과를 직접 검증하지 않는다.
Evidence & verification ↓대규모 퀀트연구에서 모델보다 먼저 병목이 되는 것은 무엇인가?
좋은 특징과 모형을 찾았는데 실험 하나가 끝나는 데 수주가 걸리면 연구 우위는 남을까? Optiver는 연구루프를 가설, 실험, 평가, production 의사결정으로 정의하고 turnaround time을 운영목표로 둔다. 한 시장일 특징생성에 한 시간이 들면 1,000거래일은 직렬 약 여섯 주가 되며 날짜별 sharding은 wall-clock을 다시 약 한 시간으로 줄인다.
백 종목으로 넓히면 십만 개 넘는 특징작업과 약 11년의 직렬시간이 생긴다. GraphRunner는 Python 프로세스 안에서 DAG를 소유하고 준비된 노드를 on-prem scheduler, cloud scheduler, local pool 중 하나로 보낸다. object storage·NFS·Postgres·Delta를 공통 catalog로 노출해 파이프라인 코드에서 데이터 위치와 환경분기를 줄인다.
병렬화는 총계산량을 없애지 않으며 cloud spillover는 데이터복제 지연·불일치와 비용을 키울 수 있다. 따라서 국내 데스크도 최고 동시작업 수보다 lineage, 환경고정, cache와 재실행 일치율을 함께 봐야 한다. 이 글은 인프라가 연구회전을 줄이는 경로를 설명하지만 어떤 모델이 실제 손익을 냈는지는 공개하지 않는다.
SCOPEOptiver의 공식 엔지니어링 설명으로 회사 내부 실측 일부를 공개하지만 모델·라벨·배포빈도·위험한도·P&L은 제시하지 않는다. 인프라 경쟁력이 수익을 냈다는 인과추론은 할 수 없다.
Evidence & verification ↓Getting from tested to battle-tested
자동집행과 AI가 의존하는 저지연 시스템을 드문 장애까지 어떻게 검증하는가?
모델 백테스트가 통과했어도 시세버스가 재시작 순서를 틀리면 자동집행은 안전할까? Jane Street는 강한 순서·신뢰성 보장을 가진 내부 저지연 공유 메시지버스 Aria에 unit, simulated network, Quickcheck, version skew, fuzz, nightly lab, staging chaos test를 겹쳐 쓴다. 특히 모의 network는 packet delay·drop과 시간을 결정론적으로 조작해 모든 build에서 edge case를 재현한다.
그 위에 Antithesis가 whole system을 결정론적 hypervisor 안에서 실행하고 scheduling·network 장애를 탐색한다. 첫 실행은 알려지지 않은 버그 두 개를 찾았고, 매일 최신 revision의 test run을 돌린다. 실패하면 직전 상태로 rewind해 다른 입력을 주거나 실제 tcpdump를 실행하며, snapshot 뒤 아직 차지 않은 ring buffer에서 과거 offset을 요청하는 세 조건의 결합을 찾아냈다.
이는 특정 거래모형의 알파나 kill switch 성과를 공개한 자료가 아니다. 그래도 AI 신호→위험 gate→주문 gateway 사이의 드문 순서오류를 검증하는 방법은 직접적이다. 국내 채권시스템은 service restart, packet loss, clock skew, stale snapshot과 version skew를 자동주입하고 오류 재현률·중복주문·halt 시간과 false halt를 regression 원장으로 남겨야 한다.
SCOPEJane Street 내부 메시지버스와 외부 testing service에 대한 회사 공식 사례다. 거래모형, 실주문 규모, 장애빈도, 지연수치나 P&L은 공개하지 않았고 첫 실행의 버그발견을 일반화할 수 없다.
Evidence & verification ↓공통된 결론은 연구 산출물을 즉시 거래신호로 보지 않는 데 있다. 명세가 경제적 목적을 담았는지, 학습체제가 충분히 다양한지, 수식이 시점누출 없이 실행되는지, 계산과 메시지 경로가 같은 실패를 재현할 수 있는지를 각각 통과시켜야 한다.
Sources & evidence
Original passages appear only when checked against the publication. Earlier briefing records are identified separately.
CARL: Chat Assisted Reinforcement Learning3 primary · 0 archived +
CARL은 단계적 대화로 불완전한 도메인 설명을 실행 가능한 MDP로 바꾼다.
ORIGINAL PASSAGEturn a domain-level description into an implementable MDParXiv 2610.31014v2, Section 6.5, 23 October 2026, accessed 2026-10-27VTI·BND 시장모수는 4,630거래일 자료로 적합했다.
ORIGINAL PASSAGEover 4,630 trading daysarXiv 2610.31014v2, Section 6.1, 23 October 2026, accessed 2026-10-27증가형 4목표 부분명세에서 CARL 평균효용은 7.94, CC-Only는 4.19였고 평가는 100만회 경로를 썼다.
ORIGINAL PASSAGECARL-PartSpec obtains a mean utility 7.94, compared with 4.19 for CC-Only-PartSpecarXiv 2610.31014v2, Sections 6.4 and Table 4, 23 October 2026, accessed 2026-10-27What Do Foundation Models for Market Microstructure Learn? A Controlled Study with Synthetic Limit Order Books3 primary · 0 archived +
통제실험은 생성모수가 알려진 simulator를 사용해 Bayes 최적치와 oracle을 계산한다.
ORIGINAL PASSAGEthe exact Bayes-optimal next-token distributionarXiv 2610.20104v1, Sections 3.2 and 4.1, 14 October 2026, accessed 2026-10-27고정 4억토큰에서 체제 1개의 새 체제 손실 3.57nats는 체제 256개에서 1.34로 낮아졌다.
ORIGINAL PASSAGEfrom 3.57 nats at K=1 to 1.34 at K=256arXiv 2610.20104v1, Section 4.3, 14 October 2026, accessed 2026-10-27약 1.5×10^5개 모수 모형은 4억토큰에서 손실바닥 4millinats 이내였다.
ORIGINAL PASSAGEwithin 4 millinats of the floor at 400M tokensarXiv 2610.20104v1, Section 4.3, 14 October 2026, accessed 2026-10-27AlphaRLM: Aligning Language Models for Literature-Grounded Symbolic Factor Discovery3 primary · 0 archived +
AlphaRLM은 문헌에서 실행가능한 기호팩터를 직접 구성하도록 LLM을 강화학습한다.
ORIGINAL PASSAGEconstruct executable symbolic factors from financial literaturearXiv 2610.14959v3, Abstract and Sections 3.2–3.4, 15 October 2026, accessed 2026-10-27S&P 500 시험에서 8B 모형의 연환산 초과수익은 6.94%였다.
ORIGINAL PASSAGElifting AR (3.14% to 6.94%)arXiv 2610.14959v3, Table 1, S&P 500 AR, 15 October 2026, accessed 2026-10-27같은 시험에서 최대낙폭은 -14.84%였고 표는 다섯 seed 평균을 보고한다.
ORIGINAL PASSAGEreducing MDD magnitude (30.72% to 14.84%)arXiv 2610.14959v3, Table 1 and Section 4.2, 15 October 2026, accessed 2026-10-27Research at scale: Orchestrating ML for systematic trading4 primary · 0 archived +
한 시장일 1시간의 특징생성은 1,000거래일에서 직렬 약 6주가 된다.
ORIGINAL PASSAGE1,000 trading days will take roughly six weeksOptiver, Research at scale, When Pipelines Scale Up, 18 December 2025, accessed 2026-10-27100종목은 10만개 넘는 특징작업과 약 11년의 직렬시간을 만든다.
ORIGINAL PASSAGE100,000+ feature generation jobsOptiver, Research at scale, When Pipelines Scale Up, 18 December 2025, accessed 2026-10-27GraphRunner가 계산그래프를 소유하고 실행가능 노드를 환경별 scheduler에 보낸다.
ORIGINAL PASSAGEthe GraphRunner owns the computational graphOptiver, Research at scale, From Scheduler-Owned DAGs to In-Process Orchestration, 18 December 2025, accessed 2026-10-27직렬 실행시간은 약 11년으로 계산됐다.
ORIGINAL PASSAGEroughly 11 years of runtimeOptiver, Research at scale, When Pipelines Scale Up, 18 December 2025, accessed 2026-10-27Getting from tested to battle-tested3 primary · 0 archived +
Aria는 저지연 공유 메시지버스이며 여러 계층의 testing을 사용한다.
ORIGINAL PASSAGEa low-latency shared message busJane Street, Getting from tested to battle-tested, introduction and Testing everything you can think of, 3 December 2025, accessed 2026-10-27결정론적 whole-system 시험의 첫 실행에서 알려지지 않은 버그 2개가 발견됐다.
ORIGINAL PASSAGEsurfaced two previously unknown bugsJane Street, Getting from tested to battle-tested, Testing everything you did not think of, 3 December 2025, accessed 2026-10-27팀은 매일 최신 코드 revision으로 test run을 시작한다.
ORIGINAL PASSAGEeach night with the most recent revisionJane Street, Getting from tested to battle-tested, A real bug, 3 December 2025, accessed 2026-10-27Show the original briefing text
채권시장 AI 연구 브리핑
2026년 10월 27일
조사 마감: 2026년 10월 27일 06:32 (Asia/Seoul)
원문 열람일: 2026년 10월 27일
중복 점검: 기존 83개 브리핑·415개 연구의 제목과 원문 URL을 대조했다. 전날의 금리체제 탐지, 생성 주문장 충격, Quant-Arena, DRW 집행경로, Two Sigma 데이터 계약 자료는 제외했다. 1~3번은 논문 본문·표·평가조건을 확인했고 4~5번은 채용공고가 아닌 회사 공식 기술 글이다. 공개되지 않은 비밀전략·모델·위험한도·P&L은 추론하지 않았다.
1. CARL: Chat Assisted Reinforcement Learning
구분: 최신 연구·대화형 RL 명세와 목표기반 자산배분
발표일: 2026년 10월 23일
핵심 요약
논문 원문은 모호한 업무설명을 대화로 MDP 명세로 바꾸고 코드 생성·테스트·학습·재검토까지 잇는 워크플로를 제시한다. 금융 사례는 VTI와 BND에 배분하면서 경로의존 목표를 선택하는 문제이며 2008년 1월 2일부터 2026년 5월 29일까지 4,630거래일로 시장모수를 적합했다. 동일 수익경로 100만회 평가에서 불완전 명세의 CARL은 증가형 4목표 평균효용 7.94를 냈고 비대화형 비교법은 4.19였다. 이는 모의효용이지 실거래 수익률이 아니다.
실무 시사점
RL의 성패는 알고리즘보다 상태·행동·불가능한 주문·종료조건·보상명세에서 먼저 갈릴 수 있다. 채권 데스크에서는 만기현금흐름, DV01, 담보, 유동성, 매매가능 종목을 대화로 확인하되 사람이 명세와 정책의 경제적 모양을 재검토해야 한다. CARL의 수치는 특정 목표기반 모의문제에서 명세 보완의 가치를 보인 것이며 시장 초과수익을 입증하지 않는다.
한국 시장 복제 아이디어
보험·연기금의 원화채 liability-driven allocation을 대상으로 국고채·크레딧·IRS 행동공간과 현금흐름 목표를 먼저 선언한다. 완전명세, 질문허용 부분명세, 질문금지 부분명세를 같은 금리·스프레드 경로에 적용해 목표충족률, 비용차감 효용, DV01 위반, 정책의 단조성과 재현성을 비교한다.
2. What Do Foundation Models for Market Microstructure Learn? A Controlled Study with Synthetic Limit Order Books
구분: 최신 연구·주문흐름 foundation model의 잠재체제 학습
발표일: 2026년 10월 14일
핵심 요약
논문 원문은 생성모수가 알려진 네 종류 합성 주문장에서 GPT형 다음토큰 모형이 무엇을 복원하는지 Bayes 최적치와 oracle에 직접 대조한다. 1.5×10^5개 모수 모형도 손실바닥에 근접했지만, 같은 4억토큰이라도 학습체제가 1개일 때 새 체제 손실은 3.57nats였고 256개에서는 1.34로 낮아졌다. 실데이터 검증은 NASDAQ 하루에 한정돼 real-market 체제의 식별 가능성을 증명하지 않는다.
실무 시사점
주문 메시지를 더 많이 넣거나 모형을 키우는 것보다 금리발표일·롤오버·위기·저유동성처럼 서로 다른 체제를 학습집합에 넣는 일이 중요할 수 있다. 은닉상태의 선형 probe가 Hawkes·agent mixture 모수를 복원한 결과는 foundation model을 예측기뿐 아니라 실시간 체제계기로 쓸 가능성을 보여준다. 다만 합성 generator가 잘못되면 probe는 그 렌즈만 되풀이한다.
한국 시장 복제 아이디어
국채선물과 전자 국고채 L2를 메시지 토큰으로 만들고 정상·금통위·선물롤·대량입찰·급변 체제를 날짜 단위로 분리한다. 고정 토큰예산에서 체제 수를 늘리며 unseen-regime NLL, Hawkes 모수복원, spread·markout 예측과 calibration을 측정하고 합성 prior별 실데이터 전이를 비교한다.
3. AlphaRLM: Aligning Language Models for Literature-Grounded Symbolic Factor Discovery
구분: 최신 연구·문헌기반 기호팩터 생성과 시장보상 RL
발표일: 2026년 10월 15일
핵심 요약
논문 원문은 LLM이 금융문헌의 아이디어를 허용된 변수·연산자에 맞춘 실행가능 수식으로 만들도록 학습한다. look-ahead가 없는 실행성 보상과 100개 분위군의 다음날 수익분리를 DAPO 보상으로 쓰고, Qwen3 8B·14B를 CSI 300·CSI 1000·S&P 500에서 평가했다. 2021~2024년 S&P 500 시험에서 8B는 연환산 초과수익 6.94%, 최대낙폭 -14.84%였지만 일별주식 백테스트이며 실거래 성과는 아니다.
실무 시사점
문헌검색→경제적 기제→관측 proxy→수식→인과성 검사→시장보상→후속모형이라는 연결이 명시적이라는 점이 중요하다. 자연어 아이디어를 그대로 신호로 쓰지 않고 허용된 point-in-time 변수와 계산 grammar에 가두면 재현성과 감사를 높일 수 있다. 반면 같은 데이터에서 생성과 보상을 반복하면 문헌의 의미보다 과거수익에 맞춘 수식이 남을 수 있다.
한국 시장 복제 아이디어
채권가격결정·유동성 문헌을 발표일 기준으로 동결하고 국고채·크레딧의 carry, roll, curve, 거래간격, 발행잔액만 허용한다. 기호팩터를 학습기간에 생성하고 이후 기간은 봉인해 비용차감 long-short 수익, IC, turnover, 최대낙폭, 등급·DV01 중립성과 기존 팩터 중복도를 평가한다.
4. Research at scale: Orchestrating ML for systematic trading
구분: Optiver 공식 기술 글·대규모 ML 연구 오케스트레이션
발표일: 2025년 12월 18일
선정 이유: 최신성보다 research→production 계산경로와 데이터 배치의 기술적 가치 때문에 선정했다. 채용공고가 아니다.
핵심 요약
Optiver 원문은 한 시장일 특징생성에 1시간이 걸리면 1,000거래일이 직렬 6주, 100종목은 10만개 넘는 작업과 약 11년으로 불어난다고 설명한다. GraphRunner가 Python 프로세스에서 DAG를 소유하고 노드별로 on-prem, cloud, local pool에 보낸다. S3·NFS·Postgres·Delta를 공통 catalog로 감춰 연구자가 데이터 위치보다 가설검증에 집중하게 하지만 구체 모델과 P&L은 공개하지 않았다.
실무 시사점
퀀트 수익화의 병목은 모델 한 번의 정확도보다 재현 가능한 실험 회전수와 production 전환시간일 수 있다. 다만 무제한 병렬화는 비용과 데이터 복제 불일치를 키우므로 계산을 데이터 쪽으로 보내고 lineage·환경·결과를 함께 고정해야 한다. 연구자 코드에 cloud 분기를 넣지 않는 노드단위 배치는 같은 파이프라인을 여러 계산환경에서 재현하게 한다.
한국 시장 복제 아이디어
국고채 전 종목·선물·IRS의 날짜×종목 특징 DAG를 만들고 serial, 날짜 shard, 종목×날짜 shard를 비교한다. wall-clock, compute-hour, cache hit, 재실행 일치율, 데이터 이동량과 비용을 기록하고 최종 신호의 비용차감 markout은 동일 simulator에서 평가한다.
5. Getting from tested to battle-tested
구분: Jane Street 공식 기술 글·저지연 분산시스템의 결정론적 chaos 검증
발표일: 2025년 12월 3일
선정 이유: 최신성보다 모델·에이전트가 의존하는 production 메시지 경로의 검증기법 때문에 선정했다. 채용공고가 아니다.
핵심 요약
Jane Street 원문은 강한 순서·신뢰성 보장을 가진 내부 저지연 메시지버스 Aria를 unit, simulated network, Quickcheck, version skew, fuzz, nightly lab, chaos test로 검증한다고 설명한다. 결정론적 hypervisor에서 scheduling·network 장애를 탐색하는 Antithesis 첫 실행은 알려지지 않은 버그 2개를 찾았고, 매일 최신 revision을 whole-system으로 시험해 실패 직전 상태를 rewind·replay한다. 거래모델이나 손익이 아니라 production 인프라 검증 사례다.
실무 시사점
AI fair-value나 자동집행의 kill switch는 모델 검증만으로 충분하지 않다. 시세버스 재시작, 지연·유실 패킷, 버전차이, 오래된 snapshot과 ring buffer 경계를 결정론적으로 주입해야 드문 순서오류를 재현할 수 있다. 같은 오류경로를 replay할 수 있어야 원인분석과 수정 전후 비교가 가능하다.
한국 시장 복제 아이디어
국채선물·현물 시세와 주문 gateway의 container snapshot을 구성하고 packet drop, clock skew, service restart, stale snapshot, version skew를 자동 주입한다. nightly 시나리오에서 invariant 위반, 중복·누락주문, kill-switch 시간, 재현률과 false halt를 측정하고 발견사례를 regression corpus에 추가한다.