취소할 수 없는 주문은 어떤 미래가격 위험을 남기는가
취소할 수 없는 주문은 어떤 미래가격 위험을 남기는가?
미체결 주문이 다음 순간 사라지지 않는다면 호가 하나는 가격뿐 아니라 미래의 체결시점도 정한다. 이 연구는 주문이 체결될 때까지 남고 취소할 수 없는 주시장과, 체결 직후 포지션을 상쇄하는 보조시장을 둔다. 시장조성자는 두 가격을 보기 전에 단위 호가를 제출하고, 체결 뒤에는 보조시장 가격으로 즉시 헤지한다.
정적 비교대상은 모든 제출일에 같은 호가를 쓰고, 동적 비교대상은 전체 미래경로를 안 채 제출일마다 최적호가를 고른다. 제안 정책의 기간항은 각각 로그와 제곱근 차수지만 여기에 두 노출항이 붙는다. 하나는 나중에 체결될 수 있는 호가구간의 폭이고, 다른 하나는 마지막으로 본 헤지 가격에서 실제 미래 체결비용까지의 변화다. 하한은 이 노출을 단순한 학습오차로 지울 수 없음을 보인다.
채권 데스크에서는 이 결과를 수익률 예측모델로 읽기보다 대기주문 위험의 계측법으로 쓰는 편이 맞다. 현물 호가가 남는 동안 선물·IRS 헤지 가격이 움직이면 체결 순간의 경제성이 달라진다. 다만 모형은 즉시 헤지와 완전한 사후 가격관측을 가정하고 대기열·부분체결·취소·재고·충격을 빼므로, 실거래 정책은 이 요소를 추가한 replay에서 다시 검증해야 한다.
SCOPE적대적 가격경로의 이론 보장이다. 단위주문·즉시헤지·완전한 사후 가격관측을 가정하며 실제 채권 주문장이나 P&L로 검증하지 않았다.
Evidence & verification ↓같은 변동성인데 왜 스트레스 지속시간은 달라지는가
같은 변동성인데 왜 스트레스 지속시간은 달라지는가?
위험관리자는 흔히 변동성, VaR, 거래량으로 자동화 시장을 감시한다. 연구는 이 주변분포 통계가 피드백 방향을 놓칠 수 있는지 묻는다. 정률곱 AMM 위에서 직전 움직임을 따라가는 흐름과 되돌림을 노리는 흐름을 각각 양·음의 피드백으로 표현하자, 두 시장은 같은 단일기간 수익률 법칙과 같은 turnover를 가질 수 있었다.
차이는 시간순서에서 나타났다. 정규 뉴스와 피드백 크기가 뉴스 척도와 같은 예시에서 추세추종 시장의 스트레스 episode는 평균 6.3기간, 차익거래 시장은 1.2기간이었다. 자기상관과 variance ratio는 피드백 부호를 보며, 개별 전략의 짧은 손실기록만 보면 시장 전체의 오래가는 스트레스를 놓칠 수 있다.
실무적으로는 같은 일중 변동성 구간에서도 연속손실 길이, 호가깊이 회복시간, 수익률 부호의 지속성을 따로 보아야 한다. 다만 이 결과는 암호자산 맥락의 이론모형이며 국내 채권 주문장이나 dealer 자본으로 추정한 인과효과가 아니다. 시장조성 리베이트와 수수료 결론도 직접 이식하지 말고 participant label을 주장하지 않는 시계열 검증부터 해야 한다.
SCOPE정률곱 AMM과 단순 피드백의 이론 결과다. 실제 채권시장 참여자 유형, 수수료제도 또는 시장조성 P&L의 실증이 아니다.
Evidence & verification ↓LLM 분석을 주문으로 바꿀 때 어디에서 통제해야 하는가
LLM 분석을 주문으로 바꿀 때 어디에서 통제해야 하는가?
이 시스템에서 LLM은 직접 주문을 내지 않는다. 기업뉴스와 거시 agent가 구조화 보고서를 만들고, coordinator가 기존 모멘텀 점수·현금 reserve·보유상태와 결합한다. 응답 parsing이나 분석이 실패하면 결정론적 fallback이 작동한다. 해석과 자본배분, 실행을 분리한 점이 채권 agent의 운영통제에 유용하다.
브로커가 기록한 paper account는 관측창에서 34.5%를 기록했고 SPY는 14.4%였지만, 계정의 최대낙폭은 더 컸다. 저자들은 이 궤적이 LLM 지시 거래의 역사적 인과효과가 아니라고 선을 긋는다. 회고 reconstruction에서도 일정 현금비중 control이 stance 기반 sizing과 가까운 추정치를 내 모델 정보가 얼마만큼 기여했는지 식별하지 못했다.
한국 채권 적용에서는 agent가 금통위·입찰·물가·고용·공시의 방향과 근거시각만 정해진 schema로 내고, 별도 엔진이 듀레이션·만기·유동성·거래금지 창과 kill switch를 집행해야 한다. paper 결과는 alpha 증거가 아니며 일부 원자료와 private strategy도 공개되지 않았다. 따라서 agent 사용 여부와 일정 현금, 지연분석, fallback을 같은 OOS 창에서 비교해야 한다.
SCOPE주식 paper account와 회고 replay다. 실자본 운용성과가 아니며 selection·weighting·exposure·execution의 기여를 분리하지 못했고 일부 원자료와 전략이 비공개다.
Evidence & verification ↓연구속도와 실시간 지연관측은 어떻게 같은 생산체계를 만드는가
연구속도와 실시간 지연관측은 어떻게 같은 생산체계를 만드는가?
퀀트 연구가 느린 이유는 모델보다 같은 원천자료를 되풀이해 읽는 비용일 수 있다. HRT의 공식 기술 글은 column-wise packing이 일반 압축보다 parsing을 단순화해 CPU overhead를 57% 낮췄다고 설명한다. petabyte급 Iceberg table에서는 자주 거르는 column을 Z-ordering해 평균 query time을 20~25% 개선했다.
production 쪽 과제는 event loop의 stall을 관측하면서도 critical path를 더 느리게 만들지 않는 것이다. 프로젝트는 공유메모리 timestamp와 별도 server로 stall을 감지하고 필요할 때 stack을 회수한다. 짧은 stall에서 stack unwind 자체가 추가 지연을 만들기 때문에, 관측기 오버헤드도 임계값과 함께 재야 한다.
채권 데스크에서는 빠른 dataset scan이 더 많은 봉인 OOS 실험을 가능하게 하고, 별도 stall collector가 지연급증의 원인을 남긴다. 하지만 이는 특정 workload와 machine의 성능 결과이지 모델 성과나 P&L 공개가 아니다. 데이터 layout, feature 생성시간, 주문엔진 latency와 kill switch를 같은 생산성·위험 대시보드에서 보되 인프라 속도를 alpha와 혼동하지 않아야 한다.
SCOPE회사 공식 프로젝트 설명이지만 성능수치는 특정 workload와 장비의 결과다. 전략모델·label·위험한도·실제 주문성과 또는 P&L은 공개하지 않는다.
Evidence & verification ↓거래기록과 주문규칙을 정확히 맞추는 일이 왜 수익 기반인가
거래기록과 주문규칙을 정확히 맞추는 일이 왜 수익 기반인가?
OTC나 음성거래에서는 내부 기록과 public tape가 같은 경제적 거래를 다른 모양으로 표현할 수 있다. Jane Street의 공식 글은 익명 tape에서 시간·수량·가격을 기준으로 내부 전화거래와 맞추고 불일치를 찾는 시스템을 설명한다. 평균가격 거래가 여러 print로 갈라지는 상황까지 처리해야 position과 사후분석이 일치한다.
주문명도 충분한 명세가 아니다. MEMX와 IEX의 Primary Peg는 같은 이름이지만 resting 가격과 재량체결 범위가 다르다. 프로젝트는 두 rulebook을 읽고 OCaml·FIX 구현으로 옮긴 뒤 test로 revision을 확인했다. 이런 semantics가 simulator와 production에서 다르면 체결확률, queue 위치와 mark-out label이 모두 오염된다.
국내 채권시장에서도 예측모델 전에 내부 blotter, 공개체결, 정정·취소·분할보고를 같은 상태기계로 맞춰야 한다. venue·broker별 주문속성은 이름이 아니라 rulebook 문장, FIX field, 우선순위와 결제달력으로 versioning할 필요가 있다. 공개 글은 독립적으로 재현된 전략성과나 P&L을 제시하지 않으므로, 수익 연결은 대사오류와 운영위험을 줄이는 간접경로로만 해석한다.
SCOPE회사 공식 기술 프로젝트 설명이다. 도구의 독립 재현, 전략별 성과, 모델 label·위험한도나 P&L은 공개하지 않아 수익효과를 직접 주장할 수 없다.
Evidence & verification ↓한국 채권 데스크의 우선순위는 거대한 단일 모델이 아니다. 대기주문 노출과 시계열 스트레스를 측정하고, LLM의 설명을 결정론적 위험엔진 뒤에 두며, 연구 데이터와 실제 체결이 같은 상태를 가리키게 해야 한다. 공개되지 않은 alpha를 상상하기보다 이 연결고리마다 관측 가능한 실패기준을 두는 편이 재현성과 손실통제에 더 직접적이다.
Sources & evidence
Original passages appear only when checked against the publication. Earlier briefing records are identified separately.
취소할 수 없는 주문은 어떤 미래가격 위험을 남기는가2 primary · 0 archived +
미체결 주문은 체결될 때까지 유지되고 취소할 수 없으며, 체결 포지션은 보조시장에서 즉시 상쇄되는 모형이다.
ORIGINAL PASSAGEorders remain active until they tradearXiv:2611.06159v1, Introduction and Setting, lines 47-58 and 82-85, accessed 2026-11-12기간에 따른 정적 후회항은 로그 차수, 동적 후회항은 제곱근 차수이며 두 가격노출항이 추가된다.
ORIGINAL PASSAGEΘ(log T) for static regret and Θ(sqrt T) for dynamic regretarXiv:2611.06159v1, Section 1 Our results, lines 60-65, accessed 2026-11-12같은 변동성인데 왜 스트레스 지속시간은 달라지는가2 primary · 0 archived +
양과 음의 피드백 시장은 동일한 단일기간 수익률 법칙과 회전율을 가질 수 있다.
ORIGINAL PASSAGEthe same one-period return law and the same turnoverarXiv:2611.01799v1, Section 1.1, lines 63-68, accessed 2026-11-12정규 뉴스 예시에서 추세추종과 차익거래의 평균 스트레스 지속기간은 크게 달랐다.
ORIGINAL PASSAGEepisodes last 6.3 periods under herding and 1.2 under arbitragearXiv:2611.01799v1, Section 1.1 and Figure 1a, lines 67-70, accessed 2026-11-12LLM 분석을 주문으로 바꿀 때 어디에서 통제해야 하는가3 primary · 0 archived +
broker-recorded paper account는 구조화 LLM 분석과 규칙기반 실행을 결합하고 결정론적 fallback을 사용했다.
ORIGINAL PASSAGEoperated with deterministic fallbacksarXiv:2611.11657v1, Abstract and system design, lines 91-97, accessed 2026-11-12관측기간 paper account 수익률과 SPY 수익률은 각각 34.5%와 14.4%였고 전자의 낙폭이 더 컸다.
ORIGINAL PASSAGEreturned 34.5%, compared with 14.4% for the S&P 500 fund SPYarXiv:2611.11657v1, Abstract and Section 5.1, lines 91-93 and 157-161, accessed 2026-11-12일정 현금비중 control이 모델의 stance 기반 sizing과 가까운 수익률 추정치를 냈다.
ORIGINAL PASSAGEconstant-cash control gives a return estimate closearXiv:2611.11657v1, Abstract and Section 5.4, lines 92-93 and 173-178, accessed 2026-11-12연구속도와 실시간 지연관측은 어떻게 같은 생산체계를 만드는가3 primary · 0 archived +
column-wise parsing과 packing으로 CPU overhead가 57% 줄었다고 보고했다.
ORIGINAL PASSAGECPU overhead decreased by 57%HRT, Intern Spotlight: 2025 Software Engineering Summer Projects, SmallGrid section, lines 132-134, accessed 2026-11-12자주 filter하는 column의 Z-ordering으로 평균 query time이 20~25% 개선됐다.
ORIGINAL PASSAGE20-25% improvement in average query timeHRT, same article, Iceberg Z-ordering section, lines 178-180, accessed 2026-11-12production machine의 짧은 stall에서 stack unwind가 추가 지연을 만들었다.
ORIGINAL PASSAGE100 microsecond stalls ... ~15 microseconds longerHRT, same article, Stall Monitor Testing, lines 218-226, accessed 2026-11-12거래기록과 주문규칙을 정확히 맞추는 일이 왜 수익 기반인가3 primary · 0 archived +
내부 전화거래 기록과 익명 public tape를 대조해 불일치를 표시하는 시스템을 만들었다.
ORIGINAL PASSAGEflags discrepanciesJane Street, What the TDOE interns have wrought, 2026 edition, trade reconciliation section, lines 61-71, accessed 2026-11-12MEMX와 IEX의 Primary Peg는 같은 이름이지만 각 거래소에서 다르게 정의된다.
ORIGINAL PASSAGEdefined differently by eachJane Street, same article, Primary Peg section, lines 75-81, accessed 2026-11-12거래소 명세를 OCaml·FIX로 구현한 뒤 광범위한 test로 revision을 검증했다.
ORIGINAL PASSAGErun extensive tests to verify their revisionsJane Street, same article, Primary Peg section, lines 80-81, accessed 2026-11-12Show the original briefing text
채권시장 AI 연구 브리핑
2026년 11월 12일
조사 마감: 2026년 11월 12일 06:30 (Asia/Seoul)
원문 열람일: 2026년 11월 12일
중복 점검: 원격 저장소의 기존 94개 브리핑과 470개 연구의 제목·원문 URL을 대조했다. 전날 선정 자료와 기존 URL은 제외했다. 1~3번은 논문 본문·정리·표·실험조건·한계를 확인했고, 4~5번은 채용공고가 아닌 회사 공식 기술 글이다. 퀀트회사가 공개하지 않은 모델·라벨·위험한도·전략별 P&L은 추론하지 않았다.
1. Regret Bounds for Market Making with Persistent Orders
구분: 최신 연구·취소할 수 없는 대기주문의 시장조성과 온라인 학습
발표일: 2026년 11월 4일
핵심 요약
arXiv 원문은 미체결 주문이 체결될 때까지 남고 취소할 수 없는 시장조성을 적대적 가격경로에서 분석한다. 시장조성자는 주시장에 호가한 뒤 체결된 포지션을 보조시장에서 즉시 상쇄하며, 제안 정책은 최적 고정호가 대비 정적 후회를 로그 차수로, 제출 시점별 최적호가 대비 동적 후회를 제곱근 차수로 제한한다. 두 보장에는 대기주문이 미래 주시장 가격과 헤지 가격에 노출되는 정도가 별도 항으로 들어가며, 하한은 이 항들을 없앨 수 없음을 보인다.
실무 시사점
채권 전자시장에서는 같은 시점의 스프레드보다 미체결 주문이 얼마나 오래, 어떤 헤지비용 변화에 걸쳐 남는지를 함께 측정해야 한다. 이 논문은 실행 지연을 단순 시간 대신 나중에 체결될 수 있는 호가구간의 폭과 미래 보조시장 가격 변화로 분해한다. 다만 즉시 헤지, 사후 두 가격 모두 관측, 수량 1의 단순모형이며 대기열 순번·부분체결·취소·재고·시장충격을 포함하지 않아 실거래 성과로 읽을 수 없다.
한국 시장 복제 아이디어
국고채 현물 호가를 주시장, 국채선물이나 IRS를 보조시장으로 두고 각 미체결 주문의 대기시간뿐 아니라 주문 제출 뒤 가능한 주시장 upcrossing 폭과 실제 헤지 가격 변화를 기록한다. 고정 스프레드 정책과 노출기반 정책을 체결 후 1초·10초 mark-out, 헤지비용, 미체결 꼬리, 최대 DV01로 비교한다. 취소 가능 버전과 불가능 버전을 함께 돌려 이론의 지속주문 가정이 국내 전자호가에서 얼마나 중요한지 검증한다.
2. Learning AI Agents, Market Makers, and Stress in Automated Markets
구분: 최신 연구·학습 에이전트의 피드백과 시장 스트레스 지속성
발표일: 2026년 11월 1일
핵심 요약
arXiv 원문은 정률곱 자동시장조성자 모형에서 추세추종의 양의 피드백과 차익거래의 음의 피드백이 같은 1기간 수익률 분포와 회전율을 만들 수 있음을 보인다. 정규 뉴스와 피드백 크기가 뉴스 척도와 같은 조건에서는 스트레스 episode가 추세추종에서 평균 6.3기간, 차익거래에서 1.2기간 지속되지만 변동성·VaR 같은 주변분포 통계만으로는 둘을 구분하지 못한다. 자기상관과 분산비처럼 시계열 순서를 쓰는 통계는 피드백 부호를 식별하며, 스프레드 수익을 받는 시장조성자가 흐름을 흡수할 때 안정화되지만 참여가 끊기면 유동성이 불연속적으로 사라질 수 있다.
실무 시사점
동일한 일중 변동성과 거래량이라도 충격이 연속되는 구조는 전혀 다를 수 있다. 리스크 대시보드에 변동성·ES만 두지 말고 부호연속성, 자기상관, variance ratio, 스트레스 run length를 넣어야 한다. 다만 이는 암호자산 맥락의 이론적 AMM 모형이며 실제 채권 주문장, dealer balance sheet, 자본제약으로 추정한 결과가 아니므로 수수료나 리베이트의 효과를 국내 시장에 그대로 이식해서는 안 된다.
한국 시장 복제 아이디어
국채선물과 전자 국고채에서 1초·10초·1분 수익률의 주변분포를 맞춘 날들을 묶고, 같은 변동성 구간 안에서 부호연속성과 스트레스 run length가 dealer 재고·호가깊이 회복시간을 설명하는지 본다. 추세추종 주문흐름과 차익거래 흐름은 participant label을 직접 주장하지 말고 체결방향·선물현물 basis·호가회복 패턴으로 대리한다. 평가기준은 다음 충격까지의 시간, 스프레드 정상화, 최대 연속손실과 잘못된 경보율이다.
3. Inside the Trading Loop: Markets, Models, and Moves with LLM Agents
구분: 최신 연구·LLM 분석 에이전트와 규칙기반 포트폴리오 실행
발표일: 2026년 11월 8일
핵심 요약
arXiv 원문은 모멘텀 포트폴리오, 기업뉴스·거시 LLM 분석가, 구조화 응답, 결정론적 coordinator와 fallback을 결합한 주식 paper-trading 시스템을 공개한다. 브로커가 기록한 2026년 3월 11일~8월 28일 계정은 34.5%를 기록해 SPY의 14.4%를 웃돌았지만 최대낙폭은 더 컸고, 해당 경로는 LLM이 지시한 역사적 실거래의 인과효과가 아니다. 일정 현금비중 control이 모델의 stance 기반 sizing과 가까운 추정치를 냈으며, 저자들은 일부 원자료와 private strategy가 없어 완전 재현과 기여도 분리가 불가능하다고 명시한다.
실무 시사점
가장 재사용할 부분은 수익률 숫자보다 통제 구조다. LLM은 뉴스와 거시자료를 정해진 schema로 요약하고, 포트폴리오 규칙이 위험예산과 주문을 결정하며, parse 실패에는 결정론적 fallback이 작동한다. 이 분리는 채권 데스크에서도 거시·발행·신용 뉴스 해석과 DV01·만기·유동성 한도 결정을 분리해 모델 오류가 곧바로 주문으로 번지는 것을 막는다. 논문 결과는 paper account와 회고 replay이므로 alpha나 실거래 P&L 증거가 아니다.
한국 시장 복제 아이디어
금통위 문서, 입찰결과, CPI·고용, 발행사 공시를 읽는 한국어 agent가 방향·신뢰도·근거시각을 JSON으로 내도록 한다. 별도 결정론 엔진이 KTB 선물·국고채 만기 bucket의 DV01 한도, 현금 reserve, 거래금지 창과 kill switch를 적용한다. agent 사용·미사용, 항상 일정 현금, 지연된 분석, parse-fallback을 봉인 OOS에서 비교하고 비용차감 수익뿐 아니라 최대낙폭·turnover·schema 실패율·근거의 시점오염을 평가한다.
4. Hudson River Trading — Intern Spotlight: 2025 Software Engineering Summer Projects
구분: HRT 공식 기술 글·연구 데이터와 production latency 인프라
발표일: 2026년 8월 24일
채용공고 아님: 회사가 공개한 실제 소프트웨어 프로젝트 설명이다.
핵심 요약
HRT 공식 원문은 압축, petabyte급 Iceberg query, 자동매매 stall 진단이라는 세 production 프로젝트를 설명한다. column-wise packing은 CPU overhead를 57%, message 수를 34% 줄였고, 자주 거르는 column을 Z-ordering한 결과 평균 query time이 20~25% 개선됐다고 보고한다. 별도 process와 shared memory를 쓴 stall monitor는 정상 경로의 영향을 줄이면서 stack trace를 수집했지만 100마이크로초 stall을 unwind할 때 약 15마이크로초가 더 걸렸다.
실무 시사점
퀀트 연구의 수익 연결은 비밀 예측모델보다 데이터 반복속도와 장애관측성에서도 생긴다. columnar layout과 물리적 정렬은 같은 시간에 더 많은 연구검증을 가능하게 하고, critical path 밖의 stall monitor는 지연급증의 원인을 남겨 자동주문 위험을 줄인다. 그러나 공개된 수치는 특정 workload와 production machine의 성능이며 전략 P&L, 모델 label, 위험한도나 실제 주문성과는 공개하지 않는다.
한국 시장 복제 아이디어
국채선물 L3·국고채 RFQ·IRS tick을 날짜·상품·만기·종목 column으로 저장하고 현재 Parquet layout과 Z-ordering, column packing을 동일 query 묶음에서 비교한다. cold/warm query time, CPU시간, 압축률, feature 생성 대기시간을 함께 재고 연구자당 봉인 OOS 실험수를 본다. 실행엔진에는 shared-memory heartbeat와 별도 stall collector를 붙여 10·50·100마이크로초 인위적 stall에서 탐지율, 추가지연, stack 회수율과 kill-switch 오탐을 측정한다.
5. Jane Street — What the TDOE interns have wrought, 2026 edition
구분: Jane Street 공식 기술 글·거래기록 대사와 주문유형 구현
발표일: 2026년 9월 30일
채용공고 아님: 회사가 공개한 실제 trading-desk engineering 프로젝트 설명이다.
핵심 요약
Jane Street 공식 원문은 내부 전화거래와 익명 public tape를 시간·수량·가격으로 맞추고 split print를 처리하는 대사 시스템을 소개한다. 또한 같은 Primary Peg 주문이 MEMX에서는 최우선 호가에 쉬지만 IEX에서는 한 틱 덜 공격적으로 쉬면서 최우선 호가까지 재량체결될 수 있어, 거래소 rulebook을 OCaml·FIX 구현과 광범위한 test로 옮겼다고 설명한다. ETF 프로젝트는 구성종목 시장 휴일과 발행사 규칙을 합쳐 주문·거래·결제 가능일을 계산했다.
실무 시사점
공개자료가 보여주는 수익화 경로는 예측모델이 아니라 거래의 경제적 상태를 정확히 복원하는 것이다. 익명 tape와 내부 blotter가 어긋나면 position·수수료·best execution 분석이 틀어지고, 같은 주문명도 venue별 의미가 다르면 시뮬레이터와 실제 체결이 갈라진다. 이는 Jane Street의 비밀전략이나 성과를 공개한 자료가 아니며, 프로젝트 설명의 독립적 재현도 제한된다.
한국 시장 복제 아이디어
국고채 OTC·장내·선물 거래의 내부 blotter를 KRX·KOFIA 공개체결과 시간·수량·가격 tolerance로 맞추고 분할보고·평균가격·정정취소를 별도 상태로 둔다. venue·broker별 주문속성은 이름이 아니라 rulebook semantics, FIX field, 체결우선순위로 versioning한다. 평가기준은 자동대사율, false match, 미확인 position 금액, T+1 수정건수, simulation과 실제 fill의 괴리이며 불일치가 남으면 자동위험축소를 작동시킨다.
오늘의 데스크 결론
오늘 자료는 시장 AI의 성패가 예측치 하나보다 오래 남는 약정, 시간순 피드백, 실패 시 안전한 실행, 거래상태의 정확한 복원에서 갈린다는 점을 보여준다. 한국 채권 데스크는 모델의 방향성만 비교하기보다 대기주문 노출과 스트레스 지속성을 측정하고, LLM을 위험한도와 분리하며, 데이터·지연·대사 계층을 함께 검증해야 한다. 공개자료가 말하지 않는 전략별 P&L은 추정하지 않고, 재현 가능한 운영지표로 가설을 시험하는 편이 안전하다.