AT1은 손실흡수, 전환과 상각 조건이 문서마다 달라 한 문장 차이가 상환순위를 바꿀 수 있다. 연구진은 유럽의 열 개 대형은행 투자설명서를 규정과 조항별로 비교해 축소·확대·누락·모호성·모순 후보를 LLM이 설명하도록 했다. 목표는 법률판단 자동화가 아니라 사람이 읽을 후보를 좁히는 것이다.
비결정적인 출력을 다루기 위해 같은 절차를 다섯 번 반복했다. 서로 같은 결과를 합친 뒤 네 번 이상 나타난 79건만 전문가 검토 대상으로 남겼다. 반복 합의는 잡음을 줄이지만 드물게 나타나는 실제 위험도 버릴 수 있으므로 임계값 자체를 검증해야 한다.
익명화한 Credit Suisse와 Yes Bank 문서 쌍, 그리고 문제 문구를 제거한 반사실 시험에서 알려진 차이가 예상대로 나타나거나 사라졌다. 그래도 후보의 법적 중요성과 감독조치는 전문가 몫이다. 한국 적용에서는 원문 조항, 실행별 일치율과 사람이 뒤집은 이유를 감사기록으로 남겨야 한다.
SCOPE감독 선별을 돕는 실험으로 법률해석 자동화나 실제 손실예측 성과를 입증하지 않는다. 모델·프롬프트 변화와 비공개 문서 형식에 따라 재현성이 달라질 수 있고 최종 판단에는 감독·법률 전문가가 필요하다.
Evidence & verification ↓Sources & evidence
Original passages appear only when checked against the publication. Earlier briefing records are identified separately.
Supervisory screening with large language models: finding divergences3 primary · 0 archived +
모형은 유럽 대형은행의 AT1 투자설명서를 비교해 79개 반복 후보를 전문가 검토용으로 남겼다.
ORIGINAL PASSAGEretain 79 candidate divergences that appear in at least four runsBIS Bulletin No 134, section 3, p.4, accessed 2026-10-21연구진은 결과의 안정성을 확인하기 위해 동일 절차를 5번 반복했다.
ORIGINAL PASSAGErepeat the procedure five timesBIS Bulletin No 134, section 3, p.3, accessed 2026-10-21분석 대상은 유럽 G-SIB이 발행한 AT1 투자설명서다.
ORIGINAL PASSAGEAT1 instruments issued by 10 European G-SIBsBIS Bulletin No 134, section 3, p.3, accessed 2026-10-21Show the original briefing text
구분: BIS Bulletin·LLM 기반 AT1 감독심사
발표일: 2026년 8월 26일
핵심 요약
BIS 원문은 LLM으로 규정과 10개 유럽 G-SIB의 AT1 투자설명서를 비교해 축소·확대·누락·모호성·모순을 선별한다. 같은 절차를 다섯 번 실행해 얻은 576건을 193개 고유 후보로 합친 뒤, 4회 이상 반복된 79건만 전문가 검토 대상으로 남겼다. 익명화한 Credit Suisse와 Yes Bank 사례 및 반사실 문구로 알려진 차이를 다시 찾았지만, 저자들은 최종 중요도와 조치 판단은 감독·법률 전문가가 맡아야 한다고 한정한다.
실무 시사점
채권 계약서 LLM의 목표는 법률판단 자동화보다 서로 다른 문서에서 검토 우선순위를 만드는 것이다. 반복 실행 간 일치율, 조항 위치, 원문 근거와 사람이 뒤집은 이유를 저장해야 하며, 낮은 재현성이나 부정문 처리 실패는 자동 경보의 신뢰도를 낮춘다.
한국 시장 복제 아이디어
은행 신종자본증권·조건부자본증권의 투자설명서와 감독규정을 조항 단위로 맞춘다. 법무·리스크 담당자가 만든 차이 100건을 기준셋으로 두고 단일 실행과 5회 합의 방식을 재현율, 오탐률, 검토시간으로 비교하며 문구를 최소 변경한 반사실 시험도 병행한다.