널리 쓰이는 사전 기반 모형이 모든 평가 데이터에서 크게 뒤처졌고 멀티모달, 즉 텍스트와 수치를 함께 읽는 영역은 기존 해법이 충분하지 않았다는 공식 결과다. 범용 벤치마크가 높아도 금융 문서의 의사결정 라벨을 잘 맞힌다는 보장은 없다.
국내에서는 금통위 의사록과 회사채 공시·등급보고서에 정책 방향, 불확실성, 신용사건 라벨을 따로 만든다. 사전모형과 한국어 인코더, LLM을 동일한 시계열 홀드아웃에서 비교하고 숫자표가 포함된 문서는 텍스트 단독 성능과 분리해 평가한다.
편집 전 브리핑 원문 펼치기
구분: 중앙은행 Working Paper·금융 NLP 벤치마크
발표일: 2025년 12월 19일
선정 이유: 최신성보다 금융 텍스트 모델의 평가 설계라는 기술적 가치 때문에 선정
핵심 요약
영란은행 Staff Working Paper No. 1,163은 경제·금융 문장분류를 위한 EcoFinBench를 제안하고 사전 기반, 단어빈도, 토픽모형과 현대적 트랜스포머를 여러 도메인 데이터에서 비교한다. 통화정책의 텍스트 감성을 다루는 Bluebook과 텍스트·수치를 함께 쓰는 Greenbook 데이터셋을 새로 제공하며, 금융 데이터의 전형적인 조건인 작은 표본과 긴 문서를 평가에 포함했다. 공식 결과는 경제·금융에서 널리 쓰이는 사전 기반 모형이 모든 평가 데이터에서 크게 뒤처졌고 멀티모달 영역은 기존 해법의 성능이 부족해 추가 연구가 필요하다고 보고한다. 이는 문장분류 벤치마크이며 채권 매매수익이나 특정 LLM의 실거래 우위를 입증한 것은 아니다.
실무 시사점
중앙은행 문구·회사채 공시·애널리스트 보고서를 읽는 모델은 범용 감성점수 하나로 검증하면 안 된다. 정책 방향, 불확실성, 신용악화 원인처럼 실제 의사결정별 라벨을 분리하고 문서 길이·표본 크기·숫자 결합 여부에 따라 성능과 보정오차를 측정해야 한다.
한국 시장 복제 아이디어
금통위 의사록, 통화신용정책보고서, 회사채 증권신고서와 등급보고서에서 문장 단위 방향·불확실성·신용사건 라벨을 구축한다. 사전모형, 소형 한국어 인코더와 LLM을 동일한 시계열 홀드아웃에서 비교하고, 수치표가 있는 문서는 텍스트 단독과 텍스트·수치 결합 성능을 따로 보고한다.