Inflation attitudes of large language models

연구진은 GPT가 과거 물가급등의 결과를 이미 알고 답하는 문제부터 막았다. 사용한 모형의 학습지식은 2021년 9월에 끝났고, 영국 물가가 크게 오른 시기는 그 뒤다. 여기에 실제 인플레이션 설문의 인구통계 특성과 당시 식품·에너지·나머지 품목의 가격상승률을 프롬프트로 넣었다. 모형이 외운 정답을 꺼내기보다 새 가격정보로 기대를 형성하게 만든 준실험 설계다.

설정 조정과 시험도 시간순으로 갈랐다. 2022년 4분기인 11월의 2111명 응답으로 temperature를 정했고, 2023년 1분기인 2월의 4472명 응답은 별도 시험에 사용했다. 집계 분포와 소득·주거·계층별 차이 일부는 실제 설문과 가까웠다. 그러나 같은 개인의 응답을 맞히는 관계는 약했고, 사람 설문과 공식 통계 가운데 어느 쪽을 더 잘 따라야 하는지도 과제에 따라 달라졌다.

구성품목을 따로 움직인 민감도 실험에서는 식품·외식 가격에 대한 반응이 소비바스켓 비중으로 계산한 반응의 4.01배였다. 사람도 자주 사는 식품가격을 크게 받아들이지만, GPT의 반응은 일부 범위에서 꺾여 일관된 소비자물가 모형으로 보기 어려웠다. 한 해 뒤 기대는 실제 물가와 사람 응답이 내려간 뒤에도 높은 수준에 머물렀다. 단기 집계값의 유사성이 장기 금리전망의 타당성을 보장하지 않는다.