LLM에게 점수 대신 승패를 묻는다: 쌍대비교로 개방형 응답 척도화하기
개방형 문항은 조사 설계자라면 누구나 쓰고 싶어 하지만 실제로는 잘 넣지 못하는 문항이다. 응답의 깊이는 폐쇄형이 따라올 수 없다. 보기에 없는 개념을 응답자가 스스로 꺼내고, 확신의 정도나 단서 조항까지 문장에 담긴다. 문제는 그다음이다. 수백, 수천 건의 서술형 응답을 코딩하는 비용이 문항 하나의 가치를 넘어서는 경우가 많고, 결국 애써 받은 텍스트를 몇 개의 범주로 눌러 담으면서 폐쇄형의 한계를 도로 불러들이게 된다.
LLM이 이 코딩 비용을 크게 낮췄다는 보고는 이미 여럿 나와 있다. 그런데 LLM에게 "이 응답에 0점부터 10점까지 점수를 매겨라"라고 시키는 방식에는 생각보다 근본적인 문제가 있다. 올해 3월 Public Opinion Quarterly에 실린 DiGiuseppe와 Flynn의 논문은 이 문제를 정면으로 다루면서, 점수 대신 승패를 묻는 대안을 제시한다. 결론부터 말하면, 실무에서 바로 써볼 만한 설계다.
직접 채점 방식의 세 가지 약점
LLM 직접 채점의 첫 번째 약점은 기준점이 없다는 것이다. 사람 코더는 응답 수십 건을 처리하면서 자기 나름의 앵커를 형성해 간다. 7점짜리 응답이 어떤 것인지에 대한 감이 생기고, 코딩 규칙을 일관되게 적용하는 한 그 감은 점차 수렴한다. 반면 LLM의 zero-shot 호출은 매번 백지에서 시작한다. 호출마다 지시문을 새로 읽고, 이전에 어떤 응답에 몇 점을 줬는지 기억하지 못한다. 예시를 넣어주는 few-shot 방식도 어떤 예시를 고르느냐가 최종 데이터에 어떤 영향을 주는지 알 수 없다는 문제가 남는다.
두 번째 약점은 점수 분포의 편중이다. 논문이 여섯 개 모델(GPT-4o, GPT-4o mini, Llama 3.1 405B와 8B, Gemma 3 27B와 4B)에게 같은 응답 1,402건을 0~10점으로 채점시켰더니, 모델마다 선호하는 숫자가 따로 있었다. 11개 값을 쓰라고 줬는데 실제로는 그중 일부에 응답이 몰렸고, 그 몰림의 패턴에 뚜렷한 논리도 없었다. 척도의 해상도가 명목상 11단계일 뿐 실질적으로는 훨씬 거칠다는 뜻이다.
세 번째 약점은 불확실성 추정치가 없다는 것이다. LLM이 어떤 응답에 6점, 다른 응답에 7점을 줬을 때 이 1점 차이가 실제 차이인지 잡음인지 후속 분석 모형은 구분할 방법이 없다. 점수를 그대로 회귀분석에 넣으면 측정오차가 있는 변수를 오차 없는 변수처럼 취급하게 된다.
여기에 재현성 문제가 겹친다. 같은 과제를 다른 모델에게, 혹은 같은 모델의 다른 버전에게 시키면 결과가 달라진다는 보고가 이어져 왔다. Barrie 등의 연구는 모델 간, 시점 간 분산이 "용납하기 어려운 수준"이라고까지 표현했다.
점수 대신 승패, 그리고 Bradley-Terry
저자들의 제안은 단순하다. LLM에게 응답 두 건을 보여주고 어느 쪽이 측정하려는 개념에 더 부합하는지만 고르게 한다. 1번이 낫다, 2번이 낫다, 구분 불가, 셋 중 하나로만 답하게 하는 것이다. 이렇게 모은 승패 기록을 Bradley-Terry 모형에 넣으면 응답별 잠재 점수가 추정된다. Bradley-Terry는 체스 레이팅이나 스포츠 순위 산정에 쓰이는 그 모형이다. i가 j를 이길 확률을 두 잠재 능력치의 차이로 모형화한다.
이 설계가 직접 채점의 약점을 어떻게 우회하는지 보자. 채점자가 전반적으로 후하거나 박한 것은 쌍대비교에서 문제가 되지 않는다. 승패의 순서를 뒤집지 않는 한, 척도 위 어디에 놓았는지는 최종 추정치와 무관하기 때문이다. 예컨대 맞춤법이 깔끔한 응답에 점수를 얹어주는 편향이 있다 해도, 그 편향이 승자와 패자를 바꿔놓을 만큼 크지 않으면 결과에 새어 들어오지 않는다. 미세한 변별도 쉬워진다. 100점 척도에서 65점과 66점을 구분하는 것은 사람에게도 LLM에게도 무리한 요구지만, 두 응답 중 어느 쪽이 나은지 고르는 것은 훨씬 수월한 판단이다.
실행 부담도 현실적인 수준으로 설계했다. 응답 1,400건을 전수 쌍대비교하면 200만 쌍 가까이 되지만, 저자들은 응답당 무작위 20쌍만 뽑아 총 2만 8천 회 비교로 줄였다. 이렇게 비교가 희소하면 전통적인 최우도추정은 수렴하지 않는 경우가 생기는데, 저자들은 베이지안 추정으로 이를 해결했다. 전용 패키지 없이 R의 brms로 다중소속 혼합효과 로짓 모형을 돌리는 방식이라 재현 장벽도 낮다. 논문에 전체 과정을 담은 R 코드가 공개되어 있다.
베이지안 추정의 부수 효과가 하나 더 있다. 잠재 점수마다 사후분포가 나오므로, 후속 분석에서 사후분포로부터 표본을 뽑아 모형을 여러 번 돌리면 측정 불확실성이 최종 추정치에 그대로 반영된다. 논문의 예시에서 금리 지식을 중앙은행 독립성 지지의 예측변수로 넣었을 때, 직접 채점 점수를 쓴 모형보다 계수는 25%가량 작고 신뢰구간은 눈에 띄게 넓었다. 직접 채점 방식이 유의하지 않은 차이를 유의한 것처럼 보이게 만들 수 있다는 경고다.
검증은 통과했는가
방법이 그럴듯해도 LLM의 판정 자체가 엉터리면 소용이 없다. 저자들은 미국 성인 1,400명에게 "미국 경제에서 금리가 어떻게 오르내리는지 두세 문장으로 설명해 달라"고 물은 개방형 응답을 재료로 썼다. 검증은 여러 겹으로 이루어졌다.
우선 사람과의 일치도. 원 표본에서 전문가 수준 답변을 낸 응답자 스무 명을 재접촉해 같은 쌍대비교 과제를 시키고 300쌍의 판정을 받았다. LLM 판정과 대조한 결과 대형 모델과 중형 모델은 F1 점수 0.8을 넘겼다. 지식 수준이 비슷한 응답끼리의 비교가 많아 애초에 정답이 흐릿한 과제였다는 점을 감안하면 상당한 일치다.
다음으로 모델 간 일관성. 여섯 모델의 최종 Bradley-Terry 점수는 모든 조합에서 상관 0.87을 넘겼고, 최대형 모델 두 개(GPT-4o와 Llama 3.1 405B) 사이는 0.95였다. 같은 두 모델의 직접 채점 상관이 0.85였으니, 쌍대비교가 모델 선택에 덜 민감한 방법임을 보여준다. 판정의 내적 일관성을 보는 이행성 점수(A가 B를 이기고 B가 C를 이겼을 때 A가 C를 이기는 비율)도 가장 작은 모델까지 96%를 넘겼다.
마지막으로 외적 타당도. 쌍대비교로 추정한 금리 지식 점수는 같은 조사의 폐쇄형 문항들과 예상대로 맞물렸다. 연준을 잘 안다고 자평한 응답자일수록 점수가 높았고, 금리를 정하는 기관이 어디인지, 연준 의장을 누가 임명하는지 같은 사실 문항을 틀린 응답자는 점수가 뚜렷이 낮았다.
상위 응답자 넷 중 하나는 사람이 아니었다
이 논문에서 따로 한 편의 글감이 될 만한 발견이 검증 과정에서 나왔다. 저자들은 재접촉 조사에서 금리 질문을 다시 던지면서, 설문 화면의 HTML에 사람 눈에는 보이지 않는 투명 글씨로 지시문 하나를 심어두었다. 답변에 Alan Greenspan을 언급하라는 내용이었다. 응답자가 질문을 통째로 복사해 LLM에 붙여넣으면 LLM은 이 숨은 지시를 읽고 따르지만, 사람은 볼 수 없는 문장이다.
결과는 상위 응답자 20명 중 5명이 Greenspan을 언급했다. 원 조사에서 가장 지식이 풍부하다고 판정된 응답자의 4분의 1이 AI로 답을 작성하고 있었다는 뜻이다. 개방형 문항처럼 인지 부담이 큰 과제일수록 응답자가 LLM에 기댈 유인이 크고, 그렇게 들어온 응답은 지식 척도의 최상위권을 오염시킨다. 저자들은 해당 응답을 제거하고 분석했지만, 웹조사에서 개방형 응답의 품질 관리가 이제 오탈자나 성의 없는 답변을 걸러내는 수준을 한참 지난 과제가 되었음을 보여주는 대목이다.
한국 조사 실무에서 검토할 것들
이 방법을 국내 조사에 가져올 때 확인이 필요한 부분이 몇 가지 있다.
먼저 언어다. 논문의 검증은 전부 영어 응답에서 이루어졌다. 한국어 개방형 응답에서도 쌍대비교의 일치도와 이행성이 유지되는지는 별도로 확인해야 한다. 특히 저자들이 이론적으로 지적한 문장력 편향, 즉 글솜씨가 지식 판정에 새어 들어가는 문제는 한국어에서 존댓말 사용, 문어체와 구어체 차이 같은 변수가 추가되므로 따로 점검할 가치가 있다. 쌍대비교 설계가 이 편향에 강건하다는 것이 논문의 주장이지만, 편향이 승패를 뒤집을 만큼 크면 이야기가 달라진다.
응답 길이도 변수다. 논문의 응답은 두세 문장 분량이었는데, 모바일 웹조사의 개방형 응답은 이보다 짧은 경우가 많다. 한 줄짜리 응답들 사이에서도 의미 있는 변별이 나오는지, 아니면 구분 불가 판정만 쌓이는지는 실제 데이터로 확인해야 한다.
용도의 경계도 분명히 해두자. 이 방법은 단일한 잠재 차원 위에 응답을 줄 세우는 도구다. 지식, 정교성, 태도 강도처럼 하나의 축으로 응답을 서열화할 때 쓰는 것이지, "우리 동네에서 가장 시급한 문제"처럼 응답을 여러 범주로 분류하는 코딩과는 과제 자체가 다르다. 분류 코딩에는 기존의 LLM 어노테이션 접근이 여전히 유효하다. 저자들도 차원이 여럿 겹친 개념에서는 모델 간 일치가 떨어진다는 것을 부록 실험으로 보여주면서, 어떤 경우든 복수 모델로 결과의 강건성을 확인하라고 권한다.
비용은 걸림돌이 되지 않을 것으로 보인다. 응답 1,400건 기준 2만 8천 회의 API 호출은 국내 조사기관이 감당 못 할 규모가 아니고, 중형 공개 모델(Gemma 3 27B)이 대형 상용 모델과 크게 다르지 않은 성능을 낸 것을 보면 로컬 추론으로 비용을 더 줄일 여지도 있다.
개방형 문항을 설계 단계에서 포기해온 이유가 코딩 비용이었다면, 그 전제는 확실히 흔들리고 있다. 다만 도구가 싸졌다고 검증까지 생략해도 되는 것은 아니다. 이 논문의 미덕은 방법 자체보다, LLM을 측정 도구로 쓸 때 요구되는 검증의 기준선을 사람 대조, 모델 간 대조, 외적 타당도, 응답자 측 오염 점검까지 구체적으로 보여줬다는 데 있다.
소개한 논문
DiGiuseppe, M. R., & Flynn, M. E. (2026). Scaling Open-Ended Survey Responses Using LLM-Paired Comparisons. Public Opinion Quarterly, 90(3), 630–656. https://doi.org/10.1093/poq/nfag013 (오픈액세스)
재현 자료: https://doi.org/10.7910/DVN/AXQSZB
