가상 응답자에게 설문지 사전검사를 맡기면
Sturgis,
Roberts, Robinson(2026) 「LLMs for Survey Pretesting」 읽기
가상 응답자의 다른 쓰임새
얼마 전 유럽사회조사(ESS)가 방법론 웨비나 녹화본을 공개했다. 발표자는 런던정경대(LSE) 방법론학과의 패트릭 스터지스(Patrick Sturgis)였다. 발표 개요를 담은 장에는 “LLM은 서베이 연구의 여러 부분을 바꿀
수 있고, 그 가운데 가장 큰 기여는 측정에서 나올 수 있다”는
문장이 적혀 있었다.
발표는 영국 경제사회연구회(ESRC)가 지원하는 Survey Futures 과제에서 나온 연구
두 편을 소개했다. SOCbot은 응답자가 적은 직업명을 조사 도중에 직업분류 코드로 바꾸고, 정보가 모자라면 직무나 업종을 추가로 묻는 도구다. Cogbot은
초안 문항을 실사 전에 검사해 결함을 찾는 도구다. 이 글은
Cogbot 연구를 담은 Survey Futures 워킹페이퍼 15번(Sturgis, Roberts, Robinson 2026)을
읽고 정리한 것이다.
가상 응답자(silicon sampling)를 둘러싼 논의는 대부분 LLM이 사람
대신 답할 수 있느냐는 질문에 쏠려 있었다. 초기 연구는 조건을 준 모델이 집단 수준의 태도 분포를
어느 정도 재현한다고 보고했다(Argyle 외 2023). 그러나
뒤이은 연구에서 한계가 계속 나왔다. 모델의 답은 보기 순서나 표기만 바꿔도 달라졌고(Dominguez‑Olmedo 외 2024), 서구의 고학력·진보 집단 쪽으로 기울었으며(Santurkar 외 2023), 인구 특성을 지정해도 집단 안의 차이가 줄어들었다(Wang 외 2025). 저자들도 이런 이유로 가상 응답자를 모집단 추정에 쓰기는 아직 이르다고 본다.
저자들은 여기서 질문을 바꾼다. 목적을 모집단 수치 추정에서 문항 결함 찾기로 옮기면, 가상 응답자의
분포가 실제와 달라도 크게 문제 되지 않는다. 은퇴자로 설정된 가상 응답자가 고용 조건 만족도 문항을
읽고 “나는 지금 고용된 상태가 아니다”라고 말해 준다면, 그 문항에 전제 문제가 있다는 사실은 그대로 쓸모가 있다. 저자들이
시험한 것은 이 진단 용도다.
사람이 하는 사전검사는 늘 모자라다
인지면접은 초안 문항을 평가하는
대표적인 방법이다. 참여자는 문항에 답하면서 머릿속 과정을 소리 내어 말하거나 면접원의 탐색 질문에
답하고, 훈련된 분석자가 여러 면접에서 되풀이되는 어려움을 정리한다.
문항 글자만 봐서는 드러나지 않는 문제를 응답자 쪽에서 찾는 방식이다.
약점은 돈과 시간이다. 면접원 교육, 녹취 분석, 문항
수정과 재검사에 손이 많이 가서 실제로 검사하는 문항과 참여자 수가 적다. Caporaso와 Presser(2024)가 미국 학술 조사기관을 조사한 결과를 보면, 한
회차 참여자 수의 최소 기준은 중앙값이 5명 안팎이었고 최대 기준은
20명 안팎이었다. 어떤 문제가 면접에서 관찰될 확률은 그 문제가 얼마나 흔한지와 면접이
그 문제를 얼마나 잘 드러내는지에 달려 있다. 그래서 이 정도 인원으로는 중요한 문제를 놓칠 수 있다(Blair and Conrad 2011).
인지면접이 모든 문제를 고르게
찾는 것도 아니다. 단어가 모호하거나 보기에 자기 답이 없는 경우처럼 응답자가 답하다가 직접 겪는 어려움은
잘 드러난다. 반면 응답자가 불편을 느끼지 못하는 문제는 잘 드러나지 않는다. 응답자에게 해당하지 않을 수 있는 사실을 전제로 깔거나 특정 답 쪽으로 이끄는 표현은 응답자가 그냥 받아들이고
넘어가기 쉽다. 이런 문제는 전문가가 문제 유형 목록에 비추어 문항을 검토하는 전문가 검토(expert review)에서 더 잘 걸린다. 두 방법이 서로 다른
문제를 찾는다는 사실은 Presser와 Blair(1994)가
보여 주었다. 다만 두 방법 모두 숙련된 사람이 있어야 하고, 긴
설문지 전체에 적용하기에는 비용이 많이 든다.
결함을 넣어 둔 문항 27개로 시험했다
시험 문항은 27개다. 그중 20개는 1저자가 문항 결함 분류(Willis 2005; Presser and
Blair 1994)를 참고해 일부러 결함을 넣어 만든 문항이다. 문항마다 결함이 1~3개씩 들어 있고, 모두 합하면
48개다. 결함 유형은 이중 질문, 전제, 모호한 표현, 응답 범주 불일치,
회상 곤란, 유도·편향 표현, 민감성, 복잡한 구문의 8가지다. 나머지 7개는 30개가
넘는 나라에서 여러 차례 쓰인 ESS 기본 문항으로, 결함이
거의 없다고 보고 대조군으로 썼다. 쓸 만한 검사 도구라면 결함 문항에서는 문제를 찾고 ESS 문항에서는 문제를 거의 찾지 않아야 한다.
성적은 두 가지로 매겼다. 검출률은 결함 48개 가운데 찾아낸 비율이다. 오탐은 정답표에 없는 문제를 지적한 경우로, 결함 문항에서는 넣어
둔 결함 말고 다른 문제를 지적한 것이 오탐이 되고 ESS 문항에서는 지적한 문제가 모두 오탐이 된다. 찾아낸 문제가 정답표의 어느 결함과 맞는지는 Claude Opus 4.6과 GPT‑5.4가 따로 판정했다. 두 모델의 판정은 764쌍 가운데 94.4%가 같았고,
엇갈린 43쌍은 1저자가 판정했다.
인지면접 시뮬레이션은 세 단계로
진행한다. 먼저 2018년
ESS 영국 자료의 응답자 2,204명 기록으로 배경 설명을 만들어 두고, 문항마다 그중 30명을 무작위로 뽑는다. 배경 설명은 나이, 성별, 학력, 취업 상태, 지역, 가구
구성, 소득 구간을 정해진 문장 틀에 넣은 영어 580자
안팎의 글이다. LLM이 지어낸 인물이 아니고 실제 응답자 기록을 옮긴 것이다. 뽑힌 30명은 각자 1인칭으로
소리 내어 생각하며 문항에 답하고, 고른 답과 확신도(1~5점)를 남긴다. 다음 단계에서는 분석을 맡은 LLM이 녹취를 하나씩 읽고, 녹취에 근거가 있는 문제만 골라 설명과
근거 문장, 심각도(1~10점)를 기록한다. 마지막으로 종합 단계에서 30명의 결과를 합치며 같은 문제를 하나로 묶는다.
전문가 검토는 같은 모델을 세
번 불러 검토자 3명으로 쓰고, 종합 단계에서 겹치는 지적을
합친다. 응답자를 흉내 내지 않고 문항을 직접 검토한다는 점이 인지면접 시뮬레이션과 다르다. 두 방식 모두 프롬프트를 세 가지씩 바꿔 가며 시험했다(표 1).
표 1. 시험한 여섯 가지
설정
|
설정 |
방식 |
응답자·검토자에게 준 프롬프트 |
|
CI‑Open |
인지면접 시뮬레이션 |
별다른 틀 없이 소리 내어 생각하며 답하게 함 |
|
CI‑Structured |
인지면접 시뮬레이션 |
이해, 회상, 판단, 응답 선택 4단계를 차례로 거치게 하되 문제 유형은 알려 주지
않음 |
|
CI‑List |
인지면접 시뮬레이션 |
4단계마다 흔한 문제 유형 목록을 함께 줌(이해 단계라면 이중 질문, 모호한 표현, 전제, 유도
표현) |
|
ER‑Checklist |
전문가 검토 |
7가지 문제 유형 체크리스트로 유형마다 있음·없음을 판정 |
|
ER‑Open |
전문가 검토 |
정해진 유형 없이 문제를 자기 말로 적게 함 |
|
ER‑Restrained |
전문가 검토 |
ER‑Open에 “응답에 실제로 영향을
줄 문제만, 없으면 빈 목록”이라는 억제 문구를 더함 |
주: 논문 2.2절과
표 2의 설명을 따랐다. 부록 C의 프롬프트 전문에서는 억제 문구가 ER‑Open 쪽에 들어 있어
두 이름이 서로 바뀌어 있다(뒤에서 다룸). 자료: Sturgis 외(2026).
모델은 GPT‑4o(온도 0.7)를 주로 썼다. 같은 설정을 오픈웨이트 모델인 Llama‑3.3‑70B와 Qwen3‑32B에서도 돌렸고, 단계마다 모델을 섞지 않고 한 모델이
처음부터 끝까지 맡았다.
저자들은 F5 문항으로 두 방식이 결함을 찾는 모습을 보여 준다. 저자가 만든 결함 문항이고, 우리말은 내가 옮겼다.
F5. Overall, how satisfied are you with your terms of
employment?
(전반적으로
귀하의 고용 조건에 얼마나 만족하십니까?)
보기: 완전히
만족 / 매우 만족 / 어느 정도 만족 / 별로 만족하지 않음 / 전혀 만족하지 않음
이 문항에는 결함 3개가 들어 있다. ‘고용 조건(terms
of employment)’이 무엇을 가리키는지 모호하고, 보기가 긍정 3개와 부정 2개로 기울어 있으며,
응답자가 지금 고용돼 있다고 전제한다.
틀 없이 답하게 한 CI‑Open에서 은퇴한 전직 가게 주인으로 설정된 응답자는 자신이 은퇴해서 일반적인 의미로 고용된 상태가 아니라
질문이 좀 어색하다고 말했다. 분석 단계는 이를 전제 문제로 기록하고 심각도를 7점으로 매겼다. 54세 여성 주방 보조로 설정된 응답자는 ‘고용 조건’을 임금, 근무시간, 근무 환경으로 해석하면서 표현이 좀 모호하다고 말했고, 분석 단계는
이를 모호한 표현 문제(심각도 5점)로 기록했다. 전문가 검토(ER‑Checklist)는
같은 문제를 문항 구조의 속성으로 지적했다. ‘고용 조건’의
모호함은 검토자 3명이 모두 지적했고(평균 심각도 5.7점), 정해진 고용 조건이 있다고 가정한다는 점은 1명이 지적했다(5.0점).
이 예에서 인지면접 시뮬레이션이
전제 문제를 찾은 것은 은퇴자가 표본에 뽑혔기 때문이다. 문항이 해당하지 않는 응답자가 30명 안에 없었다면 이 전제는 드러나지 않았을 것이다. 이 방식의
성능은 어떤 응답자를 뽑느냐에 크게 달려 있다.
가장 잘 찾은 설정은 결함의 4분의 3을 찾았다
GPT‑4o에서 검출률이 가장 높은 설정은 CI‑List(75.0%)였고, ER‑Checklist(72.9%)가 뒤를 이었다. 가장 낮은 설정은 CI‑Structured(31.2%)였다. ESS 문항 1개당 오탐은 ER‑Restrained가 3.1개로 가장 많았고 ER‑Open이 0.3개로 가장 적었다. ER‑Open은 오탐이 적은 대신 결함의
절반 넘게 놓쳤다(검출률 47.9%).
그림 1. GPT‑4o 여섯
설정의 검출률과 ESS 문항 오탐

자료: Sturgis 외(2026)
표 2. 오탐은 ESS 대조 문항 7개에서 문항 1개당 지적한 문제 수.
눈에 띄는 설정은 CI‑Structured다. 응답자에게 인지 4단계를 차례로 거치게 했을 뿐인데, 검출률이 틀 없는 CI‑Open(60.4%)의 절반 수준으로 떨어졌다. 저자들은 4단계 틀을 받은 GPT‑4o 응답자가 결함 문항도 별 어려움 없이
넘기며 문제를 말하지 않은 것으로 해석한다. 부록의 녹취를 보면, 재활용과
거리 청소를 한 문항에 묶은 F1을 두고 GPT‑4o 응답자는
이해 단계에서 질문이 명확하고 헷갈리는 단어가 없다고 말한다. 판단 단계에서 두 서비스를 하나로 합치기가
조금 까다롭다고 하면서도 문제로 내세우지 않고 답을 고른다. 같은 틀을 받은 Qwen3 응답자는 두 서비스를 따로 평가해야 하는지 묻고 보기 간격까지 따졌다. 사람 면접에 쓰는 틀을 넣어 준다고 모델이 더 꼼꼼해지지는 않았다.
심각도로 걸러 보는 방법도 시험했다. 심각도 5점 이상만 남기면 ER‑Checklist의 ESS 문항 오탐은 2.3개에서
0.57개로 줄었고, CI‑List와 CI‑Open은 1.00개로 줄었다. ER‑Restrained는 오탐 대부분이 5점 이상이라 거의 그대로였다(3.14개).
오탐 수치는 그대로 믿기 어렵다. 정답표에는 출제자가 일부러 넣은 결함만 있으므로, 모델이 출제자도
몰랐던 진짜 문제를 찾아내도 오탐으로 잡힌다. 저자들은 상위 두 설정(CI‑List,
ER‑Checklist)에서 정답표와 맞지 않은 문제 79개를 문항 설계 전문가 2명에게 다시 판정하게 했다. 두 사람은 정답표를 보지 않고 문제마다 1~5점을 매겼고, 두 사람이 모두
4점 이상을 준 경우만 진짜 문제로 인정했다. 그 결과
CI‑List가 결함 문항에서 낸 오탐 29개 가운데
19개(65.5%)가 진짜 문제로 판정됐다. 이를
빼면 CI‑List의 오탐은 결함 문항 1개당 1.8개에서 0.5개로 줄어든다.
ER‑Checklist는 24개 가운데 8개가
진짜 문제로 판정돼 1.4개에서 0.8개가 됐다. ESS 문항에서 나온 오탐은 CI‑List 9개 가운데 0개, ER‑Checklist 17개 가운데 2개만 진짜 문제로 인정됐다. 오랫동안 다듬어 온 문항을 두고 한
지적은 대부분 근거가 없었다는 뜻이다.
반복 실행에 따른 편차도 크다. 인지면접 시뮬레이션은 회차마다 다른 응답자 30명을 뽑고, 같은 프롬프트라도 출력이 매번 달라진다. 저자들이 인지면접 세 설정을
세 번씩 돌려 보니 CI‑List의 검출률은 가장 높은 회차가
79.2%, 가장 낮은 회차가 64.6%였고 평균은
70.1%(표준편차 7.9%p)였다. CI‑Open은 58.3%에서 60.4% 사이로 거의 변하지 않았다. 검출률이 가장 높은 설정이 회차 간 편차도 가장 컸다.
결함 유형마다 잘 찾는 방식이 달랐다
표 2. 결함 유형별 검출률(GPT‑4o, %)과 가상 응답자 확신도
|
|
|
인지면접 시뮬레이션 |
전문가 검토 |
|
||||
|
결함 유형 |
N |
Open |
Structured |
List |
Checklist |
Open |
Restrained |
확신도 |
|
이중 질문 |
6 |
100 |
67 |
100 |
100 |
100 |
100 |
4.07 |
|
전제 |
9 |
44 |
33 |
44 |
89 |
11 |
56 |
3.91 |
|
모호한 표현 |
9 |
56 |
11 |
78 |
67 |
67 |
78 |
4.37 |
|
응답 범주 불일치 |
7 |
57 |
43 |
71 |
43 |
0 |
29 |
4.30 |
|
회상 곤란 |
5 |
100 |
0 |
100 |
100 |
80 |
80 |
4.32 |
|
유도·편향 표현 |
5 |
40 |
20 |
100 |
80 |
40 |
80 |
3.80 |
|
민감성 |
4 |
25 |
50 |
50 |
50 |
50 |
50 |
4.29 |
|
복잡한 구문 |
3 |
67 |
33 |
67 |
33 |
67 |
100 |
4.04 |
주: N은 유형별 결함 수. 확신도는
인지면접 세 설정의 가상 응답자가 매긴 점수(1~5점)의
평균이며, ESS 대조 문항의 평균은 4.4점 안팎이다. 자료: Sturgis 외(2026)
표 2, 표 4.
두 방식이 잘 찾는 결함은 서로
달랐다(표 2). 응답 범주 불일치는 인지면접 시뮬레이션이
더 잘 찾았다. CI‑List가 71%, CI‑Open이 57%를 찾은 데 비해 전문가 검토는 ER‑Checklist가 43%를 찾았을 뿐이고 ER‑Open은 하나도 찾지 못했다. 가상 응답자는 실제로 보기를 고르려다 자기 답에 맞는 보기가 없다는 것을 알아챈다. 전문가 검토는 문항을 바깥에서 분석하므로 이런 어긋남을 놓치기 쉽다.
전제는 반대였다. 체크리스트에 ‘전제’ 항목이
들어 있는 ER‑Checklist가 89%로 가장 잘 찾았고, 그런 단서가 없는 ER‑Open은
11%에 그쳤다. 유도·편향 표현도 단서가 있느냐에
따라 크게 갈렸다. 문제 유형 목록을 받은 CI‑List는 5개를 모두 찾았지만 틀 없는 CI‑Open은 2개(40%)만 찾았다. 이중
질문은 CI‑Structured를 빼면 모든 설정이 6개를
다 찾았다. 민감성 문제는 어느 설정에서도 50%를 넘지
못했다. 회상 단계를 따로 거치게 한 CI‑Structured가
회상 곤란 결함을 하나도 찾지 못한 결과도 눈에 띈다.
가상 응답자가 남긴 확신도도
단서가 된다. 인지면접 세 설정 모두에서 결함 문항의 평균 확신도가
ESS 문항보다 낮았다(CI‑List 4.08점, ESS
문항 4.44점). 유형별로는 유도·편향 표현(3.80점)과
전제(3.91점)에서 확신도가 가장 낮았다. 모호한 표현(4.37점)과
회상 곤란(4.32점), 응답 범주 불일치(4.30점)는 ESS 문항과
비슷했다. 문항 단위로는 지역 보육 서비스의 이용 가능성과 비용 만족도를 묻는 F14가 2.10점으로 낮았다. 이
문항은 응답자에게 보육이 필요하다고 전제한다. 응답자가 직접 불편을 겪는 문제는 확신도에 드러나지만, 응답자가 모르는 사이에 측정 품질을 떨어뜨리는 문제는 드러나지 않는다. 사람
인지면접에서 알려진 구분(Presser and Blair 1994)이 가상 응답자에게서도 나타났다.
모델을 바꾸면 결과가 뒤집힌다
그림 2. 모델별 검출률과 ESS 문항 오탐
자료: Sturgis 외(2026)
표 5. 점선 위는 인지면접 시뮬레이션, 아래는
전문가 검토. 표 5의
GPT‑4o 오탐 수치는 표 2와 조금 다르다.
오픈웨이트 모델로 바꾸자 검출률이
크게 올랐다. Llama‑3.3‑70B는 CI‑List에서 91.7%를, Qwen3‑32B는
CI‑Structured에서 87.5%를 찾았다. 그러나
인지면접 설정의 ESS 문항 오탐도 문항 1개당 4~7개로 늘었다. 저자들은 모든 문항에 문제가 있다고 하는 도구는
아무 문항도 지적하지 않는 도구보다 나을 게 없다고 평가한다.
프롬프트 효과도 모델마다 달랐다. GPT‑4o에서 꼴찌였던 CI‑Structured는 두 오픈웨이트
모델에서 85% 넘게 찾았다. “문항이 잘 만들어졌으면 빈
목록을 내라”는 억제 문구가 들어간 전문가 검토 프롬프트(그림 2의 ER‑Open)는 GPT‑4o와 Llama에서 47.9%를 찾았지만,
Qwen3에서는 출력이 거의 나오지 않아 6.2%로 떨어졌다.
이 결과를 모델의 우열로 읽으면
안 된다. 저자들은 GPT‑4o에서 프롬프트를 다듬은 뒤
오픈웨이트 모델에는 고치지 않고 그대로 썼다. 저자들이 내린 결론은 프롬프트 설계가 모델에 따라 달라야
한다는 것이다. 한 모델에 맞춘 프롬프트의 결과를 다른 모델로 옮겨 일반화할 수 없고, 모델마다 실제로 돌려 보며 맞춰야 한다.
읽으면서 걸린 부분
첫째, 초록의 75%는 반복 실행 결과와 맞지 않는다. 표 2의 CI‑List 검출률 75.0%는 같은 설정을 세 번 돌린 표 3의 어느 회차(79.2%, 66.7%, 64.6%)와도 같지 않다. CI‑Structured도
표 2의 31.2%가 표
3의 세 회차(29.2%, 33.3%, 39.6%)에 없다. 표 2가 따로 돌린 실행의 결과라면 그 사실을 밝혔어야 하고, 대표값으로는 세 회차 평균인 70.1%가 더 적절하다고 본다.
둘째, ER‑Open과 ER‑Restrained의 이름이 서로 바뀐 것으로
보인다. 방법을 설명한 2.2절과 표 2에서는 “응답에 실제로 영향을 줄 문제만 보고하고, 문항이 잘 만들어졌으면 빈 목록을 내라”는 억제 문구가 ER‑Restrained에 들어 있다. 그런데 부록 C의 프롬프트 전문에서는 이 문구가 ER‑Open 프롬프트에 있고 ER‑Restrained 프롬프트에는 없다. ESS 문항 오탐이 가장
적은 설정(0.3개)이
ER‑Open이라는 결과도 부록의 이름과 맞는다. 본문의 이름대로 읽으면 억제 문구를 넣은
프롬프트가 오탐을 가장 많이 냈다는 이상한 결론이 된다. 이 글의 그림과 표는 논문의 이름을 그대로
썼지만, 읽을 때는 부록 쪽을 기준으로 보는 편이 안전하다.
셋째, 문제를 낸 사람과 채점한 사람이 같다. 결함 문항 20개와 정답표를 1저자가 만들었고,
LLM 판정이 엇갈린 43쌍도 1저자가 최종
판정했다. 다른 연구자가 정답표를 만들거나 검토했다면 결과를 더 믿을 수 있었을 것이다. 넣어 둔 결함도 교과서에 나오는 전형적인 유형이라, 모델이 학습
과정에서 비슷한 예를 많이 봤을 가능성이 크다. 저자들도 실제 초안 문항의 결함은 더 미묘하고 서로
겹치기 때문에 이 검출률을 상한으로 봐야 한다고 인정한다.
넷째, 실제 인지면접과는 거리가 있다. 사람 면접원은 응답자의 답을 듣고
그 자리에서 탐색 질문을 이어 가지만, 이 파이프라인은 응답자에게 프롬프트를 한 번 주고 끝낸다. 배경 설명도 인구학 변수만 담은 짧은 글이다. 전제 문제는 해당하지
않는 응답자가 뽑혀야 드러나므로, 30명을 무작위로 뽑는 지금 방식에서는 어떤 응답자가 뽑히느냐에 따라
결과가 달라질 수 있다. 저자들도 특정 결함이 잘 드러날 만한 응답자를 일부러 골라 넣는 방법을 개선
방향으로 제시한다. 전제 문제라면 은퇴자나 자녀가 없는 가구를 일부러 넣는 식이다.
우리 조사에 쓴다면
이 연구는 영어 문항과 영국
응답자 배경으로만 시험했다. 한국어 문항에서도 비슷한 검출률이 나온다는 보장은 없다. 배경 설명도 국내 자료로 새로 만들어야 한다. 사회조사나 KGSS처럼 공개된 원자료의 인구학 변수를 문장 틀에 채우면 논문과 같은 방식으로 만들 수 있다.
비용은 걱정할 수준이 아니다. 인지면접 시뮬레이션으로 문항 하나를 검사하면 API 호출이 61번(응답자 30번, 분석 30번, 종합 1번) 필요하고, GPT‑4o 기준으로 90~135초에 약 0.5달러가 든다. 전문가 검토는 호출 4번에
10~20초, 약 0.02달러다. 20문항짜리 설문지 전체를 인지면접 시뮬레이션으로 검사해도 10달러가
안 들고 한 시간 안에 끝난다. 사람 인지면접은 참여자 모집과 사례비,
녹취 정리와 분석까지 며칠이 걸린다.
실무에서 써 본다면 순서는 이렇게
잡을 수 있다. 먼저 체크리스트형 전문가 검토로 설문지 전체를 훑고 심각도 5점 이상만 남긴다. 그다음 보기를 새로 만든 문항이나 해당하지 않는
응답자가 생길 만한 문항은 문제 유형 목록을 준 인지면접 시뮬레이션(CI‑List 방식)으로 따로 돌린다. 응답 범주 문제는 이쪽이 더 잘 찾기 때문이다. 두 결과를 합친 목록은 연구자가 직접 보고 고칠지 정한다. 사람
인지면접을 할 수 있는 조사라면 이렇게 걸러 내고 남은 문항을 사람 인지면접에 올리면 된다.
모델을 바꿀 때는 프롬프트를
다시 맞춰야 한다. 새 모델을 쓰기 전에 정답을 아는 문항 몇 개로 검출률과 오탐을 먼저 확인해 보는
편이 좋다. 논문 부록 B의 결함 문항 20개와 ESS 문항 7개를
이 용도로 쓸 수 있다. 다만 결함 문항은 실제 조사에 쓴 문항이 아니고 저자가 만든 것이다.
코드와 자료는 공개돼 있다. GitHub의 cogbot 저장소에서 파이프라인을 설치할 수 있고, cogbot‑replication 저장소에는 논문의 표를 재현하는 자료와 코드가 있다. Hugging Face에 올린 대시보드에서는 자기 API 키를 넣고
문항을 바로 검사해 볼 수 있다. 프롬프트 전문은 논문 부록 C에
있다(ER‑Checklist 프롬프트만 코드에 있다).
참고자료
Sturgis, P., Roberts,
C., & Robinson, T. (2026). LLMs for survey pretesting: How well can large
language models identify flaws in survey questions? Survey Futures Working
Paper No. 15. Colchester: University of Essex.
Argyle, L. P. et al.
(2023). Out of one, many: Using language models to simulate human samples.
Political Analysis, 31(3), 337–351.
Blair, J., & Conrad,
F. G. (2011). Sample size for cognitive interview pretesting. Public Opinion
Quarterly, 75(4), 636–658.
Caporaso, A., &
Presser, S. (2024). The prevalence and nature of cognitive interviewing as a
survey questionnaire evaluation method in the United States. Journal of Survey
Statistics and Methodology, 12(5), 1278–1294.
Dominguez‑Olmedo, R.,
Hardt, M., & Mendler‑Dünner, C. (2024). Questioning the survey responses of
large language models. arXiv:2306.07951.
Presser, S., &
Blair, J. (1994). Survey pretesting: Do different methods produce different
results? Sociological Methodology, 24, 73–104.
Santurkar, S. et al.
(2023). Whose opinions do language models reflect? Proceedings of the 40th
International Conference on Machine Learning, 29971–30004.
Wang, A., Morgenstern,
J., & Dickerson, J. P. (2025). Large language models that replace human
participants can harmfully misportray and flatten identity groups. Nature
Machine Intelligence, 7(3), 400–411.
Willis, G. B. (2005).
Cognitive Interviewing: A Tool for Improving Questionnaire Design. SAGE.
코드와 대시보드: github.com/PatrickSturgis/cogbot, github.com/PatrickSturgis/cogbot‑replication,
huggingface.co/spaces/Patricksturg/silicon‑sampling‑dashboard