생성형 AI는 서베이 측정을 어떻게 바꿀까
패트릭 스터기스
ESS·NatCen 세미나(2026년
9월
15일)
정리
2026년 9월 15일, ESS와 NatCen, City St George's가 함께 여는 서베이 방법론 세미나 시리즈의 올해 첫 회가 온라인으로 열렸다. 발표자는
LSE 방법론학과의
패트릭 스터기스(Patrick
Sturgis)였고, 제목은
「생성형 AI와 서베이 측정의 미래(Generative
AI and the future of survey measurement)」다. 영국 경제사회연구위원회(ESRC)의 Survey Futures 과제로 LSE의
톰 로빈슨, 로잔대의 캐롤라인 로버츠와 함께 진행한 연구 두 편을 소개하는 자리였다.
발표 슬라이드 24장의 순서를 따라 내용을 옮기고, 질의응답에서 나온 이야기와 논문을 읽으며 확인한 점을 덧붙였다. 영상과 논문 링크는 글 끝에 모아 두었다.
1. 동적 활용과 정적 활용
슬라이드 1~2
스터기스는
LLM이
서베이 연구의 여러 부분을 바꿀 수 있지만 가장 크게 기여할 곳은 측정일 수 있다고 봤다. 그리고 활용 방식을 둘로 나눴다.
동적(dynamic)
활용은 LLM이
설문 안에 들어가 응답자와 직접 주고받는 방식이다. 면접원처럼 응답에 따라 질문을 그때그때 바꾼다. 사례는 직업 코딩이고, 도구 이름은
SOCbot이다. 영국
표준직업분류(SOC2020)
코드를
붙이고, 응답만으로 코드가 모호하면 추가 질문을 한다.
정적(static)
활용은
설문은 평소대로 자기기입식으로 돌리되, 실사 전에 LLM으로 설문지 초안의 결함을 찾는 방식이다. 사례는 문항 사전검증이고,
도구
이름은
Cogbot이다. LLM이
인지면접과 전문가 검토를 흉내 낸다.
2. SOCbot: 직업을 조사 도중에 코딩하기
직업은 왜 측정하기 어려운가
슬라이드 3
직업은 수백 개이고 공식 분류명이 전문 용어로 되어 있어서, 응답자에게 목록을 주고 고르게 하기 어렵다. 그래서 보통 직함, 하는 일, 업종, 자격을 주관식으로 묻고 실사가 끝난 뒤 사람이 코딩한다.
SOC2020은
대분류 9개, 중분류 26개, 소분류 104개, 세분류(4자리) 412개로 된 위계형 분류다. 세분류 수준에서 사람 코더끼리 일치하는 비율은
50~75% 정도이고, 불일치는
대부분 짧거나 모호한 응답에서 생긴다. 비싸고, 느리고, 오류가 잦은 절차다.
작동 방식
슬라이드 4
먼저 SOC 코드북 전체를
OpenAI 임베딩
모델에 넣어 코드마다 벡터를 만들어 둔다. 이 작업은 한 번만 하면 된다. 조사에서 응답자가 직함을 입력하면 그것도 벡터로 바꾸고, 코사인 유사도가 가장 높은 코드 k개(보통 10개)를 후보로 뽑아 LLM에 넘긴다.
LLM은
후보 중에서 코드를 고르거나, 정보가 부족하다고 판단하면 추가 질문을 만들어 설문 화면으로 돌려보낸다. 응답자가 답하면 LLM이 다시 판단하고, 코드가 정해질 때까지 이를 반복한다.
후보를 미리 좁히는 이유는 비용과 응답 지연이다. 코드북 전체를 매번 보내면 호출 한 번의 비용은 싸도 대규모 조사에서는 커지고, 응답자가 화면을 기다리는 시간도 길어진다.
연구 1: 이미 모은 응답을 코딩하면
슬라이드 5~7
먼저 추가 질문 없이 기존 자료를 코딩하는 정적 방식을 시험했다.
Verian Public Voice 패널
응답
2,000건(직함과
업종)을 후보 10개 조건으로 코딩해,
CASCOT 자동
코딩에 사람 판정을 더한 실무 코딩 결과와 비교했다.
표 1. 실무 코딩과의 일치율 (Verian Public Voice, n=2,000, k=10)
|
모델 |
대분류 |
중분류 |
소분류 |
세분류 |
|
o4-mini |
0.797 |
0.754 |
0.709 |
0.599 |
|
o3 |
0.826 |
0.786 |
0.742 |
0.624 |
|
Opus 4.6 (사고 기능 끔) |
0.809 |
0.768 |
0.726 |
0.614 |
|
Opus 4.6 (적응형 추론) |
0.800 |
0.762 |
0.721 |
0.614 |
|
GPT-5 |
0.811 |
0.769 |
0.728 |
0.608 |
|
gpt-oss-120b (오픈웨이트) |
0.778 |
0.733 |
0.675 |
0.558 |
|
gpt-oss-20b (오픈웨이트) |
0.770 |
0.724 |
0.671 |
0.547 |
출처:
발표 슬라이드
5. 문헌에 보고된 사람 코더 간 세분류 일치율은
0.4~0.7.
모든 모델에서 대분류 일치율이 가장 높고 세분류가 가장 낮다. 세분류 기준으로는
o3가 0.624로
가장 높고
gpt-oss-20b가 0.547로
가장 낮다. 사람 코더 간 일치율과 비교하면 중상위 수준이다. 오픈웨이트 모델도 크게 뒤지지 않았고, 발표에서는 이후 오픈웨이트 모델을 파인튜닝해 프런티어 모델 수준에 이르렀다고 했다(논문에는 아직 없는 내용이다).
표 2. 대분류별 세분류 일치율 (o3, k=10, %)
|
사람이 부여한 대분류 |
Next Steps |
Public Voice |
|
1 관리자·임원·고위 공무원 |
51 |
53 |
|
2 전문직 |
64 |
57 |
|
3 준전문직·기술직 |
54 |
54 |
|
4 행정·사무직 |
49 |
56 |
|
5 숙련 기능직 |
68 |
77 |
|
6 돌봄·여가·기타 서비스직 |
70 |
76 |
|
7 판매·고객 서비스직 |
60 |
70 |
|
8 공정·설비·기계 조작직 |
73 |
66 |
|
9 단순노무직 |
76 |
80 |
출처:
발표 슬라이드
6. Next Steps는 1989~90년생을 추적하는 영국 종단조사.
두 자료 모두 단순노무직에서 일치율이 가장 높았다(Next
Steps 76%, Public Voice 80%). 가장 낮은 곳은 Next Steps에서는 행정·사무직(49%),
Public Voice에서는
관리직(53%)이다. 사람끼리 비교할 때도 관리직이 낮고 단순노무직이 높게 나오는데, 같은 경향이다. 사회자 에릭 해리슨은 육체노동 직종은 아주 세밀하게 나뉘어 있는 반면 관리직은 정의가 느슨하기 때문일 것이라고 덧붙였다.
표 3. LLM 확신도별 사람 코딩과의 세분류 일치율
|
SOCbot 확신도 |
Next Steps 일치율 |
Next Steps 사례 수 |
Public Voice 일치율 |
Public Voice 사례 수 |
|
0~50 |
38% |
1,885 |
45% |
854 |
|
51~70 |
60% |
1,929 |
64% |
669 |
|
71~80 |
86% |
570 |
87% |
223 |
|
81~90 |
95% |
654 |
93% |
216 |
|
91~95 |
98% |
123 |
97% |
38 |
출처:
발표 슬라이드
7. LLM이 코드를 붙일 때마다
0~100 확신도를 함께 내도록 지시.
o3, k=10.
확신도가 높을수록 사람 코딩과의 일치율이 뚜렷하게 올라간다. 확신도가 낮은 건만 사람이 다시 보는 선별 기준으로 쓸 수 있다는 얘기다. 다만 사례 수를 더해 보면 확신도 70 이하가
Next Steps에서 74%, Public Voice에서 76%다. 70을 기준으로 삼으면 사람이 다시 봐야 할 물량이 전체의 4분의 3쯤 된다.
연구 2: 실제 조사에서 추가 질문까지
슬라이드 8~10
2025년 7월 Verian UK Public Voice 패널에서 실제로 돌렸다. 초대한
8,770명
중 1,719명이 응답해 응답률은 약 20%였고, 표본은 남성과 대졸자 쪽으로 치우쳤다. 사례비는 없었고,
LLM 처리에
동의하는 단계에서 7%가 빠졌다.
이 패널의 장점은 패널원들이 예전 조사에서 직함과 업종을 답했고, 그 응답이 이미
SOC2020으로
코딩돼 있었다는 점이다. 그래서 이전 직함을 보여 주고 지금도 맞는지 물은 뒤, 그대로라고 답한 응답자에게 동적
SOCbot을
돌렸다. 직함이 바뀌지 않은
1,093명이
같은 사람 코딩을 기준으로 전후를 비교할 수 있는 대상이다.
표 4. SOCbot이 쓴 추가 질문 수
|
추가 질문 수 |
0 |
1 |
2 |
3 |
4 |
5 |
6 |
|
비율 |
23.3% |
49.6% |
20.4% |
5.1% |
1.3% |
0.1% |
0.1% |
출처:
발표 슬라이드
9.
직함만으로 끝난 경우가
23.3%, 추가
질문 하나로 끝난 경우가
49.6%다. 둘을
합친
72.9%는
모든 응답자에게 같은 두 문항을 묻는 방식과 같거나 적은 질문을 받았다. 전체 질문 수는
3,279개로
두 문항 방식(3,066개)과 비슷하다. 부담을 줄였다기보다 사람에 따라 다르게 나눈 셈이다. 네 문항을 모두 묻는 Next
Steps 방식과
비교하면 부담이 절반 가까이 준다.
첫 추가 질문은 업종을 묻는 경우(45.7%)와 업무를 묻는 경우(43.0%)가 비슷했고,
8.2%는
직함을 다시 확인하는 질문이었다. 두 번째와 세 번째 질문에서는 업무를 묻는 질문이 대부분을 차지했다. 오타나 엉뚱한 답을 되물어 정리할 수 있다는 점도 기존 자기기입식 조사에는 없는 장점이다. 스터기스는 하는 일을 묻는 질문에
"파인애플"이라고
답하면
"파인애플을
판매하신다는 뜻인가요?"라고 되물을 수 있다는 예를 들었다.
표 5. 코더 쌍별 세분류(4자리) 일치율
|
코더 쌍 |
일치율 |
|
정적 SOCbot 대 동적 SOCbot |
58% |
|
정적 SOCbot 대 사람 |
53% |
|
동적 SOCbot 대 사람 |
43% |
출처:
발표 슬라이드
10. 직함이 바뀌지 않은
1,093명.
사람 코딩은
CASCOT의 보조를 받은 코딩.
참값이 없으니 코더끼리 비교할 수밖에 없다. 동적
SOCbot은
가장 많고 가장 맞춤화된 정보를 가졌으므로 이론상 가장 정확해야 한다. 이 코더와 더 많이 일치하는 쪽이 더 타당한 코더라는 논리(Cronbach
& Meehl, 1955)에
따라, 정확도 순서를 동적
SOCbot, 정적 SOCbot, 사람(CASCOT 보조) 코딩
순으로 추론했다.
SOCbot 결론
슬라이드 11
발표자가 정리한 결론은 다섯 가지다. 코딩 품질은 사람 코더와 비슷하거나 더 낫다. 실사 후 사무실 코딩보다 훨씬 싸고 빠르다. 오픈웨이트 모델로도 되므로 데이터를 기관 밖으로 내보내지 않아도 된다. 맞춤형 추가 질문이 응답자 부담을 줄인다. 확신도 점수는 사람 검토로 넘길 건을 가려내는 신호가 된다. 영국 통계청(ONS)도 비슷한 파이프라인을 개발하고 있어, 스터기스는 이런 방식의 코딩이 곧 표준이 될 것으로 내다봤다.
3. Cogbot: LLM으로 설문 문항 사전검증하기
문제의식
슬라이드 12
사전검증은 좋은 문항 설계에 필수이고, 주된 방법은 인지면접과 전문가 검토다. 둘 다 비싸고 시간이 많이 들며 희소한 전문 인력에 기댄다. 그래서 고품질 조사도 중요한 문항 일부만 검증하는 경우가 많고, 많은 문항이 검증 없이 현장에 나간다. 연구 질문은 LLM이 사람의 사전검증을 보완하는 수단으로 문항 초안의 문제를 찾아낼 수 있느냐다. 스터기스는 직업 코딩에서는 결국 사람이 대체되겠지만,
사전검증에는
사람이 계속 관여해야 한다고 봤다.
두 가지 파이프라인과 여섯 가지 프롬프트
슬라이드 13~15
합성 인지면접 파이프라인은 세 단계다.
2018년 ESS 영국
자료
2,204명
중 30명을 무작위로 뽑아 인구통계 정보를 짧은 서술형 배경 설정으로 바꾸고, 각 가상 응답자가 문항에 답하면서 생각을 소리 내어 말하게 한다. 다음으로 별도의 LLM이 이 녹취를 읽고 문제를 코딩하고, 마지막으로 응답자 간 중복을 합친다.
전문가 검토 파이프라인에서는 서베이 방법론자 역할을 준 LLM 검토자 3개가 문항을 직접 평가하고, 문제마다 심각도를 1점(무시할 수준)부터 10점(응답이 무의미해짐)까지 매긴다. 합성 단계에서 중복을 합치고 심각도를 평균낸다. 프롬프트는 방식마다 세 가지씩 모두 여섯 가지를 시험했다.
표 6. 프롬프트 변형 여섯 가지
|
방식 |
설정 |
내용 |
|
모의 인지검증 |
CI-Open |
아무 틀 없이 자유롭게 생각을 소리 내어 말하게 함 |
|
|
CI-Structured |
이해, 인출, 판단, 응답의 네 단계를 밟게 하되 문제 유형은 알려 주지 않음 |
|
|
CI-List |
같은 네 단계에 단계별 문제 유형 이름까지 제시 |
|
전문가 검토(3명) |
ER-Open |
문제를 자유롭게 찾게 함 |
|
|
ER-Restrained |
영향이 있는 문제만 보고하고, 이상이 없으면 빈 목록을 돌려주게 함 |
|
|
ER-Checklist |
이름 붙인 7가지 문제 유형에 대조해 평가하게 함 |
출처:
발표 슬라이드
15.
평가 설계
슬라이드 16
문항은 모두 27개다. 일반 문항 20개에는 문제를 1~3개씩 일부러 심었고(8가지 유형, 모두 48개), 충분히 검증된 ESS
코어
문항 7개는 대조군으로 두었다. 탐지율은 심어 둔 48개 중 찾아낸 비율이고, 정답표에 없는 지적은 문항당 잠정 허위양성으로 셌다. 정답표가 모든 문제를 담은 것은 아니므로 허위양성 중 일부는 진짜 문제일 수 있다. 본 실험은
GPT-4o로
했고,
Llama-3.3-70B, Qwen3-32B, Claude Opus 5로 재현했다.
출력 예시
슬라이드 17
"고용
조건(terms
of employment)에
전반적으로 얼마나 만족하십니까?"라는 문항에는 모호한 표현, 비대칭 척도, 현재 취업 중이라는 전제를 심었다. 은퇴한 전직 가게 주인으로 설정된 가상 응답자는 은퇴해서 지금은 고용된 상태가 아니니 이 질문이 자기와 안 맞는다고 말했다. 59세 여성 정원사로 설정된 응답자는 '고용 조건'이 자기에게 무슨 뜻인지부터 생각하게 된다며 계약, 급여, 근무 시간, 휴가를 떠올렸다. 전문가 검토자는 '고용 조건'이 응답자마다 다르게 해석될 수 있다는 점과, 임시직이나 프리랜서처럼 정해진 고용 조건이 없는 사람도 있다는 점을 지적했다.
정원사 응답자가 뜻을 헷갈려 하면서도 결국 '대체로 만족'이라고 답을 낸다는 점이 눈에 띈다. 실제 조사에서 응답자가 문항을 제각각 해석하고도 아무 표시 없이 응답을 채우는 모습 그대로다.
GPT-4o 결과
슬라이드 18~19
표 7. GPT-4o의 탐지율과 잠정 허위양성
|
설정 |
탐지율 |
결함 문항당 FP |
ESS 문항당 FP |
심각도 5+ 탐지율 |
심각도 5+ 결함 FP |
심각도 5+ ESS FP |
|
CI-List |
75% |
1.8 |
1.6 |
65% |
1.5 |
1.0 |
|
ER-Checklist |
73% |
1.4 |
2.3 |
60% |
1.1 |
0.6 |
|
ER-Open |
69% |
1.4 |
3.1 |
69% |
1.4 |
3.1 |
|
CI-Open |
60% |
1.4 |
1.4 |
50% |
1.0 |
1.0 |
|
ER-Restrained |
48% |
0.8 |
0.3 |
46% |
0.6 |
0.3 |
|
CI-Structured |
31% |
0.6 |
0.7 |
25% |
0.5 |
0.6 |
출처:
발표 슬라이드
18. FP는 문항당 잠정 허위양성 개수.
탐지율은
CI-List가 75%로
가장 높고
CI-Structured가 31%로
가장 낮다. 네 단계를 차례로 밟게만 한
CI-Structured에서는 GPT-4o 응답자가
결함 있는 문항도 별 어려움 없이 넘어갔다. 심각도 5점 이상만 남기면 탐지율은 조금 내려가지만 허위양성이 줄어든다.
ESS 문항의
허위양성이 가장 크게 준 설정은
ER-Checklist다(2.3개에서 0.6개).
표 8. 문제 유형별 탐지율 (GPT-4o)
|
문제 유형 |
심어 둔 문제 수 |
CI-List |
ER-Checklist |
|
이중질문 |
6 |
100% |
100% |
|
전제 |
9 |
44% |
89% |
|
모호하거나 중의적인 표현 |
9 |
78% |
67% |
|
응답 매핑 |
7 |
71% |
43% |
|
인출·회상 |
5 |
100% |
100% |
|
유도·편향된 표현 |
5 |
100% |
80% |
|
민감성 |
4 |
50% |
50% |
|
복잡한 구문 |
3 |
67% |
33% |
출처:
발표 슬라이드
19. 범주별 문제 수가 적다는 점에 주의.
두 방식이 잘 찾는 문제가 달랐다. 전제 문제는 전문가 검토가 89%로 인지면접(44%)보다 훨씬 잘 찾았고, 응답 매핑 문제는 인지면접이
71%로
전문가 검토(43%)보다 잘 찾았다. 실제로 답을 보기에 맞춰 넣어 보는 가상 응답자가 보기가 안 맞는다는 것을 더 잘 알아채는 셈이다. 사람이 하는 인지면접과 전문가 검토 사이에서 오래전부터 알려진 차이와 같다. 이중질문과 인출·회상 문제는 두 방식 모두 전부 찾았다.
모델을 바꾸면
슬라이드 20~21
표 9. 네 모델의 탐지율 (괄호 안은 ESS 문항당 잠정 허위양성)
|
설정 |
GPT-4o |
Llama-3.3-70B |
Qwen3-32B |
Opus 5 |
|
CI-Open |
60% (1.4) |
73% (5.4) |
79% (6.7) |
94% (9.7) |
|
CI-Structured |
31% (0.7) |
65% (4.1) |
73% (5.4) |
92% (9.1) |
|
CI-List |
75% (1.6) |
88% (5.4) |
75% (7.1) |
88% (8.9) |
|
ER-Checklist |
73% (2.3) |
79% (3.4) |
73% (2.7) |
100% (8.4) |
|
ER-Open |
69% (3.1) |
67% (3.1) |
63% (1.7) |
100% (8.4) |
|
ER-Restrained |
48% (0.3) |
46% (0.3) |
4% (0.1) |
94% (5.3) |
출처:
발표 슬라이드
20. 셀마다
1회 실행.
오픈웨이트 모델은
2026년
3월,
Opus 5는
2026년
8월 실행.
모델에 따라 결과가 크게 달랐다.
Opus 5는
모든 설정에서 탐지율이
88% 이상이었지만, 좋은
문항이어야 할 ESS 문항에서도 지적을 많이 했다. 문제를 되도록 적게 보고하라고 지시한
ER-Restrained에서도 ESS 문항
하나당 5.3개였다. 반대로
Qwen3-32B는
같은 절제 지시에 탐지율이 4%로 떨어져 사실상 아무것도 보고하지 않았다.
표 10. 심각도 5점 이상만 남겼을 때
|
설정 |
GPT-4o |
Llama-3.3-70B |
Qwen3-32B |
Opus 5 |
|
CI-Open |
50% (1.0) |
73% (4.7) |
44% (2.1) |
60% (2.0) |
|
CI-Structured |
25% (0.6) |
56% (3.9) |
46% (0.7) |
52% (1.1) |
|
CI-List |
65% (1.0) |
79% (4.4) |
56% (3.1) |
63% (1.7) |
|
ER-Checklist |
60% (0.6) |
65% (1.9) |
33% (0.4) |
83% (1.4) |
|
ER-Open |
69% (3.1) |
67% (3.0) |
56% (1.4) |
79% (3.7) |
|
ER-Restrained |
46% (0.3) |
44% (0.1) |
4% (0.1) |
60% (0.9) |
출처:
발표 슬라이드
21. 파이프라인이 심각도
5점 이상으로 매긴 지적만 남김.
심각도로 거르면 그림이 달라진다. 스터기스는
Opus 5가
문제일 수 있는 것은 다 찾아내되 그것이 심각한지 아닌지는 잘 가린다고 평가했다. 표에서 이 평가가 분명히 맞는 것은 전문가 검토형이다.
ER-Checklist에서 Opus 5는
탐지율 83%로 네 모델 중 가장 높고, ESS
허위양성은 1.4개다. 인지면접형에서는
세 설정 모두
Llama-3.3-70B의
탐지율이 가장 높지만 허위양성도 가장 많다.
정답표 밖의 지적은 정말 틀린 것인가
슬라이드 22
표 11. 전문가가 진짜 문제로 인정한 비율
|
지적 대상 |
CI-List |
ER-Checklist |
|
결함 문항 |
29개 중 19개 (66%) |
24개 중 8개 (33%) |
|
ESS 대조 문항 |
9개 중 0개 |
17개 중 2개 |
출처:
발표 슬라이드
22. 전문가
2명이 정답표를 모르는 상태에서
1~5점으로 평가,
둘 다
4점 이상을 준 경우만 진짜 문제로 인정.
정답표와 맞지 않은 지적 79개를 설문 설계 전문가 두 명이 평가했다. 결함 문항에서 인지면접(CI-List)이 추가로 찾은 것은 3분의 2가 진짜 문제였고, 전문가 검토(ER-Checklist)는 3분의 1이었다.
ESS 문항에서
나온 지적은 거의 전부 문제가 아니라는 판정이었다. 문항을 만든 연구자도 놓친 결함을 LLM이 찾아냈다는 뜻이다.
Cogbot 결론
슬라이드 23
가장 좋은 설정은 심어 둔 문제의 약 4분의 3을 찾았다. 허위양성이 적지 않지만 그중 상당수는 정답표에서 빠진 진짜 문제다. 탐지율은 프롬프트와 모델에 따라 달라지고, 인지검증과 전문가 검토는 서로 다른 문제를 찾는다. 20문항 설문지를 1시간 안에 10달러 미만으로 검토할 수 있다. 논문에 따르면 문항당 비용은 인지면접형이 약 0.5달러, 전문가 검토형이 약 0.02달러다. 스터기스는 이 도구가 초기 선별용으로 가장 알맞고, 사람의 전문가 검토와 인지면접은 여전히 필요하다고 정리했다.
4. 질의응답에서 나온 이야기
SOCbot의
추가 질문은 정해진 문항에서 고르는 방식이 아니라 LLM이 직접 문장을 만든다. 다만 물을 수 있는 주제는 업종, 업무, 자격, 관리 책임으로 제한했다. 논문에 따르면 제한이 없던 초기 버전은 대학교수에게 무슨 과목을 가르치는지 묻기도 했는데, 대학교수는 과목과 관계없이 코드가 하나다.
개인정보는 조사 시작 때 AI 처리 과정을 알리고 동의를 받는 방식으로 처리했다. 거부한 사람에게는 기존 문항을 그대로 물으면 된다. 로컬 서버에서 모델을 돌리는 방법도 있지만, 수천 명이 동시에 접속하면 서버 한계에 걸릴 수 있다. 스터기스는 로컬 서버라도 AI와 대화하는 것 자체에 동의가 필요한지는 따로 따져 볼 문제라고 했다.
파이프라인은 모델과 분류체계에 구애받지 않으므로 다른 나라, 다른 언어에도 쓸 수 있고, 걸림돌은 해당 국가 직업분류 자료의 품질이다. 면접원이 태블릿으로
SOCbot이
제안하는 질문을 읽어 주는 면접 조사 방식도 가능하다.
Cogbot으로
번역 가능성을 검토하거나, 가상 응답자의 성격을 설정하거나, 인지면접 자료로 모델을 추가 학습시키는 것은 아직 해 보지 않았다. 스터기스는 이번 실험이 일부러 망가뜨린 문항을 쓴 인위적 설정이라서, 실제 설문 설계 현장에서 얼마나 쓸모 있는지는 더 어려운 질문이라고 인정했다.
5. 논문을 읽으며 확인한 점
두 연구는
Survey Futures 워킹페이퍼로
공개되어 있다. 발표와 함께 읽어 보니 눈여겨볼 점이 몇 가지 있었다.
Cogbot 논문에는
라벨이 뒤바뀐 곳이 있다. 방법 설명에서는 절제 문구를 넣은 설정이
ER-Restrained인데, 결과
표와 부록의 프롬프트 원문에서는 같은 설정에
ER-Open이라는
이름이 붙어 있다. 발표 슬라이드는 라벨을 바로잡은 판이다.
CI-List의
대표 탐지율 75%는 세 번 반복 실행한 결과(79.2%,
66.7%, 64.6%) 어디에도
없고, 반복 평균은
70.1%다. 결론의 "약 4분의 3"은
이 대표값에서 나왔다.
가상 응답자의 배경 설정은 LLM이 쓴 것이 아니라 연령, 성별, 학력, 취업 상태, 지역, 가구 구성, 소득 구간을 템플릿에 채운 약 580자 분량의 서술이다. 논문 부록의 녹취를 보면 모델이 설정에 없는 거주지나 생활 습관을 스스로 지어내기도 한다.
SOCbot의
정확도 순서 추론은 정적
SOCbot과
동적
SOCbot의
오류가 서로 독립이라는 가정에 기댄다. 둘은 같은 후보 검색과 같은 분류 가이드를 쓰기 때문에 틀릴 때도 비슷하게 틀릴 수 있다. 그렇다면
58%라는
일치율은 정확해서라기보다 같은 계열이어서 높게 나온 값일 수 있다. 또 비교 기준인 사람 코딩은
CASCOT 확신도가 0.7을
넘는 건은 자동으로 확정하고 나머지만 사람이 판단한 결과여서, 저자들도 사실상
CASCOT과의
비교라고 적었다.
SOCbot 논문이
인용한 문헌 가운데 한국종합사회조사(KGSS)의
코더 간 직업 코딩 불일치를 분석한 연구(Kim,
Kim & Ban, 2020)가
있다. 한국 조사에서도 같은 문제가 확인되어 있다는 뜻이다.
6. 한국 조사에 가져온다면
SOCbot의
정적 방식은 지금 당장 쓸 수 있다. 실사 후 주관식 직업·업종 응답을 한국표준직업분류(KSCO)로
코딩하고, 확신도가 낮은 건만 사람이 확인하면 된다. 다만 프롬프트에 들어 있는 분류 가이드(대분류 설명과 헷갈리기 쉬운 직업 구분 사례)는 KSCO에 맞게 새로 써야 한다. 동적 방식은 응답 도중 외부 API를 호출해 질문을 끼워 넣어야 하므로, 웹조사 시스템이 이를 지원해야 한다.
Cogbot은
코드와 대시보드가 공개되어 있어 시험해 보기 쉽다. 가상 응답자의 배경 설정을 한국 조사 자료로 바꾸는 작업이 필요하고, 결과를 볼 때는 심각도로 거른 지적만 보는 편이 낫다. 거르지 않으면 잘 만든 문항에도 지적이 많이 달린다.
참고 자료
• 세미나 영상: https://www.youtube.com/watch?v=oHGlOunozw4
• Sturgis, P., Robinson, T. S., Fung, L. & Roberts, C. (2026).
SOCbot: Using Large Language Models to dynamically measure and classify
occupations in surveys. Sociological Methods & Research, online first. https://journals.sagepub.com/doi/full/10.1177/00491241261461516
• 같은 연구의 워킹페이퍼판(Survey
Futures Working Paper 13): https://surveyfutures.net/wp-content/uploads/2026/04/working-paper-13-using-large-language-models-measure-classify-occupations-surveys.pdf
• Sturgis, P., Roberts, C. & Robinson, T. (2026). LLMs for survey
pretesting: How well can large language models identify flaws in survey
questions? Survey Futures Working Paper 15. https://surveyfutures.net/wp-content/uploads/2026/04/working-paper-15-llms-for-survey-pretesting.pdf
• SOCbot 코드: https://github.com/tsrobinson/soc_flask
• Cogbot 코드: https://github.com/PatrickSturgis/cogbot
• Cogbot 웹
대시보드: https://huggingface.co/spaces/Patricksturg/silicon-sampling-dashboard
댓글 없음:
댓글 쓰기