생성형 AI는 서베이 측정을 어떻게 바꿀까

 

생성형 AI는 서베이 측정을 어떻게 바꿀까

패트릭 스터기스 ESS·NatCen 세미나(2026년 9월 15일) 정리

2026년 9월 15일, ESS와 NatCen, City St George's가 함께 여는 서베이 방법론 세미나 시리즈의 올해 첫 회가 온라인으로 열렸다. 발표자는 LSE 방법론학과의 패트릭 스터기스(Patrick Sturgis)였고, 제목은 「생성형 AI와 서베이 측정의 미래(Generative AI and the future of survey measurement)」다. 영국 경제사회연구위원회(ESRC)의 Survey Futures 과제로 LSE의 톰 로빈슨, 로잔대의 캐롤라인 로버츠와 함께 진행한 연구 두 편을 소개하는 자리였다.

발표 슬라이드 24장의 순서를 따라 내용을 옮기고, 질의응답에서 나온 이야기와 논문을 읽으며 확인한 점을 덧붙였다. 영상과 논문 링크는 글 끝에 모아 두었다.

1. 동적 활용과 정적 활용

슬라이드 1~2

스터기스는 LLM이 서베이 연구의 여러 부분을 바꿀 수 있지만 가장 크게 기여할 곳은 측정일 수 있다고 봤다. 그리고 활용 방식을 둘로 나눴다.

동적(dynamic) 활용은 LLM이 설문 안에 들어가 응답자와 직접 주고받는 방식이다. 면접원처럼 응답에 따라 질문을 그때그때 바꾼다. 사례는 직업 코딩이고, 도구 이름은 SOCbot이다. 영국 표준직업분류(SOC2020) 코드를 붙이고, 응답만으로 코드가 모호하면 추가 질문을 한다.

정적(static) 활용은 설문은 평소대로 자기기입식으로 돌리되, 실사 전에 LLM으로 설문지 초안의 결함을 찾는 방식이다. 사례는 문항 사전검증이고, 도구 이름은 Cogbot이다. LLM이 인지면접과 전문가 검토를 흉내 낸다.

2. SOCbot: 직업을 조사 도중에 코딩하기

직업은 왜 측정하기 어려운가

슬라이드 3

직업은 수백 개이고 공식 분류명이 전문 용어로 되어 있어서, 응답자에게 목록을 주고 고르게 하기 어렵다. 그래서 보통 직함, 하는 일, 업종, 자격을 주관식으로 묻고 실사가 끝난 뒤 사람이 코딩한다. SOC2020은 대분류 9개, 중분류 26개, 소분류 104개, 세분류(4자리) 412개로 된 위계형 분류다. 세분류 수준에서 사람 코더끼리 일치하는 비율은 50~75% 정도이고, 불일치는 대부분 짧거나 모호한 응답에서 생긴다. 비싸고, 느리고, 오류가 잦은 절차다.

작동 방식

슬라이드 4

먼저 SOC 코드북 전체를 OpenAI 임베딩 모델에 넣어 코드마다 벡터를 만들어 둔다. 이 작업은 한 번만 하면 된다. 조사에서 응답자가 직함을 입력하면 그것도 벡터로 바꾸고, 코사인 유사도가 가장 높은 코드 k개(보통 10개)를 후보로 뽑아 LLM에 넘긴다. LLM은 후보 중에서 코드를 고르거나, 정보가 부족하다고 판단하면 추가 질문을 만들어 설문 화면으로 돌려보낸다. 응답자가 답하면 LLM이 다시 판단하고, 코드가 정해질 때까지 이를 반복한다.

후보를 미리 좁히는 이유는 비용과 응답 지연이다. 코드북 전체를 매번 보내면 호출 한 번의 비용은 싸도 대규모 조사에서는 커지고, 응답자가 화면을 기다리는 시간도 길어진다.

연구 1: 이미 모은 응답을 코딩하면

슬라이드 5~7

먼저 추가 질문 없이 기존 자료를 코딩하는 정적 방식을 시험했다. Verian Public Voice 패널 응답 2,000건(직함과 업종)을 후보 10개 조건으로 코딩해, CASCOT 자동 코딩에 사람 판정을 더한 실무 코딩 결과와 비교했다.

표 1. 실무 코딩과의 일치율 (Verian Public Voice, n=2,000, k=10)

모델	대분류	중분류	소분류	세분류
o4-mini	0.797	0.754	0.709	0.599
o3	0.826	0.786	0.742	0.624
Opus 4.6 (사고 기능 끔)	0.809	0.768	0.726	0.614
Opus 4.6 (적응형 추론)	0.800	0.762	0.721	0.614
GPT-5	0.811	0.769	0.728	0.608
gpt-oss-120b (오픈웨이트)	0.778	0.733	0.675	0.558
gpt-oss-20b (오픈웨이트)	0.770	0.724	0.671	0.547

출처: 발표 슬라이드 5. 문헌에 보고된 사람 코더 간 세분류 일치율은 0.4~0.7.

모든 모델에서 대분류 일치율이 가장 높고 세분류가 가장 낮다. 세분류 기준으로는 o3가 0.624로 가장 높고 gpt-oss-20b가 0.547로 가장 낮다. 사람 코더 간 일치율과 비교하면 중상위 수준이다. 오픈웨이트 모델도 크게 뒤지지 않았고, 발표에서는 이후 오픈웨이트 모델을 파인튜닝해 프런티어 모델 수준에 이르렀다고 했다(논문에는 아직 없는 내용이다).

표 2. 대분류별 세분류 일치율 (o3, k=10, %)

사람이 부여한 대분류	Next Steps	Public Voice
1 관리자·임원·고위 공무원	51	53
2 전문직	64	57
3 준전문직·기술직	54	54
4 행정·사무직	49	56
5 숙련 기능직	68	77
6 돌봄·여가·기타 서비스직	70	76
7 판매·고객 서비스직	60	70
8 공정·설비·기계 조작직	73	66
9 단순노무직	76	80

출처: 발표 슬라이드 6. Next Steps는 1989~90년생을 추적하는 영국 종단조사.

두 자료 모두 단순노무직에서 일치율이 가장 높았다(Next Steps 76%, Public Voice 80%). 가장 낮은 곳은 Next Steps에서는 행정·사무직(49%), Public Voice에서는 관리직(53%)이다. 사람끼리 비교할 때도 관리직이 낮고 단순노무직이 높게 나오는데, 같은 경향이다. 사회자 에릭 해리슨은 육체노동 직종은 아주 세밀하게 나뉘어 있는 반면 관리직은 정의가 느슨하기 때문일 것이라고 덧붙였다.

표 3. LLM 확신도별 사람 코딩과의 세분류 일치율

SOCbot 확신도	Next Steps 일치율	Next Steps 사례 수	Public Voice 일치율	Public Voice 사례 수
0~50	38%	1,885	45%	854
51~70	60%	1,929	64%	669
71~80	86%	570	87%	223
81~90	95%	654	93%	216
91~95	98%	123	97%	38

출처: 발표 슬라이드 7. LLM이 코드를 붙일 때마다 0~100 확신도를 함께 내도록 지시. o3, k=10.

확신도가 높을수록 사람 코딩과의 일치율이 뚜렷하게 올라간다. 확신도가 낮은 건만 사람이 다시 보는 선별 기준으로 쓸 수 있다는 얘기다. 다만 사례 수를 더해 보면 확신도 70 이하가 Next Steps에서 74%, Public Voice에서 76%다. 70을 기준으로 삼으면 사람이 다시 봐야 할 물량이 전체의 4분의 3쯤 된다.

연구 2: 실제 조사에서 추가 질문까지

슬라이드 8~10

2025년 7월 Verian UK Public Voice 패널에서 실제로 돌렸다. 초대한 8,770명 중 1,719명이 응답해 응답률은 약 20%였고, 표본은 남성과 대졸자 쪽으로 치우쳤다. 사례비는 없었고, LLM 처리에 동의하는 단계에서 7%가 빠졌다.

이 패널의 장점은 패널원들이 예전 조사에서 직함과 업종을 답했고, 그 응답이 이미 SOC2020으로 코딩돼 있었다는 점이다. 그래서 이전 직함을 보여 주고 지금도 맞는지 물은 뒤, 그대로라고 답한 응답자에게 동적 SOCbot을 돌렸다. 직함이 바뀌지 않은 1,093명이 같은 사람 코딩을 기준으로 전후를 비교할 수 있는 대상이다.

표 4. SOCbot이 쓴 추가 질문 수

추가 질문 수	0	1	2	3	4	5	6
비율	23.3%	49.6%	20.4%	5.1%	1.3%	0.1%	0.1%

출처: 발표 슬라이드 9.

직함만으로 끝난 경우가 23.3%, 추가 질문 하나로 끝난 경우가 49.6%다. 둘을 합친 72.9%는 모든 응답자에게 같은 두 문항을 묻는 방식과 같거나 적은 질문을 받았다. 전체 질문 수는 3,279개로 두 문항 방식(3,066개)과 비슷하다. 부담을 줄였다기보다 사람에 따라 다르게 나눈 셈이다. 네 문항을 모두 묻는 Next Steps 방식과 비교하면 부담이 절반 가까이 준다.

첫 추가 질문은 업종을 묻는 경우(45.7%)와 업무를 묻는 경우(43.0%)가 비슷했고, 8.2%는 직함을 다시 확인하는 질문이었다. 두 번째와 세 번째 질문에서는 업무를 묻는 질문이 대부분을 차지했다. 오타나 엉뚱한 답을 되물어 정리할 수 있다는 점도 기존 자기기입식 조사에는 없는 장점이다. 스터기스는 하는 일을 묻는 질문에 "파인애플"이라고 답하면 "파인애플을 판매하신다는 뜻인가요?"라고 되물을 수 있다는 예를 들었다.

표 5. 코더 쌍별 세분류(4자리) 일치율

코더 쌍	일치율
정적 SOCbot 대 동적 SOCbot	58%
정적 SOCbot 대 사람	53%
동적 SOCbot 대 사람	43%

출처: 발표 슬라이드 10. 직함이 바뀌지 않은 1,093명. 사람 코딩은 CASCOT의 보조를 받은 코딩.

참값이 없으니 코더끼리 비교할 수밖에 없다. 동적 SOCbot은 가장 많고 가장 맞춤화된 정보를 가졌으므로 이론상 가장 정확해야 한다. 이 코더와 더 많이 일치하는 쪽이 더 타당한 코더라는 논리(Cronbach & Meehl, 1955)에 따라, 정확도 순서를 동적 SOCbot, 정적 SOCbot, 사람(CASCOT 보조) 코딩 순으로 추론했다.

SOCbot 결론

슬라이드 11

발표자가 정리한 결론은 다섯 가지다. 코딩 품질은 사람 코더와 비슷하거나 더 낫다. 실사 후 사무실 코딩보다 훨씬 싸고 빠르다. 오픈웨이트 모델로도 되므로 데이터를 기관 밖으로 내보내지 않아도 된다. 맞춤형 추가 질문이 응답자 부담을 줄인다. 확신도 점수는 사람 검토로 넘길 건을 가려내는 신호가 된다. 영국 통계청(ONS)도 비슷한 파이프라인을 개발하고 있어, 스터기스는 이런 방식의 코딩이 곧 표준이 될 것으로 내다봤다.

3. Cogbot: LLM으로 설문 문항 사전검증하기

문제의식

슬라이드 12

사전검증은 좋은 문항 설계에 필수이고, 주된 방법은 인지면접과 전문가 검토다. 둘 다 비싸고 시간이 많이 들며 희소한 전문 인력에 기댄다. 그래서 고품질 조사도 중요한 문항 일부만 검증하는 경우가 많고, 많은 문항이 검증 없이 현장에 나간다. 연구 질문은 LLM이 사람의 사전검증을 보완하는 수단으로 문항 초안의 문제를 찾아낼 수 있느냐다. 스터기스는 직업 코딩에서는 결국 사람이 대체되겠지만, 사전검증에는 사람이 계속 관여해야 한다고 봤다.

두 가지 파이프라인과 여섯 가지 프롬프트

슬라이드 13~15

합성 인지면접 파이프라인은 세 단계다. 2018년 ESS 영국 자료 2,204명 중 30명을 무작위로 뽑아 인구통계 정보를 짧은 서술형 배경 설정으로 바꾸고, 각 가상 응답자가 문항에 답하면서 생각을 소리 내어 말하게 한다. 다음으로 별도의 LLM이 이 녹취를 읽고 문제를 코딩하고, 마지막으로 응답자 간 중복을 합친다.

전문가 검토 파이프라인에서는 서베이 방법론자 역할을 준 LLM 검토자 3개가 문항을 직접 평가하고, 문제마다 심각도를 1점(무시할 수준)부터 10점(응답이 무의미해짐)까지 매긴다. 합성 단계에서 중복을 합치고 심각도를 평균낸다. 프롬프트는 방식마다 세 가지씩 모두 여섯 가지를 시험했다.

표 6. 프롬프트 변형 여섯 가지

방식	설정	내용
모의 인지검증	CI-Open	아무 틀 없이 자유롭게 생각을 소리 내어 말하게 함
	CI-Structured	이해, 인출, 판단, 응답의 네 단계를 밟게 하되 문제 유형은 알려 주지 않음
	CI-List	같은 네 단계에 단계별 문제 유형 이름까지 제시
전문가 검토(3명)	ER-Open	문제를 자유롭게 찾게 함
	ER-Restrained	영향이 있는 문제만 보고하고, 이상이 없으면 빈 목록을 돌려주게 함
	ER-Checklist	이름 붙인 7가지 문제 유형에 대조해 평가하게 함

출처: 발표 슬라이드 15.

평가 설계

슬라이드 16

문항은 모두 27개다. 일반 문항 20개에는 문제를 1~3개씩 일부러 심었고(8가지 유형, 모두 48개), 충분히 검증된 ESS 코어 문항 7개는 대조군으로 두었다. 탐지율은 심어 둔 48개 중 찾아낸 비율이고, 정답표에 없는 지적은 문항당 잠정 허위양성으로 셌다. 정답표가 모든 문제를 담은 것은 아니므로 허위양성 중 일부는 진짜 문제일 수 있다. 본 실험은 GPT-4o로 했고, Llama-3.3-70B, Qwen3-32B, Claude Opus 5로 재현했다.

출력 예시

슬라이드 17

"고용 조건(terms of employment)에 전반적으로 얼마나 만족하십니까?"라는 문항에는 모호한 표현, 비대칭 척도, 현재 취업 중이라는 전제를 심었다. 은퇴한 전직 가게 주인으로 설정된 가상 응답자는 은퇴해서 지금은 고용된 상태가 아니니 이 질문이 자기와 안 맞는다고 말했다. 59세 여성 정원사로 설정된 응답자는 '고용 조건'이 자기에게 무슨 뜻인지부터 생각하게 된다며 계약, 급여, 근무 시간, 휴가를 떠올렸다. 전문가 검토자는 '고용 조건'이 응답자마다 다르게 해석될 수 있다는 점과, 임시직이나 프리랜서처럼 정해진 고용 조건이 없는 사람도 있다는 점을 지적했다.

정원사 응답자가 뜻을 헷갈려 하면서도 결국 '대체로 만족'이라고 답을 낸다는 점이 눈에 띈다. 실제 조사에서 응답자가 문항을 제각각 해석하고도 아무 표시 없이 응답을 채우는 모습 그대로다.

GPT-4o 결과

슬라이드 18~19

표 7. GPT-4o의 탐지율과 잠정 허위양성

설정	탐지율	결함 문항당 FP	ESS 문항당 FP	심각도 5+ 탐지율	심각도 5+ 결함 FP	심각도 5+ ESS FP
CI-List	75%	1.8	1.6	65%	1.5	1.0
ER-Checklist	73%	1.4	2.3	60%	1.1	0.6
ER-Open	69%	1.4	3.1	69%	1.4	3.1
CI-Open	60%	1.4	1.4	50%	1.0	1.0
ER-Restrained	48%	0.8	0.3	46%	0.6	0.3
CI-Structured	31%	0.6	0.7	25%	0.5	0.6

출처: 발표 슬라이드 18. FP는 문항당 잠정 허위양성 개수.

탐지율은 CI-List가 75%로 가장 높고 CI-Structured가 31%로 가장 낮다. 네 단계를 차례로 밟게만 한 CI-Structured에서는 GPT-4o 응답자가 결함 있는 문항도 별 어려움 없이 넘어갔다. 심각도 5점 이상만 남기면 탐지율은 조금 내려가지만 허위양성이 줄어든다. ESS 문항의 허위양성이 가장 크게 준 설정은 ER-Checklist다(2.3개에서 0.6개).

표 8. 문제 유형별 탐지율 (GPT-4o)

문제 유형	심어 둔 문제 수	CI-List	ER-Checklist
이중질문	6	100%	100%
전제	9	44%	89%
모호하거나 중의적인 표현	9	78%	67%
응답 매핑	7	71%	43%
인출·회상	5	100%	100%
유도·편향된 표현	5	100%	80%
민감성	4	50%	50%
복잡한 구문	3	67%	33%

출처: 발표 슬라이드 19. 범주별 문제 수가 적다는 점에 주의.

두 방식이 잘 찾는 문제가 달랐다. 전제 문제는 전문가 검토가 89%로 인지면접(44%)보다 훨씬 잘 찾았고, 응답 매핑 문제는 인지면접이 71%로 전문가 검토(43%)보다 잘 찾았다. 실제로 답을 보기에 맞춰 넣어 보는 가상 응답자가 보기가 안 맞는다는 것을 더 잘 알아채는 셈이다. 사람이 하는 인지면접과 전문가 검토 사이에서 오래전부터 알려진 차이와 같다. 이중질문과 인출·회상 문제는 두 방식 모두 전부 찾았다.

모델을 바꾸면

슬라이드 20~21

표 9. 네 모델의 탐지율 (괄호 안은 ESS 문항당 잠정 허위양성)

설정	GPT-4o	Llama-3.3-70B	Qwen3-32B	Opus 5
CI-Open	60% (1.4)	73% (5.4)	79% (6.7)	94% (9.7)
CI-Structured	31% (0.7)	65% (4.1)	73% (5.4)	92% (9.1)
CI-List	75% (1.6)	88% (5.4)	75% (7.1)	88% (8.9)
ER-Checklist	73% (2.3)	79% (3.4)	73% (2.7)	100% (8.4)
ER-Open	69% (3.1)	67% (3.1)	63% (1.7)	100% (8.4)
ER-Restrained	48% (0.3)	46% (0.3)	4% (0.1)	94% (5.3)

출처: 발표 슬라이드 20. 셀마다 1회 실행. 오픈웨이트 모델은 2026년 3월, Opus 5는 2026년 8월 실행.

모델에 따라 결과가 크게 달랐다. Opus 5는 모든 설정에서 탐지율이 88% 이상이었지만, 좋은 문항이어야 할 ESS 문항에서도 지적을 많이 했다. 문제를 되도록 적게 보고하라고 지시한 ER-Restrained에서도 ESS 문항 하나당 5.3개였다. 반대로 Qwen3-32B는 같은 절제 지시에 탐지율이 4%로 떨어져 사실상 아무것도 보고하지 않았다.

표 10. 심각도 5점 이상만 남겼을 때

설정	GPT-4o	Llama-3.3-70B	Qwen3-32B	Opus 5
CI-Open	50% (1.0)	73% (4.7)	44% (2.1)	60% (2.0)
CI-Structured	25% (0.6)	56% (3.9)	46% (0.7)	52% (1.1)
CI-List	65% (1.0)	79% (4.4)	56% (3.1)	63% (1.7)
ER-Checklist	60% (0.6)	65% (1.9)	33% (0.4)	83% (1.4)
ER-Open	69% (3.1)	67% (3.0)	56% (1.4)	79% (3.7)
ER-Restrained	46% (0.3)	44% (0.1)	4% (0.1)	60% (0.9)

출처: 발표 슬라이드 21. 파이프라인이 심각도 5점 이상으로 매긴 지적만 남김.

심각도로 거르면 그림이 달라진다. 스터기스는 Opus 5가 문제일 수 있는 것은 다 찾아내되 그것이 심각한지 아닌지는 잘 가린다고 평가했다. 표에서 이 평가가 분명히 맞는 것은 전문가 검토형이다. ER-Checklist에서 Opus 5는 탐지율 83%로 네 모델 중 가장 높고, ESS 허위양성은 1.4개다. 인지면접형에서는 세 설정 모두 Llama-3.3-70B의 탐지율이 가장 높지만 허위양성도 가장 많다.

정답표 밖의 지적은 정말 틀린 것인가

슬라이드 22

표 11. 전문가가 진짜 문제로 인정한 비율

지적 대상	CI-List	ER-Checklist
결함 문항	29개 중 19개 (66%)	24개 중 8개 (33%)
ESS 대조 문항	9개 중 0개	17개 중 2개

출처: 발표 슬라이드 22. 전문가 2명이 정답표를 모르는 상태에서 1~5점으로 평가, 둘 다 4점 이상을 준 경우만 진짜 문제로 인정.

정답표와 맞지 않은 지적 79개를 설문 설계 전문가 두 명이 평가했다. 결함 문항에서 인지면접(CI-List)이 추가로 찾은 것은 3분의 2가 진짜 문제였고, 전문가 검토(ER-Checklist)는 3분의 1이었다. ESS 문항에서 나온 지적은 거의 전부 문제가 아니라는 판정이었다. 문항을 만든 연구자도 놓친 결함을 LLM이 찾아냈다는 뜻이다.

Cogbot 결론

슬라이드 23

가장 좋은 설정은 심어 둔 문제의 약 4분의 3을 찾았다. 허위양성이 적지 않지만 그중 상당수는 정답표에서 빠진 진짜 문제다. 탐지율은 프롬프트와 모델에 따라 달라지고, 인지검증과 전문가 검토는 서로 다른 문제를 찾는다. 20문항 설문지를 1시간 안에 10달러 미만으로 검토할 수 있다. 논문에 따르면 문항당 비용은 인지면접형이 약 0.5달러, 전문가 검토형이 약 0.02달러다. 스터기스는 이 도구가 초기 선별용으로 가장 알맞고, 사람의 전문가 검토와 인지면접은 여전히 필요하다고 정리했다.

4. 질의응답에서 나온 이야기

SOCbot의 추가 질문은 정해진 문항에서 고르는 방식이 아니라 LLM이 직접 문장을 만든다. 다만 물을 수 있는 주제는 업종, 업무, 자격, 관리 책임으로 제한했다. 논문에 따르면 제한이 없던 초기 버전은 대학교수에게 무슨 과목을 가르치는지 묻기도 했는데, 대학교수는 과목과 관계없이 코드가 하나다.

개인정보는 조사 시작 때 AI 처리 과정을 알리고 동의를 받는 방식으로 처리했다. 거부한 사람에게는 기존 문항을 그대로 물으면 된다. 로컬 서버에서 모델을 돌리는 방법도 있지만, 수천 명이 동시에 접속하면 서버 한계에 걸릴 수 있다. 스터기스는 로컬 서버라도 AI와 대화하는 것 자체에 동의가 필요한지는 따로 따져 볼 문제라고 했다.

파이프라인은 모델과 분류체계에 구애받지 않으므로 다른 나라, 다른 언어에도 쓸 수 있고, 걸림돌은 해당 국가 직업분류 자료의 품질이다. 면접원이 태블릿으로 SOCbot이 제안하는 질문을 읽어 주는 면접 조사 방식도 가능하다.

Cogbot으로 번역 가능성을 검토하거나, 가상 응답자의 성격을 설정하거나, 인지면접 자료로 모델을 추가 학습시키는 것은 아직 해 보지 않았다. 스터기스는 이번 실험이 일부러 망가뜨린 문항을 쓴 인위적 설정이라서, 실제 설문 설계 현장에서 얼마나 쓸모 있는지는 더 어려운 질문이라고 인정했다.

5. 논문을 읽으며 확인한 점

두 연구는 Survey Futures 워킹페이퍼로 공개되어 있다. 발표와 함께 읽어 보니 눈여겨볼 점이 몇 가지 있었다.

Cogbot 논문에는 라벨이 뒤바뀐 곳이 있다. 방법 설명에서는 절제 문구를 넣은 설정이 ER-Restrained인데, 결과 표와 부록의 프롬프트 원문에서는 같은 설정에 ER-Open이라는 이름이 붙어 있다. 발표 슬라이드는 라벨을 바로잡은 판이다.

CI-List의 대표 탐지율 75%는 세 번 반복 실행한 결과(79.2%, 66.7%, 64.6%) 어디에도 없고, 반복 평균은 70.1%다. 결론의 "약 4분의 3"은 이 대표값에서 나왔다.

가상 응답자의 배경 설정은 LLM이 쓴 것이 아니라 연령, 성별, 학력, 취업 상태, 지역, 가구 구성, 소득 구간을 템플릿에 채운 약 580자 분량의 서술이다. 논문 부록의 녹취를 보면 모델이 설정에 없는 거주지나 생활 습관을 스스로 지어내기도 한다.

SOCbot의 정확도 순서 추론은 정적 SOCbot과 동적 SOCbot의 오류가 서로 독립이라는 가정에 기댄다. 둘은 같은 후보 검색과 같은 분류 가이드를 쓰기 때문에 틀릴 때도 비슷하게 틀릴 수 있다. 그렇다면 58%라는 일치율은 정확해서라기보다 같은 계열이어서 높게 나온 값일 수 있다. 또 비교 기준인 사람 코딩은 CASCOT 확신도가 0.7을 넘는 건은 자동으로 확정하고 나머지만 사람이 판단한 결과여서, 저자들도 사실상 CASCOT과의 비교라고 적었다.

SOCbot 논문이 인용한 문헌 가운데 한국종합사회조사(KGSS)의 코더 간 직업 코딩 불일치를 분석한 연구(Kim, Kim & Ban, 2020)가 있다. 한국 조사에서도 같은 문제가 확인되어 있다는 뜻이다.

6. 한국 조사에 가져온다면

SOCbot의 정적 방식은 지금 당장 쓸 수 있다. 실사 후 주관식 직업·업종 응답을 한국표준직업분류(KSCO)로 코딩하고, 확신도가 낮은 건만 사람이 확인하면 된다. 다만 프롬프트에 들어 있는 분류 가이드(대분류 설명과 헷갈리기 쉬운 직업 구분 사례)는 KSCO에 맞게 새로 써야 한다. 동적 방식은 응답 도중 외부 API를 호출해 질문을 끼워 넣어야 하므로, 웹조사 시스템이 이를 지원해야 한다.

Cogbot은 코드와 대시보드가 공개되어 있어 시험해 보기 쉽다. 가상 응답자의 배경 설정을 한국 조사 자료로 바꾸는 작업이 필요하고, 결과를 볼 때는 심각도로 거른 지적만 보는 편이 낫다. 거르지 않으면 잘 만든 문항에도 지적이 많이 달린다.

참고 자료

•     세미나 영상: https://www.youtube.com/watch?v=oHGlOunozw4

•     Sturgis, P., Robinson, T. S., Fung, L. & Roberts, C. (2026). SOCbot: Using Large Language Models to dynamically measure and classify occupations in surveys. Sociological Methods & Research, online first. https://journals.sagepub.com/doi/full/10.1177/00491241261461516

•     같은 연구의 워킹페이퍼판(Survey Futures Working Paper 13): https://surveyfutures.net/wp-content/uploads/2026/04/working-paper-13-using-large-language-models-measure-classify-occupations-surveys.pdf

•     Sturgis, P., Roberts, C. & Robinson, T. (2026). LLMs for survey pretesting: How well can large language models identify flaws in survey questions? Survey Futures Working Paper 15. https://surveyfutures.net/wp-content/uploads/2026/04/working-paper-15-llms-for-survey-pretesting.pdf

•     SOCbot 코드: https://github.com/tsrobinson/soc_flask

•     Cogbot 코드: https://github.com/PatrickSturgis/cogbot

•     Cogbot 웹 대시보드: https://huggingface.co/spaces/Patricksturg/silicon-sampling-dashboard

신세틱 공론조사

 

신세틱 공론조사

T1은 사람에게 묻고, 숙의와 최종조사는 트윈에게 맡기는 설계

오승호  |  2026년 9월

공론조사를 다섯 번 해보고 남은 의심

공론조사 PM을 다섯 번 정도 맡았다. 준비 기간이 길고, 자료집 검토 회의가 끝없이 이어지고, 종합토론회 당일에는 이른 아침부터 참가자 출석을 확인한다. 모든 일정이 끝나면 결과표 한 장이 남는다. 그 한 장을 만드는 데 들어간 비용과 품을 생각하면, 공론조사 결과가 정책 결정에서 무겁게 다뤄지는 것도 이해는 된다.

그런데 일을 거듭할수록 의심이 커졌다. 크게 두 가지다.

하나는 오프라인에 오는 사람들이다. 사전조사 응답자 가운데 주말을 비워 토론회에 오겠다는 사람만 참여단 후보가 된다. 성별, 연령, 지역, 사전조사 찬반 분포를 맞춰 뽑더라도, 이 사람들은 처음부터 공적인 일에 시간을 쓸 의향이 있는 사람들이다. 그 성향은 할당표 어디에도 없다.

다른 하나는 찬반 양측의 자료와 발표자 수준 차이다. 찬반이 강하게 붙는 의제일수록 양측이 준비해 오는 자료집과 발표자의 역량이 눈에 띄게 달랐다. 한쪽은 도표와 사례를 촘촘하게 정리해 오고 발표자도 청중을 다룰 줄 아는데, 다른 쪽은 주장만 길게 늘어놓는 경우가 있었다. 최종조사에서 의견이 한쪽으로 움직였을 때, 그것이 논리의 힘인지 준비의 차이인지 누구도 구분하지 못한다.

이 두 의심은 실제 공론조사 안에서는 확인할 방법이 없다. 참여단을 두 번 뽑을 수 없고, 같은 사람들을 모아 자료집만 바꿔 토론회를 다시 열 수도 없다. 이 글은 그 확인을 신세틱 서베이로 해보자는 구상이다. 사전조사는 실제 사람에게 받고, 그 뒤의 숙의와 최종조사는 응답자의 디지털 트윈에게 맡기는 방식이다.

공론조사는 어떻게 진행되나

한국에서 가장 잘 알려진 사례인 2017년 신고리 5·6호기 공론화를 기준으로 보면 순서는 이렇다. 먼저 2만 명 규모의 1차 전화조사를 한다. 이 응답자 가운데 참여 의향을 밝힌 사람을 대상으로 층화 추출해 시민참여단 500명을 뽑는다. 참여단은 자료집을 받고 오리엔테이션과 온라인 학습을 거친 뒤 2박 3일 종합토론회에 참석한다. 토론회에서는 찬반 양측 발표, 질의응답, 분임토의가 이어지고 마지막 날 최종조사를 한다. 신고리에서는 최종조사까지 471명이 남았고, 건설 재개 59.5%, 건설 중단 40.5%로 결과가 나왔다.

이 글에서는 편의상 단계를 이렇게 부른다. T1은 대규모 사전조사, T2는 숙의 과정(자료 학습과 토론), T3는 숙의 후 최종조사다. 실제 공론조사에서는 T2 도중에 조사를 한두 번 더 넣기도 하지만 기본 구조는 같다.

이 구조에서 비용이 몰리는 곳은 T2다. T1은 일반 여론조사와 크게 다르지 않다. 토론회 장소, 참가자 교통비와 사례비, 진행 인력, 발표자 섭외, 분임토의 퍼실리테이터가 모두 T2에 들어간다. 그래서 T1을 2만 명으로 해도 T2에는 1,000명, 많아야 2,000명 정도만 부른다. 내가 맡았던 공론조사들도 대부분 이 범위였다. 결국 공론조사의 최종 결론은 T1 응답자의 5~10% 정도에게서 나온다.

누가 토론회에 오는가

참여단 선정은 보통 무작위 표집으로 보고된다. T1 응답자 가운데 층화 무작위 추출로 뽑았다고 쓴다. 틀린 말은 아니다. 다만 추출 대상이 T1 응답자 전체가 아니라 T1 응답자 가운데 참여 의향을 밝힌 사람이다. 이 차이가 작지 않다.

참여 의향은 응답자 사이에 고르게 흩어져 있지 않다. 주말에 시간을 낼 수 있는 사람, 교대 근무나 돌봄 부담이 적은 사람, 공적 논의에 참여하는 것을 의미 있게 여기는 사람, 해당 의제에 대해 이미 입장이 뚜렷한 사람이 더 많이 손을 든다. 실무에서 보면 마지막 부류가 특히 마음에 걸렸다. 입장이 강한 사람일수록 토론회에 와서 자기 생각을 말하고 싶어 한다.

층화 변수에 T1 찬반을 넣으면 이 문제가 해결된다고 보는 경우가 있다. 찬반 비율은 맞출 수 있다. 하지만 같은 찬성 안에서도 확신의 강도가 다르다. 참여단의 찬성은 T1 전체의 찬성보다 강한 찬성일 가능성이 높고, 반대도 마찬가지다. 그렇게 되면 참여단은 T1 분포를 맞춰도 양쪽 강경파의 비중이 실제보다 큰 집단이 된다. 이런 집단이 숙의를 거친 뒤 보이는 변화량은 일반 국민이 같은 숙의를 거쳤을 때의 변화량과 다를 것이다.

여기에 이탈이 더해진다. 선정 뒤 오리엔테이션에 오지 않는 사람, 토론회 도중 돌아가는 사람이 생긴다. 이탈한 사람이 어떤 사람인지는 대개 따로 분석되지 않는다. 최종 결과표에는 끝까지 남은 사람만 들어간다.

언론은 시민참여단을 국민 전체를 그대로 옮겨 놓은 집단처럼 소개한다. 인구 구성으로 보면 맞는 말이다. 그러나 성향으로 보면 그런 적이 있는지 확인된 바가 없다. 확인할 수단이 없었기 때문이다.

발표를 잘한 쪽이 이긴 것은 아닐까

공론조사는 참가자에게 균형 잡힌 정보를 준다고 설명한다. 실무에서 균형은 주로 분량과 형식으로 맞춘다. 양측 자료집의 쪽수를 비슷하게 하고, 발표 시간을 똑같이 배정하고, 질의응답 순서를 번갈아 잡는다.

그런데 분량과 시간이 같다고 수준까지 같아지지는 않는다. 찬반이 강하게 맞붙는 의제에서는 한쪽이 조직과 예산을 갖춘 경우가 많다. 전문 연구기관의 도움을 받아 자료를 만들고, 발표 경험이 많은 사람을 내세운다. 다른 쪽은 시민단체나 개인 연구자가 짧은 준비 기간에 자료를 만든다. 자료집 검토 회의에서 이 차이가 보여도 운영 쪽이 한쪽 자료를 대신 고쳐 줄 수는 없다. 그렇게 하는 순간 공정성 시비가 붙는다.

발표자 차이는 더 크다. 말하는 속도, 자신감, 직함, 청중의 질문을 받아넘기는 방식은 자료집에 드러나지 않는다. 분임토의에서 참가자들이 발표 내용보다 발표자의 인상을 먼저 이야기하는 경우도 적지 않았다.

이런 조건에서 T3 결과가 한쪽으로 움직이면 해석은 대개 이렇게 나온다. 숙의를 통해 시민들이 정보를 얻었고, 그 결과 판단을 바꿨다. 하지만 같은 결과를 더 잘 준비한 쪽이 설득에 성공했다고 읽어도 반박할 근거가 없다. 두 해석을 가르려면 같은 사람들에게 수준을 바꾼 자료를 줘 봐야 하는데, 실제 공론조사에서는 불가능하다.

앞은 사람이, 뒤는 트윈이

신세틱 공론조사를 처음 생각한 건 올해 5월이다. 그때는 합성 페르소나에게 T1부터 T3까지 전부 맡기는 구조를 떠올렸다. 자료집을 RAG(검색 증강 생성)로 넣으면 LLM이 원래 알고 있던 지식이 섞이는 것을 줄일 수 있고, 자료집 버전을 바꿔 가며 반복 실험을 할 수 있다는 점이 매력이었다.

지금은 생각이 조금 바뀌었다. T1은 실제 사람에게 받고, T2와 T3만 신세틱으로 돌리는 편이 낫다고 본다. 이유는 두 가지다.

첫째, 출발점이 진짜여야 한다. 합성 페르소나의 T1은 결국 확률 추첨이거나 LLM의 추정이다. 그 사람의 실제 태도가 아니다. 나는 신세틱 서베이를 검증할 때 전체 분포만 맞추는 것으로는 부족하고, 개인 한 명 한 명의 응답이 실제와 비슷해서 전체가 비슷해져야 한다고 본다. T1 응답자를 그대로 트윈으로 만들면 실제 사람 한 명에 트윈 한 명이 대응한다. 적어도 출발점은 개인 단위로 실제와 같다.

둘째, 실제 공론조사의 형식과 맞는다. 실제 공론조사도 T1은 대규모 조사다. T1은 그대로 두고 비용이 몰리는 T2만 바꾸면, 결과를 실제 공론조사와 나란히 놓고 비교하기 쉽다. 이해관계자에게 설명하기도 편하다. 사람에게 물은 조사가 출발점이라는 사실만으로도 신세틱에 대한 거부감이 꽤 줄어든다.

그리고 이 구조에서 가장 큰 이점이 생긴다. T2와 T3를 신세틱으로 돌리면 T1 응답자 2만 명을 전원 T3까지 보낼 수 있다. 참여 의향을 묻고 손든 사람만 추릴 이유가 없고, 중간 이탈도 없다. 실제 공론조사가 1,000명으로 답하던 질문에 2만 명 전원으로 답할 수 있게 된다.

피시킨이 공론조사를 제안하며 던진 질문은 모든 시민이 충분한 정보를 얻고 숙고한다면 여론이 어떻게 달라지겠느냐였다. 실제 공론조사는 비용 때문에 그중 일부만 데려와서 답을 추정했고, 그 일부가 누구인지는 따져 묻지 않았다. 신세틱 공론조사는 적어도 인원 면에서는 피시킨의 원래 질문에 더 가깝게 다가간다.

표 1. 실제 공론조사와 신세틱 공론조사의 단계별 비교

단계	실제 공론조사	신세틱 공론조사
T1 사전조사	전화조사 2만 명 내외	실제 사람 대상 조사(모바일 웹조사 가능), 트윈 재료용 문항 추가
참여단 구성	참여 의향자 중 층화 추출 1,000~2,000명	T1 응답자 전원을 트윈으로 생성
T2 자료 학습	자료집 배포, 온라인 학습	자료집을 RAG 컬렉션으로 주입, 근거 인용 기록
T2 토론	종합토론회 발표, 질의응답, 분임토의	일부 조만 소집단 트윈 토론, 나머지는 자료만 읽는 조건
T3 최종조사	토론회 마지막 날 조사, 이탈자 제외	T1 문항 재질문과 변화 이유 개방형, 이탈 없음
비용이 드는 곳	T2 토론회 운영	T1 실사, API 호출, 실측 보완 표본
반복 가능성	사실상 1회	자료, 조 구성, 선정 방식을 바꿔 여러 번

주: 신세틱 공론조사 쪽은 이 글의 구상이며 아직 실행 전이다.

설계를 조금 더 구체적으로

T1 문항은 일반 공론조사보다 넉넉해야 한다. 트윈의 재료가 되기 때문이다. 의제 찬반만 가지고는 트윈이 자료를 받았을 때 사람답게 반응하지 못한다. 찬반과 확신 정도, 찬반 이유를 본인 말로 적는 개방형, 의제 관련 지식 문항, 정부와 전문가에 대한 신뢰, 몇 가지 가치관 문항이 필요하다. 개방형 이유는 특히 중요하다. 같은 찬성이라도 이유가 경제인지 안전인지에 따라 자료를 읽고 나서 흔들리는 방향이 다르다.

참여 의향 문항도 실제 공론조사처럼 넣는다. 나중에 의향자와 비의향자를 나눠 비교하는 데 쓴다. 여기에 정치 효능감, 토론 선호, 주말 시간 여유 같은 문항을 더하면 어떤 성향이 참여단에서 걸러지는지 구체적으로 볼 수 있다. 입장이 강한 사람이 참여 의향도 높다는 내 짐작은 T1 자료만으로도 바로 확인할 수 있다.

개인정보 동의 문구에는 응답 내용을 AI 시뮬레이션에 사용한다는 점을 분명히 적는다. 뒤에서 설명할 실측 보완 표본을 위해 재접촉 동의도 받아 둔다. 문자로 모바일 웹조사를 보내는 방식이면 2만 명 T1도 전화조사보다 비용이 훨씬 적게 든다.

트윈에는 T1 응답을 넣되, 찬반 응답 자체는 빼는 방식을 먼저 시험해 볼 생각이다. 뒤에서 소개할 KAIST·서울대 연구에서 에이전트에게 시작 입장을 다시 알려 주자 이후 입장 변화가 거의 멈췄기 때문이다. 찬반 대신 이유, 가치관, 지식 수준을 주고 찬반은 트윈이 스스로 다시 답하게 한다. 트윈의 T1 재응답이 실제 T1 응답과 얼마나 일치하는지가 첫 번째 품질 기준이 된다. 여기서 일치율이 낮으면 T2 이후는 볼 필요도 없다.

자료집은 RAG 컬렉션으로 둔다. 트윈은 이 컬렉션에서 찾은 내용만 근거로 삼도록 지시한다. 응답마다 어느 문단을 근거로 썼는지 기록이 남으니, 의견을 바꾼 트윈이 어떤 자료에 반응했는지 추적할 수 있다. 실제 공론조사 사후 분석에서는 얻기 어려운 정보다.

토론은 8~10명씩 조를 짜서 라운드마다 발언을 만들고, 그 요약을 다음 라운드 근거로 쌓는 방식으로 돌린다. 다만 2만 명을 모두 토론시키면 조가 2,000개를 넘고 호출량이 크게 늘어난다. 그래서 일부 조만 토론을 시키고 나머지는 자료만 읽게 한다. 이 구분은 비용 때문이기도 하지만 실험 설계로도 꼭 필요하다. 토론 효과와 자료 효과를 나눠서 볼 수 있어서다.

T3는 T1과 같은 문항을 다시 묻고, 의견을 바꿨거나 유지한 이유를 개방형으로 받는다. 이 개방형 응답과 RAG 인용 기록을 같이 보면, 트윈이 자료에 근거해 판단을 바꿨는지 페르소나 설정에 끌려 답했는지 어느 정도 구분할 수 있다.

표 2. 단계마다 확인할 품질 기준

확인 시점	확인할 내용	기준으로 삼을 자료
트윈 생성 직후	트윈의 T1 재응답이 실제 응답자의 T1과 개인 단위로 일치하는가	실제 T1 원자료
T2 자료 학습 후	근거 인용이 자료집 안에서만 나오는가, 자료 밖 지식이 섞였는가	RAG 인용 기록
T2 토론 후	토론 조와 자료만 읽은 조의 변화량에 차이가 있는가	조건별 T3 비교
T3 산출 후	트윈의 변화 방향과 크기가 실제 사람과 비슷한가	실측 보완 표본의 T3

두 가지 의심을 실험으로 바꾸기

이 구조를 쓰면 앞에서 말한 두 가지 의심을 수치로 확인할 수 있다.

먼저 참여단 선택 편향이다. T1에서 참여 의향을 물었으니 2만 명의 트윈을 의향자와 비의향자로 나눌 수 있다. 두 집단의 T3 결과와 T1 대비 변화량을 비교하면, 실제 공론조사가 의향자만으로 낸 결론이 전체가 숙의했을 때의 결론과 얼마나 다른지가 나온다.

그다음으로 실제 참여단 선정 절차를 트윈에게 그대로 적용해 볼 수 있다. 의향자 트윈 가운데 실제와 같은 층화 방식으로 500명을 뽑아 T3를 계산하는 작업을 수백 번 반복하는 것이다. 참여단을 누구로 뽑았느냐에 따라 최종 찬반이 얼마나 흔들리는지를 분포로 볼 수 있다. 실제 공론조사 결과에 붙는 표본오차는 이 흔들림을 담고 있지 않다.

다음은 자료와 발표 수준이다. 찬성 측 자료와 반대 측 자료를 각각 수준이 높은 판과 낮은 판으로 만들고, 둘을 교차해 네 가지 조건을 만든다. 트윈을 네 조건에 무작위로 나눠 배정한다.

표 3. 자료 수준 교차 설계

	반대 측 자료 수준 높음	반대 측 자료 수준 낮음
찬성 측 자료 수준 높음	조건 A: 양측 모두 높은 수준	조건 B: 찬성 측 우위
찬성 측 자료 수준 낮음	조건 C: 반대 측 우위	조건 D: 양측 모두 낮은 수준

주: A와 D를 비교하면 전반적인 자료 수준이 변화량에 주는 영향을, B와 C를 비교하면 수준 불균형이 결과 방향에 주는 영향을 볼 수 있다.

가장 강한 근거는 수준을 뒤집었을 때 나온다. 실제 공론조사에서 이긴 쪽의 자료를 낮은 수준으로, 진 쪽의 자료를 높은 수준으로 바꿨는데 결과가 뒤집힌다면, 그 공론조사의 결론은 의제 자체보다 준비 수준의 차이에서 나왔다고 말할 수 있다. 뒤집히지 않는다면 그것도 의미 있는 결과다. 그 의제에서는 준비 수준보다 사안의 무게가 더 컸다는 뜻이니까.

수준을 조작하는 방법은 조심해야 한다. LLM에게 약하게 다시 쓰라고 시키면 내용까지 달라져서 수준과 내용이 뒤섞인다. 불균형이 심했던 실제 자료집을 출발점으로 삼고, 같은 사실과 같은 분량을 유지한 채 논증 구조와 근거 제시 방식만 손본 판을 만드는 편이 낫다. 두 판의 수준 차이는 어느 쪽 판인지 모르는 전문가들에게 평가를 받아 확인해 둔다. 그래야 수준을 바꾼 게 아니라 내용을 바꾼 것 아니냐는 반론에 답할 수 있다.

출발점으로 쓸 자료집은 공개된 과거 공론조사 자료가 적당하다. 신고리 5·6호기 공론화 자료집이 대표적이다. 다만 2017년 결과와 지금의 트윈 결과를 직접 비교하기에는 시점 차이가 크다. 과거 사례는 결과 재현보다 자료 구성 효과를 보는 용도로 쓰는 것이 맞다.

이미 나와 있는 연구들

이 구상이 처음인지 찾아봤다. LLM으로 숙의를 흉내 내는 연구는 이미 여럿 있다. 이번 달에만 두 편이 나왔다.

KAIST와 서울대 연구진의 논문(Jang 외, 2026)은 한국 사례라 더 눈여겨봤다. NVIDIA의 Nemotron-Personas-Korea에서 성, 연령, 학력, 지역을 맞춘 페르소나 640명을 뽑아 환경과 저출산 정책 8개 문항에 답하게 하고, 6명씩 3라운드 토론을 시켰다. 결과는 부정적이다. 토론 전 응답부터 실제 조사와 집단별로 평균 29%p 차이가 났고, 실제 조사에서 나타난 집단 간 차이의 방향을 맞힌 경우는 110번 비교 가운데 34번뿐이었다. 토론 결과에서도 문제가 드러났다. 다른 에이전트의 발언을 전혀 보지 못하게 하고 혼자 말하게 한 조건에서도 최종 분포가 실제 토론 조건과 거의 같았다. 에이전트에게 자기 입장을 다시 알려 주는 조건에서는 입장 변화가 대부분 0~3%로 떨어졌다.

Wali와 Tayyab의 논문(2026, EMNLP 2026 채택)은 공론조사를 LLM 페르소나 검증 도구로 쓴다. 미국에서 열린 공론조사인 America in One Room 데이터(페르소나 526명, 72문항)를 가져와, 같은 정보를 준 뒤 사람과 LLM의 의견 변화를 비교했다. 시험한 최신 모델 5개가 모두 실패했고 실패 방식이 제각각이었다. Gemini 2.0 Flash, Claude Sonnet 4.5, Llama 3.3 70B는 변화 방향은 맞았지만 크기가 사람의 5~7배였다. GPT-5.1은 균형 잡힌 정보를 받은 뒤 상대 정당에 더 적대적으로 바뀌어 사람과 반대로 움직였고, DeepSeek V3는 거의 변하지 않았다. 연구진은 이 현상을 자기 아첨(self-sycophancy)이라고 부른다. 주어진 정보로 추론하지 않고 모델이 가진 페르소나 고정관념에 맞춰 답한다는 뜻이다.

실제 사람의 정보로 트윈을 만드는 방식은 스탠퍼드 박준성 연구팀이 2024년에 보여 줬다. 1,052명을 2시간씩 인터뷰해 에이전트를 만들었더니, 종합사회조사(GSS) 응답 재현도가 본인이 2주 뒤 같은 설문에 다시 답했을 때의 일관성 대비 85% 수준이었다. 다만 이 연구의 트윈은 설문에 다시 답했을 뿐, 새 정보를 받고 의견을 바꾸는 과정은 다루지 않았다.

이렇게 놓고 보면 비어 있는 곳이 보인다. 내가 찾은 범위에서는 새로 실측한 T1 응답자로 트윈을 만들고, 그 트윈에게 숙의를 시켜 T3를 만드는 조사 설계는 없었다. Wali와 Tayyab의 연구도 사람의 T3가 이미 있는 과거 데이터로 LLM을 채점한 검증 연구다. 그 구조를 이용해 참여단 선택 편향이나 자료 수준 불균형을 재려는 시도도 보지 못했다. 기존 연구는 대체로 LLM이 사람의 숙의를 잘 흉내 내는지를 묻는다. 나는 공론조사라는 제도가 무엇에 흔들리는지를 묻고 싶다.

LLM 연구자들이 이 설계를 잘 택하지 않는 이유도 짐작이 간다. 실측 T1에는 실사망과 비용이 필요하다. 연구자들은 대개 공개된 과거 데이터에 기댈 수밖에 없다. 조사회사에서 일하는 사람에게 T1은 늘 하는 일이다.

넘어야 할 문제

가장 큰 문제는 과대 변화다. Wali와 Tayyab의 결과대로라면 트윈은 자료를 받았을 때 사람보다 훨씬 크게 움직인다. 실제 사람은 자료집을 읽어도 T1 입장을 좀처럼 바꾸지 않는다. 내가 운영한 공론조사에서도 최종조사의 변화 폭은 기사 제목이 주는 인상보다 작은 경우가 많았다.

반대 방향의 문제도 있다. KAIST·서울대 연구처럼 입장을 명시하면 트윈이 굳어 버린다. 프롬프트를 어떻게 짜느냐에 따라 변화가 부풀기도 하고 멈추기도 한다는 뜻이다. 그래서 신세틱 T3를 그대로 결과로 내놓을 수는 없고, 보정할 기준이 있어야 한다.

그 기준으로 실측 보완 표본을 쓴다. T1 응답자 가운데 100명 정도에게 실제로 자료집을 보내 읽게 하고 T3를 받는다. 이 100명의 실제 T3와 그들 트윈의 신세틱 T3를 개인 단위로 맞대어 보면, 트윈이 변화를 얼마나 부풀리거나 줄이는지 알 수 있다. 이 비율로 나머지 트윈의 결과를 보정하거나, 적어도 결과를 해석할 때 어느 정도 할인해서 읽어야 하는지 밝힐 수 있다.

이때 100명을 참여 의향자 가운데서만 뽑으면 안 된다. 비의향자 트윈의 T3는 현실에서 자료집을 읽지 않을 사람에게 억지로 읽힌 결과다. 이 가정이 얼마나 맞는지 보려면 비의향자에게도 사례비를 더 주고 짧은 자료를 읽게 해야 한다. 비의향자는 실제로 읽게 해도 훑어보고 넘길 가능성이 크다. 트윈은 시키면 꼼꼼히 읽는다. 그 차이 자체가 또 하나의 결과가 된다.

발표자 효과도 트윈으로는 잡기 어렵다. 트윈은 원고만 읽는다. 말투, 자신감, 직함 같은 요소는 텍스트로 옮겨지지 않는다. 게다가 LLM은 잘 짜인 글에 사람보다 민감하게 반응할 가능성이 크다. 이 부분은 사람을 대상으로 한 설문 실험을 같이 돌려서 보완할 수 있다. 자료와 발표 영상을 웹설문에 넣고, 실측 응답자를 표 3의 네 조건에 무작위로 배정하면 된다. 같은 실험을 사람과 트윈에게 동시에 돌리면, 수준 효과가 사람에게서 실제로 얼마나 나오는지와 트윈이 그것을 얼마나 과장하는지를 한 번에 볼 수 있다.

토론 효과는 가장 조심스럽게 다뤄야 한다. KAIST·서울대 연구에서 혼자 말한 에이전트와 토론한 에이전트가 같은 곳에 도착했다는 결과는, 지금의 LLM 토론이 서로의 말을 듣고 생각을 바꾸는 과정을 재현하지 못할 수 있다는 경고다. 그래서 토론 조와 자료만 읽는 조를 나누는 설계를 넣었다. 두 조건의 결과가 같게 나온다면, 신세틱 공론조사에서 토론 단계는 빼고 자료 효과만 보고하는 것이 정직하다.

마치며

신세틱 공론조사로 실제 공론조사를 없애자는 이야기는 아니다. 사람들이 한자리에 마주 앉아 나누는 대화는 트윈이 만들지 못한다. 지금 기술로는 흉내 내기도 어렵다는 증거가 이미 나와 있다.

내가 생각하는 쓰임은 두 가지다. 하나는 실제 공론조사를 설계하기 전에 돌려 보는 사전 점검이다. 자료집 구성과 참여단 선정 방식에 따라 결과가 얼마나 달라질지 미리 보면, 운영 쪽이 어디에 공을 들여야 하는지 알 수 있다. 자료 수준 차이가 결과를 크게 움직이는 의제라면 자료집 검토에 더 많은 시간을 써야 한다는 근거가 된다.

다른 하나는 이미 끝난 공론조사의 결론을 다시 읽는 도구다. 참여단이 전체를 대표했는지, 결과가 준비 수준의 차이에 끌려간 것은 아닌지를 수치로 따져 볼 수 있다. 공론조사 결과가 정책을 바꾸는 근거로 쓰이는 만큼, 그 결과가 무엇에 흔들리는지 아는 일은 공론조사를 지지하는 사람에게도 필요하다.

공론조사를 운영하면서 결과표를 받아 들 때마다 같은 생각을 했다. 다른 사람들이 왔어도, 다른 자료를 읽었어도 이 숫자가 나왔을까. 그 질문에 답하려면 같은 조건을 바꿔 가며 여러 번 돌려 봐야 하는데, 사람으로는 할 수 없던 일이다. 이제는 해볼 수 있다. 조만간 작은 규모로 첫 시험을 해볼 생각이다.

참고한 자료

Fishkin, J. S. (2009). When the People Speak: Deliberative Democracy and Public Consultation. Oxford University Press.

Jang, C. 외 (2026). From Simulated Citizens to Simulated Deliberation: Challenges in Representation and Interaction. arXiv:2609.07573.

Park, J. S. 외 (2024). Generative Agent Simulations of 1,000 People. arXiv:2411.10109.

Taubenfeld, A. 외 (2024). Systematic Biases in LLM Simulations of Debates. EMNLP 2024.

Wali, A., & Tayyab, H. (2026). Before You Poll with LLMs: A Deliberative Diagnostic Framework. arXiv:2609.15849. EMNLP 2026 채택.

신고리 5·6호기 공론화위원회 (2017). 신고리 5·6호기 공론화 시민참여형조사 보고서.