신세틱 공론조사

 

신세틱 공론조사

T1은 사람에게 묻고, 숙의와 최종조사는 트윈에게 맡기는 설계

오승호  |  2026년 9월

공론조사를 다섯 번 해보고 남은 의심

공론조사 PM을 다섯 번 정도 맡았다. 준비 기간이 길고, 자료집 검토 회의가 끝없이 이어지고, 종합토론회 당일에는 이른 아침부터 참가자 출석을 확인한다. 모든 일정이 끝나면 결과표 한 장이 남는다. 그 한 장을 만드는 데 들어간 비용과 품을 생각하면, 공론조사 결과가 정책 결정에서 무겁게 다뤄지는 것도 이해는 된다.

그런데 일을 거듭할수록 의심이 커졌다. 크게 두 가지다.

하나는 오프라인에 오는 사람들이다. 사전조사 응답자 가운데 주말을 비워 토론회에 오겠다는 사람만 참여단 후보가 된다. 성별, 연령, 지역, 사전조사 찬반 분포를 맞춰 뽑더라도, 이 사람들은 처음부터 공적인 일에 시간을 쓸 의향이 있는 사람들이다. 그 성향은 할당표 어디에도 없다.

다른 하나는 찬반 양측의 자료와 발표자 수준 차이다. 찬반이 강하게 붙는 의제일수록 양측이 준비해 오는 자료집과 발표자의 역량이 눈에 띄게 달랐다. 한쪽은 도표와 사례를 촘촘하게 정리해 오고 발표자도 청중을 다룰 줄 아는데, 다른 쪽은 주장만 길게 늘어놓는 경우가 있었다. 최종조사에서 의견이 한쪽으로 움직였을 때, 그것이 논리의 힘인지 준비의 차이인지 누구도 구분하지 못한다.

이 두 의심은 실제 공론조사 안에서는 확인할 방법이 없다. 참여단을 두 번 뽑을 수 없고, 같은 사람들을 모아 자료집만 바꿔 토론회를 다시 열 수도 없다. 이 글은 그 확인을 신세틱 서베이로 해보자는 구상이다. 사전조사는 실제 사람에게 받고, 그 뒤의 숙의와 최종조사는 응답자의 디지털 트윈에게 맡기는 방식이다.

공론조사는 어떻게 진행되나

한국에서 가장 잘 알려진 사례인 2017년 신고리 5·6호기 공론화를 기준으로 보면 순서는 이렇다. 먼저 2만 명 규모의 1차 전화조사를 한다. 이 응답자 가운데 참여 의향을 밝힌 사람을 대상으로 층화 추출해 시민참여단 500명을 뽑는다. 참여단은 자료집을 받고 오리엔테이션과 온라인 학습을 거친 뒤 2박 3일 종합토론회에 참석한다. 토론회에서는 찬반 양측 발표, 질의응답, 분임토의가 이어지고 마지막 날 최종조사를 한다. 신고리에서는 최종조사까지 471명이 남았고, 건설 재개 59.5%, 건설 중단 40.5%로 결과가 나왔다.

이 글에서는 편의상 단계를 이렇게 부른다. T1은 대규모 사전조사, T2는 숙의 과정(자료 학습과 토론), T3는 숙의 후 최종조사다. 실제 공론조사에서는 T2 도중에 조사를 한두 번 더 넣기도 하지만 기본 구조는 같다.

이 구조에서 비용이 몰리는 곳은 T2다. T1은 일반 여론조사와 크게 다르지 않다. 토론회 장소, 참가자 교통비와 사례비, 진행 인력, 발표자 섭외, 분임토의 퍼실리테이터가 모두 T2에 들어간다. 그래서 T1을 2만 명으로 해도 T2에는 1,000명, 많아야 2,000명 정도만 부른다. 내가 맡았던 공론조사들도 대부분 이 범위였다. 결국 공론조사의 최종 결론은 T1 응답자의 5~10% 정도에게서 나온다.

누가 토론회에 오는가

참여단 선정은 보통 무작위 표집으로 보고된다. T1 응답자 가운데 층화 무작위 추출로 뽑았다고 쓴다. 틀린 말은 아니다. 다만 추출 대상이 T1 응답자 전체가 아니라 T1 응답자 가운데 참여 의향을 밝힌 사람이다. 이 차이가 작지 않다.

참여 의향은 응답자 사이에 고르게 흩어져 있지 않다. 주말에 시간을 낼 수 있는 사람, 교대 근무나 돌봄 부담이 적은 사람, 공적 논의에 참여하는 것을 의미 있게 여기는 사람, 해당 의제에 대해 이미 입장이 뚜렷한 사람이 더 많이 손을 든다. 실무에서 보면 마지막 부류가 특히 마음에 걸렸다. 입장이 강한 사람일수록 토론회에 와서 자기 생각을 말하고 싶어 한다.

층화 변수에 T1 찬반을 넣으면 이 문제가 해결된다고 보는 경우가 있다. 찬반 비율은 맞출 수 있다. 하지만 같은 찬성 안에서도 확신의 강도가 다르다. 참여단의 찬성은 T1 전체의 찬성보다 강한 찬성일 가능성이 높고, 반대도 마찬가지다. 그렇게 되면 참여단은 T1 분포를 맞춰도 양쪽 강경파의 비중이 실제보다 큰 집단이 된다. 이런 집단이 숙의를 거친 뒤 보이는 변화량은 일반 국민이 같은 숙의를 거쳤을 때의 변화량과 다를 것이다.

여기에 이탈이 더해진다. 선정 뒤 오리엔테이션에 오지 않는 사람, 토론회 도중 돌아가는 사람이 생긴다. 이탈한 사람이 어떤 사람인지는 대개 따로 분석되지 않는다. 최종 결과표에는 끝까지 남은 사람만 들어간다.

언론은 시민참여단을 국민 전체를 그대로 옮겨 놓은 집단처럼 소개한다. 인구 구성으로 보면 맞는 말이다. 그러나 성향으로 보면 그런 적이 있는지 확인된 바가 없다. 확인할 수단이 없었기 때문이다.

발표를 잘한 쪽이 이긴 것은 아닐까

공론조사는 참가자에게 균형 잡힌 정보를 준다고 설명한다. 실무에서 균형은 주로 분량과 형식으로 맞춘다. 양측 자료집의 쪽수를 비슷하게 하고, 발표 시간을 똑같이 배정하고, 질의응답 순서를 번갈아 잡는다.

그런데 분량과 시간이 같다고 수준까지 같아지지는 않는다. 찬반이 강하게 맞붙는 의제에서는 한쪽이 조직과 예산을 갖춘 경우가 많다. 전문 연구기관의 도움을 받아 자료를 만들고, 발표 경험이 많은 사람을 내세운다. 다른 쪽은 시민단체나 개인 연구자가 짧은 준비 기간에 자료를 만든다. 자료집 검토 회의에서 이 차이가 보여도 운영 쪽이 한쪽 자료를 대신 고쳐 줄 수는 없다. 그렇게 하는 순간 공정성 시비가 붙는다.

발표자 차이는 더 크다. 말하는 속도, 자신감, 직함, 청중의 질문을 받아넘기는 방식은 자료집에 드러나지 않는다. 분임토의에서 참가자들이 발표 내용보다 발표자의 인상을 먼저 이야기하는 경우도 적지 않았다.

이런 조건에서 T3 결과가 한쪽으로 움직이면 해석은 대개 이렇게 나온다. 숙의를 통해 시민들이 정보를 얻었고, 그 결과 판단을 바꿨다. 하지만 같은 결과를 더 잘 준비한 쪽이 설득에 성공했다고 읽어도 반박할 근거가 없다. 두 해석을 가르려면 같은 사람들에게 수준을 바꾼 자료를 줘 봐야 하는데, 실제 공론조사에서는 불가능하다.

앞은 사람이, 뒤는 트윈이

신세틱 공론조사를 처음 생각한 건 올해 5월이다. 그때는 합성 페르소나에게 T1부터 T3까지 전부 맡기는 구조를 떠올렸다. 자료집을 RAG(검색 증강 생성)로 넣으면 LLM이 원래 알고 있던 지식이 섞이는 것을 줄일 수 있고, 자료집 버전을 바꿔 가며 반복 실험을 할 수 있다는 점이 매력이었다.

지금은 생각이 조금 바뀌었다. T1은 실제 사람에게 받고, T2와 T3만 신세틱으로 돌리는 편이 낫다고 본다. 이유는 두 가지다.

첫째, 출발점이 진짜여야 한다. 합성 페르소나의 T1은 결국 확률 추첨이거나 LLM의 추정이다. 그 사람의 실제 태도가 아니다. 나는 신세틱 서베이를 검증할 때 전체 분포만 맞추는 것으로는 부족하고, 개인 한 명 한 명의 응답이 실제와 비슷해서 전체가 비슷해져야 한다고 본다. T1 응답자를 그대로 트윈으로 만들면 실제 사람 한 명에 트윈 한 명이 대응한다. 적어도 출발점은 개인 단위로 실제와 같다.

둘째, 실제 공론조사의 형식과 맞는다. 실제 공론조사도 T1은 대규모 조사다. T1은 그대로 두고 비용이 몰리는 T2만 바꾸면, 결과를 실제 공론조사와 나란히 놓고 비교하기 쉽다. 이해관계자에게 설명하기도 편하다. 사람에게 물은 조사가 출발점이라는 사실만으로도 신세틱에 대한 거부감이 꽤 줄어든다.

그리고 이 구조에서 가장 큰 이점이 생긴다. T2와 T3를 신세틱으로 돌리면 T1 응답자 2만 명을 전원 T3까지 보낼 수 있다. 참여 의향을 묻고 손든 사람만 추릴 이유가 없고, 중간 이탈도 없다. 실제 공론조사가 1,000명으로 답하던 질문에 2만 명 전원으로 답할 수 있게 된다.

피시킨이 공론조사를 제안하며 던진 질문은 모든 시민이 충분한 정보를 얻고 숙고한다면 여론이 어떻게 달라지겠느냐였다. 실제 공론조사는 비용 때문에 그중 일부만 데려와서 답을 추정했고, 그 일부가 누구인지는 따져 묻지 않았다. 신세틱 공론조사는 적어도 인원 면에서는 피시킨의 원래 질문에 더 가깝게 다가간다.

표 1. 실제 공론조사와 신세틱 공론조사의 단계별 비교

단계	실제 공론조사	신세틱 공론조사
T1 사전조사	전화조사 2만 명 내외	실제 사람 대상 조사(모바일 웹조사 가능), 트윈 재료용 문항 추가
참여단 구성	참여 의향자 중 층화 추출 1,000~2,000명	T1 응답자 전원을 트윈으로 생성
T2 자료 학습	자료집 배포, 온라인 학습	자료집을 RAG 컬렉션으로 주입, 근거 인용 기록
T2 토론	종합토론회 발표, 질의응답, 분임토의	일부 조만 소집단 트윈 토론, 나머지는 자료만 읽는 조건
T3 최종조사	토론회 마지막 날 조사, 이탈자 제외	T1 문항 재질문과 변화 이유 개방형, 이탈 없음
비용이 드는 곳	T2 토론회 운영	T1 실사, API 호출, 실측 보완 표본
반복 가능성	사실상 1회	자료, 조 구성, 선정 방식을 바꿔 여러 번

주: 신세틱 공론조사 쪽은 이 글의 구상이며 아직 실행 전이다.

설계를 조금 더 구체적으로

T1 문항은 일반 공론조사보다 넉넉해야 한다. 트윈의 재료가 되기 때문이다. 의제 찬반만 가지고는 트윈이 자료를 받았을 때 사람답게 반응하지 못한다. 찬반과 확신 정도, 찬반 이유를 본인 말로 적는 개방형, 의제 관련 지식 문항, 정부와 전문가에 대한 신뢰, 몇 가지 가치관 문항이 필요하다. 개방형 이유는 특히 중요하다. 같은 찬성이라도 이유가 경제인지 안전인지에 따라 자료를 읽고 나서 흔들리는 방향이 다르다.

참여 의향 문항도 실제 공론조사처럼 넣는다. 나중에 의향자와 비의향자를 나눠 비교하는 데 쓴다. 여기에 정치 효능감, 토론 선호, 주말 시간 여유 같은 문항을 더하면 어떤 성향이 참여단에서 걸러지는지 구체적으로 볼 수 있다. 입장이 강한 사람이 참여 의향도 높다는 내 짐작은 T1 자료만으로도 바로 확인할 수 있다.

개인정보 동의 문구에는 응답 내용을 AI 시뮬레이션에 사용한다는 점을 분명히 적는다. 뒤에서 설명할 실측 보완 표본을 위해 재접촉 동의도 받아 둔다. 문자로 모바일 웹조사를 보내는 방식이면 2만 명 T1도 전화조사보다 비용이 훨씬 적게 든다.

트윈에는 T1 응답을 넣되, 찬반 응답 자체는 빼는 방식을 먼저 시험해 볼 생각이다. 뒤에서 소개할 KAIST·서울대 연구에서 에이전트에게 시작 입장을 다시 알려 주자 이후 입장 변화가 거의 멈췄기 때문이다. 찬반 대신 이유, 가치관, 지식 수준을 주고 찬반은 트윈이 스스로 다시 답하게 한다. 트윈의 T1 재응답이 실제 T1 응답과 얼마나 일치하는지가 첫 번째 품질 기준이 된다. 여기서 일치율이 낮으면 T2 이후는 볼 필요도 없다.

자료집은 RAG 컬렉션으로 둔다. 트윈은 이 컬렉션에서 찾은 내용만 근거로 삼도록 지시한다. 응답마다 어느 문단을 근거로 썼는지 기록이 남으니, 의견을 바꾼 트윈이 어떤 자료에 반응했는지 추적할 수 있다. 실제 공론조사 사후 분석에서는 얻기 어려운 정보다.

토론은 8~10명씩 조를 짜서 라운드마다 발언을 만들고, 그 요약을 다음 라운드 근거로 쌓는 방식으로 돌린다. 다만 2만 명을 모두 토론시키면 조가 2,000개를 넘고 호출량이 크게 늘어난다. 그래서 일부 조만 토론을 시키고 나머지는 자료만 읽게 한다. 이 구분은 비용 때문이기도 하지만 실험 설계로도 꼭 필요하다. 토론 효과와 자료 효과를 나눠서 볼 수 있어서다.

T3는 T1과 같은 문항을 다시 묻고, 의견을 바꿨거나 유지한 이유를 개방형으로 받는다. 이 개방형 응답과 RAG 인용 기록을 같이 보면, 트윈이 자료에 근거해 판단을 바꿨는지 페르소나 설정에 끌려 답했는지 어느 정도 구분할 수 있다.

표 2. 단계마다 확인할 품질 기준

확인 시점	확인할 내용	기준으로 삼을 자료
트윈 생성 직후	트윈의 T1 재응답이 실제 응답자의 T1과 개인 단위로 일치하는가	실제 T1 원자료
T2 자료 학습 후	근거 인용이 자료집 안에서만 나오는가, 자료 밖 지식이 섞였는가	RAG 인용 기록
T2 토론 후	토론 조와 자료만 읽은 조의 변화량에 차이가 있는가	조건별 T3 비교
T3 산출 후	트윈의 변화 방향과 크기가 실제 사람과 비슷한가	실측 보완 표본의 T3

두 가지 의심을 실험으로 바꾸기

이 구조를 쓰면 앞에서 말한 두 가지 의심을 수치로 확인할 수 있다.

먼저 참여단 선택 편향이다. T1에서 참여 의향을 물었으니 2만 명의 트윈을 의향자와 비의향자로 나눌 수 있다. 두 집단의 T3 결과와 T1 대비 변화량을 비교하면, 실제 공론조사가 의향자만으로 낸 결론이 전체가 숙의했을 때의 결론과 얼마나 다른지가 나온다.

그다음으로 실제 참여단 선정 절차를 트윈에게 그대로 적용해 볼 수 있다. 의향자 트윈 가운데 실제와 같은 층화 방식으로 500명을 뽑아 T3를 계산하는 작업을 수백 번 반복하는 것이다. 참여단을 누구로 뽑았느냐에 따라 최종 찬반이 얼마나 흔들리는지를 분포로 볼 수 있다. 실제 공론조사 결과에 붙는 표본오차는 이 흔들림을 담고 있지 않다.

다음은 자료와 발표 수준이다. 찬성 측 자료와 반대 측 자료를 각각 수준이 높은 판과 낮은 판으로 만들고, 둘을 교차해 네 가지 조건을 만든다. 트윈을 네 조건에 무작위로 나눠 배정한다.

표 3. 자료 수준 교차 설계

	반대 측 자료 수준 높음	반대 측 자료 수준 낮음
찬성 측 자료 수준 높음	조건 A: 양측 모두 높은 수준	조건 B: 찬성 측 우위
찬성 측 자료 수준 낮음	조건 C: 반대 측 우위	조건 D: 양측 모두 낮은 수준

주: A와 D를 비교하면 전반적인 자료 수준이 변화량에 주는 영향을, B와 C를 비교하면 수준 불균형이 결과 방향에 주는 영향을 볼 수 있다.

가장 강한 근거는 수준을 뒤집었을 때 나온다. 실제 공론조사에서 이긴 쪽의 자료를 낮은 수준으로, 진 쪽의 자료를 높은 수준으로 바꿨는데 결과가 뒤집힌다면, 그 공론조사의 결론은 의제 자체보다 준비 수준의 차이에서 나왔다고 말할 수 있다. 뒤집히지 않는다면 그것도 의미 있는 결과다. 그 의제에서는 준비 수준보다 사안의 무게가 더 컸다는 뜻이니까.

수준을 조작하는 방법은 조심해야 한다. LLM에게 약하게 다시 쓰라고 시키면 내용까지 달라져서 수준과 내용이 뒤섞인다. 불균형이 심했던 실제 자료집을 출발점으로 삼고, 같은 사실과 같은 분량을 유지한 채 논증 구조와 근거 제시 방식만 손본 판을 만드는 편이 낫다. 두 판의 수준 차이는 어느 쪽 판인지 모르는 전문가들에게 평가를 받아 확인해 둔다. 그래야 수준을 바꾼 게 아니라 내용을 바꾼 것 아니냐는 반론에 답할 수 있다.

출발점으로 쓸 자료집은 공개된 과거 공론조사 자료가 적당하다. 신고리 5·6호기 공론화 자료집이 대표적이다. 다만 2017년 결과와 지금의 트윈 결과를 직접 비교하기에는 시점 차이가 크다. 과거 사례는 결과 재현보다 자료 구성 효과를 보는 용도로 쓰는 것이 맞다.

이미 나와 있는 연구들

이 구상이 처음인지 찾아봤다. LLM으로 숙의를 흉내 내는 연구는 이미 여럿 있다. 이번 달에만 두 편이 나왔다.

KAIST와 서울대 연구진의 논문(Jang 외, 2026)은 한국 사례라 더 눈여겨봤다. NVIDIA의 Nemotron-Personas-Korea에서 성, 연령, 학력, 지역을 맞춘 페르소나 640명을 뽑아 환경과 저출산 정책 8개 문항에 답하게 하고, 6명씩 3라운드 토론을 시켰다. 결과는 부정적이다. 토론 전 응답부터 실제 조사와 집단별로 평균 29%p 차이가 났고, 실제 조사에서 나타난 집단 간 차이의 방향을 맞힌 경우는 110번 비교 가운데 34번뿐이었다. 토론 결과에서도 문제가 드러났다. 다른 에이전트의 발언을 전혀 보지 못하게 하고 혼자 말하게 한 조건에서도 최종 분포가 실제 토론 조건과 거의 같았다. 에이전트에게 자기 입장을 다시 알려 주는 조건에서는 입장 변화가 대부분 0~3%로 떨어졌다.

Wali와 Tayyab의 논문(2026, EMNLP 2026 채택)은 공론조사를 LLM 페르소나 검증 도구로 쓴다. 미국에서 열린 공론조사인 America in One Room 데이터(페르소나 526명, 72문항)를 가져와, 같은 정보를 준 뒤 사람과 LLM의 의견 변화를 비교했다. 시험한 최신 모델 5개가 모두 실패했고 실패 방식이 제각각이었다. Gemini 2.0 Flash, Claude Sonnet 4.5, Llama 3.3 70B는 변화 방향은 맞았지만 크기가 사람의 5~7배였다. GPT-5.1은 균형 잡힌 정보를 받은 뒤 상대 정당에 더 적대적으로 바뀌어 사람과 반대로 움직였고, DeepSeek V3는 거의 변하지 않았다. 연구진은 이 현상을 자기 아첨(self-sycophancy)이라고 부른다. 주어진 정보로 추론하지 않고 모델이 가진 페르소나 고정관념에 맞춰 답한다는 뜻이다.

실제 사람의 정보로 트윈을 만드는 방식은 스탠퍼드 박준성 연구팀이 2024년에 보여 줬다. 1,052명을 2시간씩 인터뷰해 에이전트를 만들었더니, 종합사회조사(GSS) 응답 재현도가 본인이 2주 뒤 같은 설문에 다시 답했을 때의 일관성 대비 85% 수준이었다. 다만 이 연구의 트윈은 설문에 다시 답했을 뿐, 새 정보를 받고 의견을 바꾸는 과정은 다루지 않았다.

이렇게 놓고 보면 비어 있는 곳이 보인다. 내가 찾은 범위에서는 새로 실측한 T1 응답자로 트윈을 만들고, 그 트윈에게 숙의를 시켜 T3를 만드는 조사 설계는 없었다. Wali와 Tayyab의 연구도 사람의 T3가 이미 있는 과거 데이터로 LLM을 채점한 검증 연구다. 그 구조를 이용해 참여단 선택 편향이나 자료 수준 불균형을 재려는 시도도 보지 못했다. 기존 연구는 대체로 LLM이 사람의 숙의를 잘 흉내 내는지를 묻는다. 나는 공론조사라는 제도가 무엇에 흔들리는지를 묻고 싶다.

LLM 연구자들이 이 설계를 잘 택하지 않는 이유도 짐작이 간다. 실측 T1에는 실사망과 비용이 필요하다. 연구자들은 대개 공개된 과거 데이터에 기댈 수밖에 없다. 조사회사에서 일하는 사람에게 T1은 늘 하는 일이다.

넘어야 할 문제

가장 큰 문제는 과대 변화다. Wali와 Tayyab의 결과대로라면 트윈은 자료를 받았을 때 사람보다 훨씬 크게 움직인다. 실제 사람은 자료집을 읽어도 T1 입장을 좀처럼 바꾸지 않는다. 내가 운영한 공론조사에서도 최종조사의 변화 폭은 기사 제목이 주는 인상보다 작은 경우가 많았다.

반대 방향의 문제도 있다. KAIST·서울대 연구처럼 입장을 명시하면 트윈이 굳어 버린다. 프롬프트를 어떻게 짜느냐에 따라 변화가 부풀기도 하고 멈추기도 한다는 뜻이다. 그래서 신세틱 T3를 그대로 결과로 내놓을 수는 없고, 보정할 기준이 있어야 한다.

그 기준으로 실측 보완 표본을 쓴다. T1 응답자 가운데 100명 정도에게 실제로 자료집을 보내 읽게 하고 T3를 받는다. 이 100명의 실제 T3와 그들 트윈의 신세틱 T3를 개인 단위로 맞대어 보면, 트윈이 변화를 얼마나 부풀리거나 줄이는지 알 수 있다. 이 비율로 나머지 트윈의 결과를 보정하거나, 적어도 결과를 해석할 때 어느 정도 할인해서 읽어야 하는지 밝힐 수 있다.

이때 100명을 참여 의향자 가운데서만 뽑으면 안 된다. 비의향자 트윈의 T3는 현실에서 자료집을 읽지 않을 사람에게 억지로 읽힌 결과다. 이 가정이 얼마나 맞는지 보려면 비의향자에게도 사례비를 더 주고 짧은 자료를 읽게 해야 한다. 비의향자는 실제로 읽게 해도 훑어보고 넘길 가능성이 크다. 트윈은 시키면 꼼꼼히 읽는다. 그 차이 자체가 또 하나의 결과가 된다.

발표자 효과도 트윈으로는 잡기 어렵다. 트윈은 원고만 읽는다. 말투, 자신감, 직함 같은 요소는 텍스트로 옮겨지지 않는다. 게다가 LLM은 잘 짜인 글에 사람보다 민감하게 반응할 가능성이 크다. 이 부분은 사람을 대상으로 한 설문 실험을 같이 돌려서 보완할 수 있다. 자료와 발표 영상을 웹설문에 넣고, 실측 응답자를 표 3의 네 조건에 무작위로 배정하면 된다. 같은 실험을 사람과 트윈에게 동시에 돌리면, 수준 효과가 사람에게서 실제로 얼마나 나오는지와 트윈이 그것을 얼마나 과장하는지를 한 번에 볼 수 있다.

토론 효과는 가장 조심스럽게 다뤄야 한다. KAIST·서울대 연구에서 혼자 말한 에이전트와 토론한 에이전트가 같은 곳에 도착했다는 결과는, 지금의 LLM 토론이 서로의 말을 듣고 생각을 바꾸는 과정을 재현하지 못할 수 있다는 경고다. 그래서 토론 조와 자료만 읽는 조를 나누는 설계를 넣었다. 두 조건의 결과가 같게 나온다면, 신세틱 공론조사에서 토론 단계는 빼고 자료 효과만 보고하는 것이 정직하다.

마치며

신세틱 공론조사로 실제 공론조사를 없애자는 이야기는 아니다. 사람들이 한자리에 마주 앉아 나누는 대화는 트윈이 만들지 못한다. 지금 기술로는 흉내 내기도 어렵다는 증거가 이미 나와 있다.

내가 생각하는 쓰임은 두 가지다. 하나는 실제 공론조사를 설계하기 전에 돌려 보는 사전 점검이다. 자료집 구성과 참여단 선정 방식에 따라 결과가 얼마나 달라질지 미리 보면, 운영 쪽이 어디에 공을 들여야 하는지 알 수 있다. 자료 수준 차이가 결과를 크게 움직이는 의제라면 자료집 검토에 더 많은 시간을 써야 한다는 근거가 된다.

다른 하나는 이미 끝난 공론조사의 결론을 다시 읽는 도구다. 참여단이 전체를 대표했는지, 결과가 준비 수준의 차이에 끌려간 것은 아닌지를 수치로 따져 볼 수 있다. 공론조사 결과가 정책을 바꾸는 근거로 쓰이는 만큼, 그 결과가 무엇에 흔들리는지 아는 일은 공론조사를 지지하는 사람에게도 필요하다.

공론조사를 운영하면서 결과표를 받아 들 때마다 같은 생각을 했다. 다른 사람들이 왔어도, 다른 자료를 읽었어도 이 숫자가 나왔을까. 그 질문에 답하려면 같은 조건을 바꿔 가며 여러 번 돌려 봐야 하는데, 사람으로는 할 수 없던 일이다. 이제는 해볼 수 있다. 조만간 작은 규모로 첫 시험을 해볼 생각이다.

참고한 자료

Fishkin, J. S. (2009). When the People Speak: Deliberative Democracy and Public Consultation. Oxford University Press.

Jang, C. 외 (2026). From Simulated Citizens to Simulated Deliberation: Challenges in Representation and Interaction. arXiv:2609.07573.

Park, J. S. 외 (2024). Generative Agent Simulations of 1,000 People. arXiv:2411.10109.

Taubenfeld, A. 외 (2024). Systematic Biases in LLM Simulations of Debates. EMNLP 2024.

Wali, A., & Tayyab, H. (2026). Before You Poll with LLMs: A Deliberative Diagnostic Framework. arXiv:2609.15849. EMNLP 2026 채택.

신고리 5·6호기 공론화위원회 (2017). 신고리 5·6호기 공론화 시민참여형조사 보고서.