2026년 10월 10일 토요일

제79차 세계여론조사학회 연차대회(2026년 10월 26~29일) 프로그램 정리와 몇 가지 생각

 

WAPOR 2026 멕시코시티 대회, 프로그램 전체를 읽고

제79차 세계여론조사학회 연차대회(2026년 10월 26~29일) 프로그램 정리와 몇 가지 생각

세계여론조사학회(WAPOR) 제79차 연차대회가 10월 26일부터 29일까지 멕시코시티에서 열린다. 대회 주제는 "Public Opinion Research in an Emerging Multipolar World Order"다. 우리말로는 '다극화하는 세계질서 속의 여론연구' 정도가 된다. 회원 메일로 기조강연 안내가 온 김에 공개된 프로그램을 처음부터 끝까지 읽었다. 세션마다 무엇을 다루는지 표로 정리했고, 발표 수와 발표자 소속 국가는 프로그램 표기를 옮겨 직접 셌다. AI, 표집, 온라인 패널, 한국과 관련된 발표 40여 편은 초록까지 확인했다. 앞쪽은 프로그램 정리이고 뒤쪽은 읽으면서 든 생각이다.

대회 개요

개막식은 26일 저녁 멕시코시티 역사지구의 Foro Valparaíso에서, 폐막식은 29일 저녁 기억과 관용 박물관(Museo Memoria y Tolerancia)에서 열린다. 대회장은 잘츠부르크대 Wolfgang Aschauer, 현지조직위원장은 ITAM의 Alejandro Moreno, 공동위원장은 Parametría의 Francisco Abundis다. 현 WAPOR 회장은 빈대학 Christian Haerpfer, 차기 회장은 리버풀대 Colin Irwin이다.

26일에는 오전과 오후에 워크숍이 3개씩 열린다. 6개 가운데 2개는 스페인어 강의다. 27일부터 29일까지는 대부분의 시간대에 세션 6개가 나란히 진행되고, 그 사이에 전체 라운드테이블(27일), 기조강연(28일), 준전체회의 3개(29일), 포스터 세션(27일)이 들어 있다. 27일 밤에는 시상 만찬, 29일 오후에는 회원 총회가 있다.

기조강연 시간은 자료마다 다르다. 회원 메일의 안내 이미지에는 28일 11:00~12:25로, 웹 프로그램 표에는 11:00~12:15로 적혀 있다. 웹 표에는 12:15부터 점심이 잡혀 있으니 현장 일정표로 다시 확인하는 편이 좋다.

숫자로 본 프로그램

27일부터 29일까지 열리는 세션은 모두 55개다. 논문 발표 세션이 49개, 발표자 명단만 있는 라운드테이블과 토론 패널이 5개, 네 명이 각자 발표하는 패널이 1개다. 여기서 나오는 구두 발표는 241편(논문 세션 237편, 패널 발표 4편)이고 포스터가 16편이다. 포스터 가운데 1편은 구두 발표와 같은 논문이어서 이를 빼면 발표는 모두 256편이다. 90분 세션 하나에 평균 4.8편이 들어간다.

소속 국가가 적혀 있는 252편을 제1저자 기준으로 세면 47개 나라가 나온다. 미국이 73편(29.0%)으로 가장 많고 멕시코 54편(21.4%), 독일 23편(9.1%)이 뒤를 잇는다. 이 세 나라가 252편 가운데 150편, 59.5%를 차지한다. 지역으로 묶으면 북미가 80편(31.7%)으로 가장 많고 중남미가 79편(31.3%)으로 거의 같다. 유럽은 63편(25.0%)이다. 가장 적은 곳은 중동·아프리카로 12편(4.8%)이고, 아시아·태평양도 18편(7.1%)에 그친다.

개최지의 비중은 언어에서도 보인다. 제목이 스페인어인 세션이 7개이고, 워크숍 6개 가운데 2개가 스페인어로 진행된다. 발표 256편 가운데 제목에 멕시코(Mexico, Mexican 등)가 들어간 발표가 40편으로 15.6%다.

AI 비중도 셌다. 발표 제목에 AI, LLM, 합성(synthetic), 봇, 알고리즘, 머신러닝 같은 단어가 들어간 발표가 35편으로 전체의 13.7%다. 세션 제목에 AI나 LLM이 들어간 세션은 6개이고, 워크숍 6개 가운데 2개가 AI를 다룬다. 기조강연 주제도 합성 미디어다. 35편을 내용으로 나눠 보면 25편 정도는 AI를 조사 도구나 자료 오염원으로 다루고, 나머지 10편 정도는 AI에 대한 여론이나 AI가 여론에 끼치는 영향을 다룬다.

한국 소속 제1저자 발표는 2편이다. 아시아·태평양 18편을 나라별로 보면 일본과 중국이 4편씩으로 가장 많고, 홍콩 3편, 한국 2편이 그다음이다. 대만, 인도, 말레이시아, 태국, 필리핀은 1편씩이다.

날짜별 프로그램

세션 번호(S)는 프로그램의 Session ID를 그대로 썼다. 시간은 현지 시각이고, 패널 세션은 90분, 전체 라운드테이블·기조강연·준전체회의는 75분이다. 내용 칸은 발표 제목과 초록을 바탕으로 줄여 옮겼다.

표 1. 10월 26일(월) 워크숍과 개막

시간

세션

주요 내용

09:00

워크숍 1. AI를 활용한 SPSS 사용자용 R 조사분석

Diana Zavala-Rojas(ESS). SPSS 스크립트를 R로 옮기고 빈도표·교차표·검정을 AI 프롬프트의 도움으로 익히는 실습

 

워크숍 2. 현장 감독에서 조사 품질로

Jihad Fakhreddine. 사회조사·여론조사에서 감독원의 역할을 다시 정의

 

워크숍 3. 질문의 기술(스페인어)

Ricardo González, Dörte Naber. 라틴아메리카 여론조사 설문의 설계와 검증

 

WAPOR 이사회(초청)

15:00까지

13:00

워크숍 4. AI 시대 온라인 조사의 과학적 무결성

Jan Karem Höhne. 규칙 기반 봇과 LLM 기반 봇의 작동 방식, 응답 시간·키 입력 패러데이터로 봇 탐지, 봇을 이용한 사전테스트, EU AI법

 

워크숍 5. 요인설계 조사의 설계와 분석

Francisco Olivos. 비네트 실험의 설계와 분석

 

워크숍 6. 선거 전 여론조사 정확도 분석 도구(스페인어)

Ricardo de la Peña

18:30

개막식, 기조 패널

'다극화 세계 속의 멕시코: 여론, 민주주의, 정치 변화'. Miguel Basáñez(전 WAPOR 회장, 전 주미대사), Jorge G. Castañeda(전 멕시코 외교장관, 뉴욕대). 좌장 Alejandro Moreno(ITAM). 장소는 역사지구 Foro Valparaíso, 이어 환영 리셉션

표 2. 10월 27일(화)

시간

세션

주요 내용

09:00

S2 미주의 정치 양극화, 민주주의 태도, 선거 균열

약한 정당체계에서 정감적 양극화의 정책 기반(Lupu 외), 에콰도르 2025 대선, 미국의 정감적 양극화와 체제 지지(Traugott), 미국 양극화의 뿌리(Langer), 라틴아메리카 양극화

 

S3 다극화 세계의 측정 동등성

독일·오스트리아·스위스 걱정 척도의 동등성, ESS 대면면접과 화상면접의 측정 동등성, 동등성 불성립을 정보로 쓰는 2차 확인적 요인분석

 

S4 세계 저널리즘 연구(WJS) 라틴아메리카(스페인어)

기자의 성별 임금 격차, 자기검열, 기자 자율성, 2024 멕시코 대선의 균열

 

S15 라틴아메리카 여론연구 출판: 편집자 라운드테이블

좌장 Andreas Murr(CIDE). 학술지 편집자 4명

 

S42 복합 선호와 서베이 측정의 한계

리스트 실험의 필러 구성(음모론 측정), 이산선택실험, 퓨리서치의 과거 투표 문항으로 정치 편향 찾기(캐나다·독일·인도네시아·네덜란드·한국)

 

S79 뉴스미디어와 온라인 정치광고

트럼프 2기 정책 보도 프레임(캐나다·멕시코·영국), 메타 정치광고 분석, 탈공산 유럽의 정보 무력감과 허위정보 취약성

11:00

전체 라운드테이블: 압력 속의 여론조사

콜롬비아·볼리비아·홍콩·미국의 공표 금지, 등록·허가 요건, 정치 압력, 연구자 안전. 좌장 Sunghee Lee(미시간대), Chase Harrison(하버드대)

13:30

S11 변화하는 멕시코 유권자

1997~2024년 당파성과 정감적 양극화, 안보 투표, 이념과 쟁점 태도, 대통령 지지도와 여당 득표, 경제 투표

 

S31 AI 번역 파이프라인: 합성·다국어·품질 점검 자료

LLM 합성 응답의 오류 탐지(미시간대), 언어·문화권별 합성 자료 정확도, AI 번역 오류가 잘 나는 문항, LLM 생성 응답 판별(Höhne 외), 총조사오차 틀로 본 LLM 개방형 응답 코딩

 

S45 건강·인구·웰빙의 국가 비교

SHARE 악력 자료, 아르헨티나 출산율 하락과 이민, 멕시코 존엄사 여론, HPV 백신 오인식, 자가평가 건강의 문화 차이

 

S7 ISSP로 본 정체성·종교·사회정치 태도

무슬림 사회 가치 비교, AI에 대한 편안함과 우려(ISSP 2024 디지털 사회 모듈), 기독교 민족주의, 멕시코 청년의 종교와 정치의식

 

S36 조사 측정, 응답 품질, 비교연구

ESS의 측정오차와 대표성 편향, 총조사오차에서 총조사의미표류(TSMD)로, 국제 무응답 효과 실험, 성격 5요인과 응답 품질

 

S73 정치 커뮤니케이션 환경의 변화

Z세대 소셜미디어와 투표, 멕시코 대법관 선거의 소셜미디어 캠페인, 소셜미디어 정치 표현의 조건부 대표성, 사우디 인플루언서

15:30

S68 정치 신뢰와 제도 정당성

모로코 정치참여, 정치개혁에 대한 낙관과 비관(퓨리서치), 독일 정보기관 신뢰, 국가 지도자 신뢰 리스트 실험, 투표제도 이해도 척도

 

S14 글로벌 사우스의 조사방법

격자 인구자료 표집(미 국무부), 권위주의 국가의 조사 왜곡(아랍 바로미터), 라틴아메리카 조사와 AI, 아프로바로미터 25년, 전쟁 중 독재국가 패널조사

 

S57 청년, 시민성, 정치 정체성(스페인어)

청년의 종교와 참여, 중미 청년 고용과 이주 의향, 2024 멕시코 대선 보도 편향, 칠레 이민자 선호 실험

 

S50 전쟁과 장기 분쟁 속 여론

평화에 여론조사를 쓰지 못한 실패(Colin Irwin), 미국·이스라엘·이란 전쟁에 대한 인도·파키스탄 인식, '네 개의 러시아' 유형화, 팔레스타인 여론, 대만 참전 의향 측정의 문항 효과

 

S80 위기와 변화 속 신뢰·시민성·정치문화

일반 신뢰와 민주주의, 시민성, 독일 정치문화, 멕시코 교회 출석 1959~2024, 코로나19 사재기

 

S89 소셜미디어와 디지털 방법

AI로 소셜미디어 의견 추출, 조사 후속 AI 진행 인터뷰(ORB), 소셜미디어 모집 CAWI 표본, 디지털 시대의 실용적 표집 대안 비교(Fahimi)

17:00

포스터 세션(16편)

일본인의 국민성 조사 2025(통계수리연구소), KGSS 대표성 인식 실험(김지범 외), 온라인 조사의 봇·부정응답 방지(워털루대) 등

 

WAPOR 국가대표 회의(초청)

 

19:00

시상 만찬

 

표 3. 10월 28일(수)

시간

세션

주요 내용

09:00

S8 ISSP의 방법론 혁신과 자료 품질

ISSP 온라인 확률패널 지침(Tom W. Smith), 포퓰리즘과 유럽회의주의, 그리스 ISSP 순차 혼합모드, 이분법 밖 성별 응답자, 모바일 우선 레이아웃과 기기 사용(GESIS)

 

S12 라틴아메리카 40년의 가치 변화

라티노바로메트로 30년(Marta Lagos), 멕시코 세대 간 가치 변화 1982~2023(Moreno), 사회 신뢰의 변화, 2026 멕시코 라티노바로메트로 현장 경험

 

S55 미디어, 허위정보, 여론 형성(스페인어)

여론조사가 뉴스가 될 때 잃는 것(2024 멕시코 대선), 허위정보 환경에서 여론 측정의 방법 문제, 재난 보도

 

S10 자금 공백 이후: USAID 이후의 현지 조사 역량(라운드테이블)

좌장 Patrick Moynihan(퓨리서치). 콜롬비아·멕시코·칠레·미국 조사기관 대표와 LAPOP

 

S34 찾기 어려운 집단의 표집

NORC의 중국·쿠바·러시아 조사 경험, 우크라이나 난민 확률·비확률 표본 비교, 그린란드 초소규모 모집단, 디아스포라와 합성 인구, 전화조사 접촉자 성별 패러데이터

 

S6 글로벌 사우스의 미디어 신뢰와 허위정보

멕시코 미디어 신뢰와 확증편향, 대통령 연설 속 언론 공격 등 멕시코 발표 5편

11:00

기조강연: 여론연구와 합성 미디어의 부상

Ayşe D. Lokmanoğlu(보스턴대). 좌장 Olga Kamenchuk(노스웨스턴대)

13:30

S92 WAPOR-AAPOR 회장단 패널: 여론연구의 미래

두 학회 현 회장과 차기 회장, 전 회장 Claire Durand·Michael Traugott, 전 ESOMAR 회장. 좌장 Kathleen Frankovic

 

S13 멕시코의 권위주의화 과정(스페인어)

지방 권력 집중과 선거 경쟁 인식, 대통령 지지와 권위주의(2000~2026), 사회 프로그램의 선거 효과

 

S64 성, 노동, 가족 가치

유럽 성평등 태도, 전시 우크라이나 국내실향민의 사회자본, 중앙아시아 여성 고용, 라틴아메리카 정치 태도의 성별 격차, 칠레 인터넷과 낙태 태도

 

S17 WAPOR의 역사

창립(1946~1952), WAPOR 상 40년, 1948~2025년 대회의 역사, WAPOR 라틴아메리카 지부

15:30

S67 정감적 양극화, 사회 응집, 포퓰리즘

멕시코 '제4의 변혁'과 야당, 인도·멕시코 양극화 측정, 동남아 사회 응집, 일본 소셜미디어와 포퓰리즘

 

S88 정치 정보 이용의 변화

감정과 정보 과부하가 낳는 뉴스 회피, 2017~2026 뉴스 회피 증가 요인, 비디오게임과 여론, 초기 노년층의 정보 검증 격차

 

S66 좋은 삶의 측정

쾌락적 웰빙과 자기실현적 웰빙, 의미의 측정, 150개국 주관적 웰빙 일별 추정(1995~2026, 머신러닝 자료 통합), 일본 웰빙과 사회자본

 

S61 정치폭력, 반기득권 분노, 대표성

남아공 정치폭력 용인, 반기득권 지도자 평가, 미국 정치폭력 지지, 2024 대선 후 LGBTQ 성인 조사, 20개 민주국가의 포퓰리즘 민족주의

 

S5 라틴아메리카의 평화 협상·폭력과 여론

콜롬비아 무장단체 협상 선호 컨조인트 실험, 평화협정 사업 배분 실험, 멕시코 폭력 질문 실험, 브라질 총기 규제 여론

 

S40 조사실험으로 본 여론

약물 위해감소 교육 프레이밍, 자동완성으로 자동 코딩 가능 응답 78.9%→94.7%(DZHW), 2026 태국 총선 혼합모드 정확도 검증

17:00

GRIT 프로젝트 회의

 

표 4. 10월 29일(목)

시간

세션

주요 내용

09:00

S38 더 나은 설문지: AI, 언어, 설문 설계

좌장 Sunghee Lee. 인지면접 자료의 AI 분석과 사람 분석 비교, LLM 5종의 문항 생성과 품질 평가(LMU), 'AI 설문 전문가' 훈련, QAS를 고친 AI 보조 전문가 검토 틀, 스페인어 성 공정 언어

 

S48 국경을 넘는 여론: 무역, 이주, 외교

'초강대국' 질문 실험(퓨리서치), USMCA 재협상과 3국 여론, 2024 대선 후 멕시코·미국 이민 태도, 멕시코인의 미국 정치 인식

 

S52 조사 모드, 면접원 효과, 자료 품질(스페인어)

공식통계의 혼합모드 설계(코스타리카), 전화조사 개방형 문항 구조, 민감 주제의 모드 효과, 칠레 지역별 국정 지지의 소지역 추정, 대면과 비대면 투표 의향

 

S76 AI 기반 모집과 알고리즘 예측에 대한 반응

호주 선거인명부 대상 AI 전화면접(Miravoice), 메타 광고 이미지의 모집 성과 AI 분석(GESIS), 생성형 AI 사회 예측의 자기실현

 

S90 정치 지지와 민주주의의 의미

합의제 민주주의 선호(Claire Durand), 대중과 엘리트의 일치 측정, 피노체트 체제의 친시장 유산, 나이지리아 민주주의 여론

 

S77 커뮤니케이션 환경과 여론 형성

멕시코 대통령 연설과 매체 분화, 문항 프레임 불균형 실험(Ipsos Clifford Young), 매체 형식과 미래 시나리오 여론, 어린이의 민주주의 인식

11:00

S16 이주 태도 측정: WAPOR GRIT(준전체회의)

GRIT 2025 이주 프로젝트의 설계·결과·방법 과제, 후속 GRIT 2 '세계 안보와 평화' 소개

 

S18 ESOMAR/WAPOR 공동 여론조사 지침 개정(준전체회의)

Kathleen Frankovic, Tom W. Smith, Sunghee Lee, Patrick Moynihan. 10년 만의 개정, 온라인 조사와 출구조사 지침, 공개 항목

 

S1 IJPOR 패널(준전체회의)

학술지 IJPOR의 AI 대응, 동료심사, 지역 포용, 오픈사이언스

13:30

S70 LLM으로 개방형 응답 코딩

지도학습과 LLM 비교(브라질 Cetic.br), 29개국 다국어 응답 코딩(퓨리서치), AI의 문화 측정, LLM 코딩 실무 지침(코스타리카대), LLM으로 코드북 만들기

 

S58 포퓰리즘, 폭력, 민주적 책임성 약화

멕시코 자경 정의 선호 2012~2024, 폭력 속 멕시코의 정치 지지, 폴란드 정치 자기정체성의 다차원 분석, 권위주의 추종자

 

S54 권위주의, 선거부정, 민주적 양극화(스페인어)

'플랜 C'의 선거 기반, 멕시코인의 권위주의 성격, 정감적 양극화와 대화, 멕시코-미국 관계와 주권 여론

 

S49 집단 위험에 대한 여론: 기후, 과학, 위기 행동

브라질 농업계의 기후 방해, 기후 태도와 거버넌스 선호, 기후 허위정보 공유, 과학 이미지와 음모론, 팬데믹 정책 순응

 

S91 조사 환경과 자료: 여론조사와 가구조사 방법

아프리카 현장의 문화 이해, 유엔 「가구·개인 조사 핸드북」, 필리핀 사회경제 계층 분류, GESIS 자료 품질 도구 KODAQS, 브라질 선거조사 편향 보정

 

S44 이민, 민족주의, 정책과 여론의 간극

유럽 거주 시리아인의 귀환 의향, 라틴아메리카 이민 태도, 피드 속 국경 위협, 이민 관련 정감적 양극화

15:30

S69 인터뷰 속 AI: 신뢰와 수용

AI 태도의 다차원성(멕시코), 에이전트·아바타 AI 조사 실험(D3), 생성형 AI 수용, AI 챗봇의 신뢰도, 37개국 AI 인식 차이(퓨리서치)

 

S46 다극화 세계의 여론: 이주와 글로벌 사우스 정체성

누가 글로벌 사우스인가, 아프리카 이주 인식, 나이지리아의 미국 정책 인식, 30개국 세계질서 인식 조사(인민대), 남아공 인종별 지위 인식

 

S53 선거운동, 후보 이미지, 투표 결정(스페인어)

후보 인지도와 이미지, 사회 프로그램과 투표, 2026 페루 대선 신속 집계, 후보 선출 수단으로서의 여론조사

 

S72 선거 신념, 민주주의 침식, 선거 신뢰

부정선거 주장에 대한 '모름' 응답 분석(Kihong Moon·김지범), 미국 2020 대선 불신 요인, 민주주의 후퇴기의 선거운동 효과(멕시코 2024)

 

S83 권위주의 조건의 면접원 효과와 응답 공개

면접원 국적과 자기검열(LAPOP), 중국 온라인 괴롭힘 조사, 아동 면접의 성인 동석 효과, CATI 거절 전환의 효용

 

S85 패널조사와 종단조사 방법

'옵트인 온라인 패널: 구매자 주의'(Gary Langer), 패널 동의 반복 요청 실험, 웹조사 정치지식 문항의 검색 행동 탐지, 일본의 응답률 하락(아사히신문), 패널 무응답 편향의 머신러닝 보정

17:00

WAPOR 총회(공개)

 

19:00

폐막식

기억과 관용 박물관

개최국의 비중과 '다극화'라는 주제

프로그램을 읽고 가장 먼저 드는 인상은 멕시코 대회라는 점이다. 멕시코 연구자가 제1저자인 발표가 54편이고, 2024년 대선, 집권당 모레나(Morena), 사법부 개편을 담은 '플랜 C', 대법관 선거, 사회 프로그램의 선거 효과, 권위주의화, 범죄와 폭력을 다루는 세션이 사흘 내내 이어진다. 28일 오전 라티노바로메트로 패널에서는 범죄 위협 속에서 대면조사를 해야 하는 현장의 어려움이 따로 다뤄진다. 멕시코 정치를 공부하는 사람이라면 이번 대회가 그 자체로 좋은 자료집이다.

다극화라는 대회 주제는 두 가지로 나타난다. 하나는 연구 주제로서의 다극화다. 개막 기조 패널은 북미와 라틴아메리카 사이에 있는 멕시코가 세계 권력 재편에 어떻게 반응하는지를 다룬다. 퓨리서치는 20년 가까이 써 온 '세계 최고 경제대국' 문항(미국·중국·일본·EU 가운데 하나를 고르는 방식)이 지금의 세계를 담지 못한다고 보고, 2026년 3월 미국 패널 약 3,500명에게 새 문항 두 가지를 실험했다. '초강대국'의 정의를 보여 준 뒤 나라 이름을 자유롭게 적게 하는 방식과, 먼저 초강대국이 있다고 보는지 묻고 나서 나라를 묻는 2단계 방식이다. 중국 인민대 팀의 30개국 세계질서 인식 조사, '누가 글로벌 사우스에 속하는가'를 묻는 취리히대 연구, WAPOR 자체 국제조사인 GRIT의 이주 프로젝트도 같은 주제다.

다른 하나는 방법 문제로서의 다극화, 곧 비교 가능성이다. 27일 오전 세션 3은 '다극화 세계의 측정 동등성'이라는 제목을 달았다. 여러 나라에서 같은 문항을 물을 때 같은 것을 재고 있느냐는 질문은 AI 번역, 다국어 LLM 코딩, 합성 자료의 언어별 정확도를 다룬 발표에서도 되풀이된다. 레바논의 Jihad Fakhreddine은 총조사오차(TSE)를 보완하는 개념으로 '총조사의미표류(Total Survey Meaning Drift)'를 내놓는다. 의뢰 기관의 요구가 조사 설계, 번역, 면접, 코딩, 분석, 정책 활용을 거치는 동안 개념의 의미가 조금씩 바뀐다는 문제의식이다. 나라와 언어 사이의 동등성을 가로로, 조사에 참여하는 사람과 단계 사이의 동등성을 세로로 함께 보자는 제안이고, AI 도구도 의미가 바뀔 수 있는 단계 가운데 하나로 넣었다. TSE를 한국 조사 현실에 맞게 늘려 보는 작업을 해 온 입장에서 관심이 가는 발표다.

AI는 조사 공정 곳곳에 들어와 있다

AI를 조사 도구로 다룬 발표를 조사 공정 순서대로 놓아 보면 빈 단계가 거의 없다. 문항 설계, 번역, 자료 수집, 개방형 응답 코딩, 분석 교육까지 AI가 들어가 있고, 응답자가 AI를 써서 생기는 자료 오염도 따로 다뤄진다.

문항 설계는 29일 오전 세션 38에 모여 있다. 뮌헨대(LMU) 팀은 GPT-4o, GPT-4o-mini, GPT-oss-20B, LLaMA 3.1 8B와 70B에 일, 생활 여건, 국내 정치, 최근 정치의 네 주제로 문항을 만들게 하고, 문항의 형식·언어 특성 약 60개로 품질을 예측하는 SQP(Survey Quality Predictor)로 점수를 매겼다. 모델과 프롬프트 방식 모두 품질을 바꿨고, 단계적으로 생각하게 하는 사고 연쇄(chain-of-thought) 프롬프트가 가장 나았다. 폐쇄형인 GPT 계열이 오픈소스 LLaMA보다 결과가 고르게 나왔다. 그라나다대 Dörte Naber와 칠레 아돌포이바녜스대 Ricardo González는 전문가 문항 검토 도구인 QAS(Question Appraisal System)를 여론조사 문항에 맞게 고친 틀을 만들고, 원래 QAS와 새 틀을 AI 에이전트와 사람 전문가가 각각 적용해 2×2로 비교한다. AI가 안정적으로 잡아내는 문제와 놓치는 문제를 가려내려는 설계다.

번역은 27일 오후 세션 31에서 다룬다. 미시간대 팀은 사회인구, 사회관계망, 인지 건강을 묻는 35문항짜리 영어 설문을 ChatGPT, Claude, DeepSeek으로 스페인어·중국어·한국어·베트남어로 옮기게 하고, 사람 평가자가 정확성·유창성·응답 척도·문화 적합성 오류를 심각도별로 매겼다. 예비 결과로는 인종이나 학력처럼 미국 특유의 개념이 들어간 문항에서 정확성과 문화 적합성 오류가 많았다. 한국어가 분석 언어에 들어 있어서 최종 결과가 나오면 한국 조사에 바로 참고할 수 있다.

자료 수집 단계에서는 AI 면접원 발표가 여럿이다. Miravoice는 호주의 한 여론조사 회사와 함께 선거인명부에서 뽑은 15만여 명에게 AI 면접원으로 40만 통 넘게 전화를 걸었고, 쿼터 집단별 응답률과 완료율을 보고한다. D3는 멕시코에서 RDD 표본에 대화형 AI 에이전트로 전화조사를 했다. 동의 절차와 선별 질문을 자연스러운 스페인어로 처리했는데도 완료율이 낮았다. 대부분 도입부에서 끊었고, 도입부를 넘긴 사람은 끝까지 응답하는 편이었다. D3는 문제가 에이전트의 대화 능력보다 RDD와 자동 면접의 조합에 있다고 보고, 미리 모집했거나 동의를 받은 응답자에게는 쓸모가 크다고 결론 내린다. 한국에서는 ARS가 오래전부터 자동 면접 역할을 해 왔으니, 첫 몇 초에 대부분 끊긴다는 이야기는 한국 실무자에게 낯설지 않다. ORB는 대면조사(CAPI) 응답자를 AI가 진행하는 후속 심층인터뷰로 이어 파나마, 과테말라, 멕시코, 필리핀에서 661건을 받았다. 완료율이 높았고, 익명성과 편의성 때문에 사람 면접원보다 AI를 낫다고 한 응답자도 있었다고 한다.

개방형 응답 코딩은 발표가 가장 많이 몰린 분야다. 퓨리서치는 글로벌 태도 조사의 29개국, 30개가 넘는 언어로 된 응답 약 7만 5천 건을 GPT-5.1, Gemini 3 Flash, Claude Sonnet 4.6, DeepSeek-R1로 코딩해 사람의 코딩과 비교했다. 네 모델 모두 F1이 0.71 이상이었다. 원어 그대로 코딩할 때는 GPT-5.1이 가장 나았고, 영어로 번역한 뒤 코딩할 때와 일부 저자원 언어에서는 Gemini 3 Flash가 나았다. 관용 표현과 저자원 언어에서는 성능이 떨어져 사람의 검토가 계속 필요하다는 결론이다. 사우샘프턴대 Laone Maphane은 영국 국립사회연구센터(NatCen) 조사 응답 5,231건(96개 코드)으로 LLM 코딩을 총조사오차 틀에서 평가했다. LLM은 응답 하나에 사람보다 코드를 더 많이 붙이는 경향이 있었다. 재현율은 오르지만 일부 범주의 비율이 부풀 수 있다. 보고서 빈도표의 숫자가 달라지는 문제이므로 모델 정확도 지표만 보고 넘어가면 안 된다는 지적이다. 코스타리카대 Fernanda Alvarado-Leiton은 보안 때문에 외부 서비스를 쓰기 어려운 경우를 위해 무료 도구 Ollama로 모델을 로컬에서 돌리는 단계별 지침을 내놓는다. 비용 때문에 개방형 문항을 줄여 온 국내 조사에도 다시 생각해 볼 거리가 된다.

반대 방향의 문제도 있다. 응답자가 개방형 문항의 답을 LLM으로 쓰는 경우다. 하노버대 Jan Karem Höhne 팀은 Gemini Pro 1.5로 만든 독일어 개방형 응답 800건과 실제 인터넷 조사 응답 1,512건을 비교했다. 미세조정한 독일어 BERT 모델이 LLM 생성 응답을 97~100% 가려냈지만, 학습하지 않은 문항에서는 성능이 떨어졌다. Höhne는 26일 오후 워크숍에서 규칙 기반 봇과 LLM 기반 봇이 어떻게 작동하는지, 응답 시간과 키 입력 같은 패러데이터로 봇을 어떻게 잡는지를 실습으로 가르친다.

SPSS 신택스로 일하는 입장에서 눈길이 간 것은 26일 오전 워크숍이다. 유럽사회조사(ESS) 부국장 Diana Zavala-Rojas가 SPSS 사용자를 위해 SPSS 스크립트를 R로 옮기는 법, 빈도표·교차표·t검정·상관분석을 AI 프롬프트의 도움으로 익히는 법을 세 시간 동안 다룬다. 분석 도구를 바꾸는 데 드는 비용을 AI가 낮춰 준다는 점을 학회가 교육 과정으로 받아들인 셈이다.

이 발표들의 공통점은 'AI를 써 보니 편하다'는 보고보다 'AI가 어디서 틀리는가'를 재는 설계가 대부분이라는 점이다. 퓨리서치, 미시간대, 사우샘프턴대 모두 사람의 코딩이나 실제 응답을 기준값으로 두고 그 차이를 잰다. AI를 들여오려는 조사회사가 먼저 갖춰야 할 것도 이 기준값이다.

'synthetic'이라는 말의 두 가지 쓰임

28일 기조강연 제목은 "Public Opinion Research and the Rise of Synthetic Media"다. 강연자 Ayşe D. Lokmanoğlu는 보스턴대 신흥미디어학 조교수로 AI 생성 이미지, 시각 정치 커뮤니케이션, 허위정보와 양극화를 연구하며 2026년 카네기 펠로로 선정됐다. 초록에 따르면 강연은 AI 생성 이미지와 정체를 밝히지 않은 합성 인플루언서가 선거 담론에 끼어드는 현실에서 출발한다. 미국 성인 셋 중 한 명 가까이가 주로 동영상 플랫폼에서 뉴스를 접하는데 연구와 정책은 아직 텍스트 위주라는 문제를 제기하고, 텍스트와 사람이 쓴 글을 전제로 만든 여론연구 방법이 어떻게 바뀌어야 하는지를 묻는다. 좌장은 노스웨스턴대 Olga Kamenchuk이다.

이 강연에서 합성은 여론에 영향을 주는 콘텐츠를 가리킨다. 같은 대회의 다른 세션에서 합성은 응답자를 가리킨다. 27일 세션 31의 미시간대 Sunghee Lee 팀은 미국, 영국, 멕시코, 스페인, 독일 5개국에서 영어, 스페인어, 독일어, 한국어 4개 언어로 진행한 조사 세 개를 써서, 자가평가 건강 문항의 합성 응답이 실제 응답자의 답과 얼마나 맞는지 잰다. 입력 정보(인구 변수만, 건강 지표 추가, 개방형 응답까지 추가)와 출력 형식(숫자 1~5, 영어 라벨, 설문 언어 라벨)을 바꿔 가며 나라, 인종, 언어별 정확도 차이를 본다. 같은 팀의 Yajuan Si는 개방형 설명처럼 주요 입력이 빠졌을 때 합성 응답의 오류가 어떻게 생기는지를 결측 유형별로 분석한다.

두 연구 모두 실제 응답자 한 사람 한 사람의 답과 합성 응답을 맞춰 보는 방식으로 품질을 잰다. 전체 분포만 비슷하게 나오면 된다는 접근과는 거리가 있다. 나는 개인 단위 응답이 맞아야 전체 결과도 의미가 있다고 보는 쪽이라 이 설계가 맞다고 생각한다. 국내에서는 '신세틱 서베이'가 빠르게 상품 이름으로 쓰이고 있는데, 국제 학회는 정확도를 어떻게 잴지, 언어마다 얼마나 다른지를 따지는 단계에 있다.

캐나다의 Arundati Dandapani는 디아스포라 집단을 비교문화 조사에서 대표하는 방법으로 센서스 마이크로데이터와 합성 인구(synthetic population)를 다룬다. synthetic이라는 같은 단어가 한 대회 안에서 생성 콘텐츠, LLM 응답자, 센서스 기반 합성 인구를 모두 가리키는 셈이다. 신세틱 서베이를 설명하거나 보고서에 쓸 때는 어떤 의미로 쓰는지 먼저 밝혀 두는 편이 혼선을 줄인다.

온라인 표본을 얼마나 믿을 수 있나

웹조사 실무자에게 가장 직접적인 세션은 29일 오후 세션 85다. Langer Research Associates의 Gary Langer는 발표 제목부터 "Opt-in Online Panels: Buyer Beware"다. 초록은 예산 때문에 흔히 쓰는 옵트인 온라인 표본이 추론을 뒷받침하지 못한다는 입장에서 출발한다. 자료 출처, 시점, 기준값에 따라 결과가 들쭉날쭉하다는 기존 연구에 새로운 우려 두 가지를 더한다. 하나는 미국 연방 검찰이 옵트인 패널 업체를 자료 조작 혐의로 기소한 사건이고, 다른 하나는 AI 에이전트가 온라인 패널에 섞여 들어간다는 연구다. 패널 응답자가 실제 사람인지, 주의를 기울여 답하는지 업체에 묻고 확인받기가 어렵다는 점도 다룬다.

같은 문제를 기준으로 풀려는 시도도 있다. 국제사회조사프로그램(ISSP)은 확률 기반 온라인 패널을 쓸 때의 지침을 만들어 지난 2년 동안 적용해 왔다. NORC의 Tom W. Smith가 소개하는 지침은 표집, 가중, 누적 응답률, 대표성, 모집 접촉 모드, 조사 모드, 목표 모집단, 패널 유지, 개인 단위 인구변수 수집, 품질 지표의 10개 항목으로 되어 있고, AI가 만든 비인간 응답자 같은 새 위협에 대한 지침도 준비하고 있다고 한다.

표집 대안을 비교한 발표도 있다. Marketing Systems Group의 Mansour Fahimi는 주소 기반 표집(ABS)이나 RDD에 인구 기준에 맞춘 소셜미디어 광고 모집을 더한 방식 두 가지와, 기존 옵트인 패널을 바탕으로 한 혼합 방식을 같은 설문으로 나란히 돌렸다. 방식마다 장점이 달랐는데, ABS와 구조화된 디지털 광고를 섞은 방식이 비용을 낮추면서 주요 집단을 잘 덮었고, 옵트인 패널의 접촉 대상이 부족한 작은 지역에서 특히 쓸모 있어 보인다는 예비 결과다. 독일 연구진은 우크라이나 난민을 대상으로 행정 등록부에서 뽑은 확률표본 조사와 페이스북·인스타그램 광고로 모은 비확률표본 조사를 비교했다(분석 표본 1만 6천 건 가까이). 평균 차이는 대체로 작았지만 성별, 연령, 거주 지역에서 체계적인 차이가 나타났다.

웹조사 응답 품질을 다룬 GESIS 발표도 두 편 있다. 하나는 정치지식 문항에서 응답자가 인터넷으로 답을 찾아보는 행동을 자기보고, 창 전환과 응답 시간 같은 패러데이터, 함정 문항, 웹 추적 자료로 각각 탐지해 서로 비교한다. 다른 하나는 GESIS 패널 62개 차수 자료로, 42차에 레이아웃을 데스크톱 우선에서 모바일 우선으로 바꾼 뒤 스마트폰 응답이 크게 늘었다는 예비 결과를 보고한다. 레이아웃 설계가 응답 기기 선택에 영향을 준다는 뜻이다. 워털루대 포스터는 응답이 짧은 시간에 몰리는 현상이나 지나치게 매끈한 개방형 답 같은 신호로 봇을 찾고, 어떤 부정응답을 의심했고 어떻게 처리했는지 투명하게 보고하라고 권한다.

한국의 웹조사도 상당 부분 옵트인 패널에 기대고 있고, 최근에는 앱 포인트를 주는 플랫폼 설문까지 늘었다. Langer의 경고는 한국에도 그대로 해당한다. 통신사 가입자 DB에서 표본을 뽑아 문자로 웹설문 링크를 보내는 방식은 마케팅 수신에 동의한 가입자 명부라는 제약이 있지만, 응답자가 스스로 패널에 가입한 구조가 아니라는 점에서 옵트인 패널과 다르다. 확률표본과 옵트인 표본이라는 이분법으로는 설명하기 어려운 한국식 방식이다. ISSP의 10개 항목을 이 방식에 대 보면 어디가 비어 있는지 보인다. 누적 응답률이 한 예다. 나는 문자 발송 웹조사의 응답률은 발송 인원 대비 끝까지 응답한 인원으로 잡는 것이 맞다고 보는데, 이런 정의부터 업계가 맞춰야 국제 기준과 비교할 수 있다.

정치 편향 보정과 문항 효과

27일 오전 세션 42의 퓨리서치 발표는 한국과 직접 관련이 있다. 퓨는 2026년 글로벌 태도 조사에서 캐나다, 독일, 인도네시아, 네덜란드, 한국 5개국에 과거 투표(recalled vote) 문항을 넣고, 이 문항이 정치 편향을 얼마나 잘 잡아내는지, 가중에 투표 선택을 넣었을 때 태도 추정치와 분산 팽창이 어떻게 달라지는지를 본다. 초록은 이 방식에 대한 비판도 함께 정리한다. 원래 표본의 결함을 가릴 수 있고, 정치 상황 변화에 민감하며, 응답자가 자기 투표를 정확히 기억해야 하고, 결과가 크게 바뀌지 않을 수도 있다는 점이다. 한국에서도 과거 투표 가중을 둘러싼 논쟁이 있고, 당선자 쪽으로 기억이 쏠리는 과대 회상 문제가 늘 따라붙는다. 같은 설계로 한국을 포함한 5개국을 비교한 결과는 국내 논의에 좋은 참고가 된다. 2024년 박승환 교수와 함께 쓴 WAPOR 발표 페이퍼도 웹 패널의 정치 편향을 다뤘다. 그때는 사후 가중 대신 벤치마킹 가중치를 크기 변수로 삼은 PPS로 표집 단계에서 편향을 줄이는 방법을 택했다.

문항 효과를 다룬 발표 가운데에서는 대만 중앙연구원(Academia Sinica) 팀의 참전 의향 연구가 눈에 띈다. 1990년대 중반부터 2026년까지 나온 국제·학술·정책 조사를 모아, 문항의 추상성, 갈등 책임의 귀속, 비용의 부각, 참여 형태, 조사 모드에 따라 참전 의향이 어떻게 달라지는지 분석했다. 추상적인 문항일수록 지지가 높았고, 직접 전투나 큰 비용을 언급하면 낮아졌다. 외부 침략으로 묘사하느냐 스스로 촉발한 갈등으로 묘사하느냐에 따라서도 달랐고, 같은 문구라도 모드에 따라 결과가 달랐다. 저자들은 이 문항들을 "관련은 있지만 동등하지 않은 측정"이라고 부른다. 통일이나 안보 문항이 조사마다 다른 숫자를 내는 한국 상황과 겹치는 이야기다.

Ipsos의 Clifford Young은 문항 프레임 불균형을 실험한다. 문항 하나하나를 중립적으로 썼더라도 문항 묶음이 한쪽 프레임으로 기울면 응답에 영향을 준다는 가설이다. 이민 문항을 이익만 보여 주는 묶음과 비용만 보여 주는 묶음으로 짜는 경우가 그 예다. 좌편향 묶음, 우편향 묶음, 혼합 묶음, 완전 중립 묶음의 네 조건으로 전국 2,000명 실험을 했다. 정책 쟁점 조사에서 문항 세트를 짤 때마다 부딪히는 문제인데, 이를 실험으로 검증한 사례는 드물다.

모드와 정확도를 다룬 발표로는 태국 수안두싯대의 2026년 총선 연구가 있다. 혼합모드 조사 4차와 대규모 현장조사(26,621명)를 공식 결과와 비교했더니 정당명부 투표는 혼합모드가, 지역구 투표는 현장조사가 더 정확했다. 현장조사는 미결정 응답을 줄였지만 사회적 바람직성 편향을 키웠다. 혼합모드 자료에 70%의 비중을 준 결합 추정이 현장조사 단독보다 오차가 작았다. 일본 아사히신문의 Yasuyuki Saito는 2001년부터 내각 지지율을 묻는 전국 RDD 전화조사의 응답률 추이를 보고한다. 면접원이 직접 다이얼하고, 2016년부터 유선과 휴대전화 이원 프레임을 쓰며, 2018년까지 RR3가 30%에 조금 못 미쳐 미국 언론사 조사보다 약 20%포인트 높았다고 한다. 이번 발표는 그 뒤의 자료를 더한다.

조사를 둘러싼 제도와 돈

27일 11시 전체 라운드테이블의 제목은 "Polling Under Pressure"다. 콜롬비아, 볼리비아, 홍콩, 미국 사례로 선거 여론조사 규제, 공표 금지 기간, 등록·허가 요건, 정치적 압력, 응답자와 연구자의 안전을 다룬다. 좌장은 미시간대 Sunghee Lee와 하버드대 Chase Harrison이고, 홍콩민의연구소의 Robert Chung, AAPOR 회장 Mary Losch 등이 패널로 나온다. 한국은 선거일 전 6일부터 선거 여론조사 결과의 공표를 금지하고, 선거여론조사기관 등록제를 운영한다. 선거의 공정성을 이유로 한 규제가 투명성과 조사 품질, 시민의 정보 접근에 어떤 영향을 주는지는 한국에서도 계속 나오는 질문이다.

29일 준전체회의에서는 ESOMAR와 WAPOR가 함께 낸 여론조사 지침 개정판을 소개한다. 세션 설명에 따르면 공동 지침은 10년 동안 개정되지 않았다. 개정판은 연구자가 여론조사를 전문적이고 윤리적으로 수행할 책임을 정리하고, 출구조사와 온라인 조사 같은 유형별 지침을 담았다. 대중이 조사의 품질을 판단할 수 있도록 공개해야 할 항목도 다룬다. Kathleen Frankovic, Tom W. Smith, Sunghee Lee, Patrick Moynihan이 나온다.

28일 오전 라운드테이블은 미국 국제개발처(USAID) 지원이 끊긴 뒤의 현지 조사 역량을 다룬다. USAID는 인구보건조사(DHS) 같은 조사 체계를 지원하면서 글로벌 사우스의 현지 조사회사와 연구자를 길러 왔다. 계약이 사라지면서 현지 회사의 자료 처리, 품질 관리, 현장 인력이 흔들리고, 큰 사업에서 표집·설문 설계·윤리·분석을 배우던 신입 연구자의 교육 기회도 사라진다는 문제를 제기한다. 정부 계약이나 민관 협력으로 자립하는 방안도 논의한다. 대형 조사 사업이 신입 연구원이 일을 배우는 현장이라는 점은 한국 업계에도 해당한다.

한국 소속 발표 2편은 모두 이 주제와 닿아 있다. 성균관대 김지범 교수 팀은 한국종합사회조사(KGSS)에 넣은 분할 표본 실험 두 개를 보고한다. 2023년에는 표본을 '무작위로 뽑았다'고 설명하는지에 따라, 2025년에는 표본 크기를 1,000명이라고 하는지 1만 명이라고 하는지에 따라 사람들이 느끼는 대표성이 달라지는지 봤는데, 둘 다 통계적으로 유의한 차이가 없었다. 여론조사가 정확하다는 믿음은 조사기관에 대한 신뢰, 언론 보도에 대한 신뢰, 투표할 때 여론조사를 참고하는지와 관련이 있었다. 저자들은 대중이 방법론적 세부 사항을 별로 중요하게 여기지 않으며 여론조사 신뢰는 방법론만의 문제가 아니라고 정리한다. 중앙선거여론조사심의위원회 홈페이지에 표본 크기와 응답률을 공개하는 제도가 있지만, 이 결과대로라면 공개 항목만으로 신뢰가 생기지는 않는다.

연세대 Kihong Moon과 김지범 교수는 2025년 KGSS에서 부정선거가 있었는지 잘 모르겠다고 답한 사람이 약 절반에 이른 점에 주목한다. 비슷한 전화조사에서 '모름'이 10% 안팎인 것과 큰 차이다. 잠재프로파일 분석으로 '모름' 응답자를 나누니 선관위 신뢰형(37.2%), 제도 불신형(31.9%), 제도 신뢰형(31.0%)이 나왔고, 정치 관여도는 집단 사이에 차이가 없었다. 텔레비전에 대한 신뢰와 텔레비전을 주 뉴스원으로 쓰는지가 제도 신뢰 유형과 관련이 있었다. '모름'을 정치 무관심으로 한데 묶어 처리하는 관행에 대한 반론이고, 면접조사와 전화조사의 '모름' 비율 차이도 모드 효과 문제로 따로 볼 만하다.

한국과 아시아는 어디에 있나

한국 소속 제1저자 발표 2편은 모두 KGSS 자료를 쓴 대학 연구다. 한국 조사회사의 발표는 프로그램에서 찾을 수 없었다. 대신 한국은 다른 나라 연구의 자료로 등장한다. 퓨리서치의 과거 투표 5개국 비교에 한국이 들어 있고, 미시간대의 합성 자료 정확도 연구와 AI 번역 연구는 한국어를 분석 언어에 넣었다. 미시간대 Sunghee Lee는 전체 라운드테이블과 AI 설문 설계 세션의 좌장, ESOMAR/WAPOR 지침 세션 발표자, 논문 네 편의 공저자로 이번 대회에서 가장 많은 역할을 맡은 사람 가운데 하나다.

아시아에서는 일본 발표가 4편이다. 통계수리연구소(ISM)의 '일본인의 국민성 조사'는 1953년부터 5년마다 같은 표집 절차, 같은 대면면접, 거의 바뀌지 않은 설문으로 이어 온 조사이고, 이번 포스터는 2025년 겨울에 실시한 15차 조사 결과를 소개한다. 코로나19 이후 처음 실시한 전국 조사라 일본 사회조사가 지금 어떤 조건에 놓여 있는지 확인할 기회라고 한다. 아사히신문의 응답률 연구, 교토대의 소셜미디어와 포퓰리즘 연구, 센슈대의 웰빙과 사회자본 연구도 있다. 대만, 인도, 말레이시아, 태국, 필리핀에서 1편씩 왔다.

한국에는 국제 학회에 가져갈 만한 실무 경험이 적지 않다. 선거 여론조사에 쓰는 휴대전화 가상번호, 통신사 가입자 DB에서 뽑아 문자로 보내는 웹조사, 정치조사에서 큰 비중을 차지하는 ARS, 공표와 등록을 둘러싼 규제가 그렇다. 다른 나라에서 보기 어려운 조건이고, 자동 면접과 조사 규제를 다룬 이번 세션들과 바로 연결되는 주제다.

대회가 끝나면 찾아볼 자료

대회가 끝나면 찾아보고 싶은 자료가 몇 가지 있다. 미시간대 합성 자료 연구의 한국어 결과, 퓨리서치 과거 투표 문항 5개국 비교의 한국 결과, ESOMAR/WAPOR 개정 지침 원문, ISSP가 준비하고 있다는 AI 응답자 대응 지침이다.

자료: WAPOR 79th Annual Conference Program(https://access.wapor.org/program-WAPOR2026.php, 2026년 10월 10일 확인), 각 발표 초록 페이지, WAPOR 회원 안내 메일 "Announcing WAPOR 2026 Keynote Lecture". 발표 수와 소속 국가는 프로그램에 적힌 제1저자 소속 국가를 기준으로 직접 셌다.

제79차 세계여론조사학회 연차대회(2026년 10월 26~29일) 프로그램 정리와 몇 가지 생각

  WAPOR 2026 멕시코시티 대회 , 프로그램 전체를 읽고 제 79 차 세계여론조사학회 연차대회 (2026 년 10 월 26~29 일 ) 프로그램 정리와 몇 가지 생각 세계여론조사학회 (WAPOR) 제 79 차 연차대회가 10...