메소드서베이

글

신세틱 서베이와 AI: 22개 질문과 대답

4월 11, 2026

Q254. 신세틱 서베이란 무엇인가? 실제 사람을 조사하는 대신 AI가 특정 인구통계적 특성을 가진 가상의 응답자를 시뮬레이션해 응답을 생성하는 방법이다. LLM에게 "50대 보수 성향 남성이라면 이 질문에 어떻게 응답할 것인가"를 묻는 방식이다. 비용과 시간을 획기적으로 줄일 수 있다는 장점이 있다. 하지만 실제 사람의 응답이 아니라 언어모델이 학습한 패턴의 재현이라는 점에서 서베이의 본질적 전제를 흔든다. 가능성과 한계가 동시에 극단적인 방법이다. Q255. 신세틱 응답자는 실제 응답자를 대체할 수 있는가? 현재로서는 대체할 수 없다. 신세틱 응답자는 LLM 훈련 데이터에 포착된 집단의 평균적 표현을 재현할 뿐, 실제 개인의 복잡한 태도와 경험을 담지 못한다. 특히 한국 사회의 특수한 맥락, 최근 사건, 훈련 데이터에 충분히 반영되지 않은 집단의 의견은 재현 자체가 불가능하다. 탐색적 사전 검토, 설문지 파일럿, 가설 생성에는 유용할 수 있다. 그러나 실제 여론을 측정하는 목적으로는 아직 대체 수단이 되지 못한다. Q256. LLM 기반 신세틱 서베이의 근본적 한계는? LLM은 과거 텍스트를 학습한 모델이다. 실제 태도가 아니라 태도에 대한 기술(description)을 학습했다. "40대 진보 성향 여성은 이렇게 생각한다"는 텍스트 패턴을 재현하는 것이지, 실제 40대 진보 성향 여성의 내면을 시뮬레이션하는 것이 아니다. 더 근본적으로는 훈련 데이터에 없는 태도, 훈련 이후 변화한 여론, 침묵하는 다수의 의견은 원천적으로 재현할 수 없다. 신세틱 서베이는 훈련 데이터의 거울이다. Q257. 신세틱 서베이는 어떤 조건에서 유용한가? 실제 조사가 불가능하거나 윤리적으로 제한적인 상황에서 탐색적 목적으로 쓸 때 가치가 있다. 설문지 초안의 문항 반응 예측, 극단적 시나리오에 대한 가설 생성, 파일럿 조사 대체, 다언어 번역 검토 등이다. 또한 실제 조사 데이터와 비교 검증 목적으로 쓸 때 방법론적 의미가 있다. ...

자세한 내용 보기

윤리와 사회적 책임: 23개 질문과 대답

4월 11, 2026

Q231. 서베이 윤리의 핵심 원칙은 무엇인가? 크게 세 가지다. 첫째, 응답자 보호. 익명성 보장, 자발적 참여, 개인정보 보호가 포함된다. 둘째, 방법론적 정직. 설계, 분석, 보고 전 과정에서 의도적 왜곡이 없어야 한다. 셋째, 공중에 대한 책임. 서베이 결과는 여론을 형성하고 정책에 영향을 미친다. 응답자와의 계약, 의뢰인과의 계약, 공중과의 계약이 동시에 존재하며, 이 세 계약이 충돌할 때 어떤 원칙을 우선하는가가 서베이어의 윤리적 정체성을 결정한다. Q232. 응답자 익명성은 어떻게 보장해야 하는가? 개인 식별 정보와 응답 데이터를 분리 저장하는 것이 기본이다. 조사 번호로만 연결하고, 분석 단계에서는 개인 식별 정보에 접근할 수 없도록 해야 한다. 소규모 집단 조사에서는 인구통계 조합만으로도 개인이 특정될 수 있으므로 교차 집계 결과 공개 시 세밀한 분류를 피해야 한다. 익명성 보장은 법적 의무이기 전에 응답자와의 신뢰 계약이다. 이것이 깨지면 응답자가 솔직하게 응답할 이유가 사라진다. Q233. 조사 결과를 공개하지 않을 권리가 의뢰인에게 있는가? 계약상 권리는 있을 수 있지만 윤리적으로는 논쟁의 여지가 있다. 의뢰인이 비용을 냈으므로 결과 공개 여부를 결정할 권리가 있다는 주장이 있다. 반대로 공공 이슈에 관한 조사 결과를 선택적으로 은폐하는 것은 정보 왜곡이라는 주장도 있다. 특히 선거 관련 조사는 공직선거법상 공표 의무가 있다. 학술 조사에서는 데이터 공개와 재현 가능성이 점점 강화되는 규범이 되고 있다. 결과를 숨길 권리와 공개할 의무 사이의 긴장은 쉽게 해소되지 않는다. Q234. 부분 공개는 윤리적으로 허용되는가? 결과에 따라 다르다. 자신에게 유리한 결과만 발표하고 불리한 결과는 숨기는 것은 여론 조작에 가깝다. 선거 여론조사에서 특정 후보 지지율만 발표하고 다른 후보 수치는 공개하지 않는다면, 공개된 정보가 사실이더라도 그 행위는 기만적이다. 부분 공개가 허용되려면 공개하지 않은 부분이 있다는 사실 자체를 밝혀야 한다....

자세한 내용 보기

분석과 해석: 24개 질문과 대답

4월 11, 2026

Q207. 기술통계와 추론통계를 혼동하면 어떤 문제가 생기는가? 기술통계는 수집된 데이터 자체를 요약하고, 추론통계는 표본에서 모집단을 추정한다. 혼동하면 표본의 특성을 모집단의 사실인 양 단정하거나, 반대로 추론이 필요한 상황에서 기술통계만으로 결론을 내린다. 가장 흔한 오류는 표본 내 차이를 통계적 검정 없이 모집단 차이로 서술하는 것이다. "20대의 47%가 찬성했다"는 기술이고, "20대는 찬성하는 경향이 있다"는 추론이다. 이 두 문장이 다르다는 것을 모르면 분석 전체가 흔들린다. Q208. 교차분석에서 무엇을 봐야 하는가? 단순히 셀 비율만 볼 것이 아니라 세 가지를 함께 봐야 한다. 첫째, 집단 간 차이의 방향과 크기. 둘째, 그 차이가 통계적으로 유의한지. 셋째, 셀 빈도가 검정에 충분한지다. 카이제곱 유의확률만 보고 끝내는 분석은 반쪽짜리다. 차이가 어느 셀에서 왔는지, 표준화 잔차가 큰 셀이 어디인지 확인해야 한다. 또한 행 퍼센트로 볼지 열 퍼센트로 볼지를 분석 목적에 맞게 선택해야 한다. 방향을 바꾸면 다른 이야기가 나온다. Q209. 통계적으로 유의하지 않은 차이를 보고해야 하는가? 보고해야 한다. 유의하지 않다는 것은 차이가 없다는 것이 아니라, 주어진 표본 크기에서 차이가 있다고 확신하기 어렵다는 것이다. 유의하지 않은 결과를 숨기면 출판 편향과 같은 구조적 왜곡이 생긴다. 특히 탐색적 조사에서는 유의하지 않은 결과도 향후 설계에 중요한 정보다. 단, 유의하지 않은 차이를 서술할 때는 "차이가 없다"가 아니라 "차이가 확인되지 않았다"고 표현해야 정확하다. Q210. 소수점 몇 자리까지 보고해야 하는가? 측정의 정밀도를 넘어서는 소수점은 의미가 없다. 응답자 1,000명 기준 퍼센트는 0.1%p 단위가 의미 있는 최소 단위다. 소수점 둘째 자리(0.01%p)는 표집오차(±3.1%p)에 비해 무의미하게 정밀하다. 그럼에도 보고서에 42.37% 같은 숫자...

자세한 내용 보기

가중치: 24개 질문과 대답

4월 11, 2026

Q183. 가중치는 왜 필요한가? 표본이 모집단을 완벽하게 반영하지 못하기 때문이다. 조사 결과를 모집단 전체에 대한 추정값으로 쓰려면, 과대 대표된 집단은 낮추고 과소 대표된 집단은 높여야 한다. 가중치는 표본과 모집단 사이의 불일치를 교정하는 수치적 장치다. 가중치 없이 발표하는 것은 왜곡된 표본 구조를 그대로 결과로 내놓는 것이다. Q184. 가중치를 안 하면 어떤 일이 생기는가? 표본 구성 편향이 그대로 결과에 반영된다. 온라인 패널에서 20~30대가 과다 응답했다면 미가중 결과는 젊은 층의 의견을 과대 대표한다. 선거 여론조사에서 가중치를 안 하면 특정 연령대나 지역의 지지율이 실제와 크게 달라진다. 가중치는 선택이 아니라 추정의 기본 절차다. 특별한 이유 없이 가중치를 생략하는 것은 방법론적 태만이다. Q185. 모집단 구조를 모르면 가중치를 할 수 없는가? 완전히 모른다면 불가능하다. 가중치는 표본 구조를 모집단 구조에 맞추는 작업이므로, 기준이 되는 모집단 정보가 있어야 한다. 실무에서는 인구총조사, 주민등록 통계, 통계청 인구 추계를 기준으로 쓴다. 모집단 정보가 없는 변수는 가중변수로 쓸 수 없다. 가중치의 품질은 기준 모집단 정보의 정확성에 직접적으로 의존한다. Q186. 인구통계 가중치만으로 충분한가? 대부분의 경우 충분하지 않다. 성별·연령·지역을 맞춰도 응답자와 비응답자 사이의 태도·행동 차이가 인구통계로 설명되지 않는다면 편향은 남는다. 특히 정치 성향이나 이념 같은 변수는 인구통계와 독립적으로 응답 참여 여부에 영향을 미친다. 이상적으로는 측정 목적과 관련된 변수를 가중변수에 포함해야 하지만, 모집단 기준값을 구하기 어렵다는 현실적 제약이 있다. Q187. 가중변수는 어떻게 선택해야 하는가? 두 가지 조건을 동시에 충족해야 한다. 첫째, 표본과 모집단 간 분포 차이가 있어야 한다. 분포가 이미 일치하면 가중치가 필요 없다. 둘째, 그 변수가 주요 결과 변수와 관련이 있어야 한다. 관련 없는 변수로 가중치를 걸면 추정...

자세한 내용 보기

모드와 조사 방식: 25개 질문과 대답

4월 11, 2026

Q158. 조사 모드는 왜 중요한가? 모드는 단순한 전달 방식이 아니라 측정 환경 자체다. 같은 질문도 전화로 물으면 면접조사와 다른 응답이 나오고, 온라인으로 물으면 또 달라진다. 조사원의 존재, 익명성 수준, 응답 속도, 시각적 정보 제공 여부가 모두 모드에 따라 달라진다. 모드는 커버리지 오차, 측정 오차, 무응답 오차에 동시에 영향을 미친다. TSE 관점에서 모드 선택은 설계의 핵심 결정이다. Q159. 전화조사와 온라인조사 결과는 왜 다를 수 있는가? 여러 메커니즘이 동시에 작동한다. 커버리지가 다르고(전화는 온라인 비이용자 포함, 온라인은 패널 가입자 한정), 사회적 바람직성 편향의 강도가 다르며(조사원 있는 전화조사에서 더 강함), 응답 속도도 다르다. 정치 성향, 이념, 민감한 사회 이슈에서 모드별 차이가 특히 크다. 두 조사 결과가 다를 때 어느 것이 더 정확한지는 단정할 수 없다. Q160. 면접조사는 왜 비싼가? 조사원 훈련, 이동, 면접 시간, 현장 관리 비용이 모두 포함되기 때문이다. 응답자 한 명을 만나기 위해 조사원이 이동하고, 거부당하고, 다시 방문하는 과정이 필요하다. 온라인 조사와 비교하면 응답자 1인당 비용이 수십 배 차이가 난다. 그러나 면접조사는 복잡한 문항 처리, 시각 보조 자료 활용, 응답 품질 통제가 가능하다는 장점이 있다. 비용은 품질에 대한 투자다. Q161. 전화조사에서 유선과 무선의 비중은 어떻게 정해야 하는가? 모집단 구조를 반영해야 한다. 유선전화 가구 비율이 계속 줄고 있으므로, 무선 비중을 높이는 것이 커버리지 확보에 유리하다. 현재 한국 여론조사에서 무선 70~80%가 일반적이다. 그러나 유선만 사용하는 고령층이 있어 유선을 완전히 배제하면 이들이 누락된다. 유무선 비중 결정은 단순한 비용 계산이 아니라 커버리지 전략이다. Q162. ARS 조사는 여론조사로 인정받을 수 있는가? 방법론적으로 한계가 명확하다. ARS는 자동 응답 시스템으로 조사원 없이 진행되며, 응답률이 매우 낮고 자발...

자세한 내용 보기

척도 설계: 30개 질문과 대답

4월 11, 2026

Q128. 척도와 문항은 어떻게 다른가? 문항은 하나의 질문이고, 척도는 하나의 개념을 측정하기 위해 설계된 문항들의 체계다. 단일 문항으로 측정하는 경우도 있지만, 복잡한 개념(이념 성향, 삶의 만족도, 번아웃)은 여러 문항을 묶어 척도로 측정해야 신뢰도와 타당도가 확보된다. 문항은 척도의 구성 요소이고, 척도는 측정의 도구다. 이 구분을 모르면 단일 문항으로 측정한 결과를 척도인 양 보고하는 오류를 범한다. Q129. 리커트 척도의 정확한 정의는? 1932년 렌시스 리커트가 개발한 방법으로, 동일한 개념을 측정하는 여러 문항에 대해 동의 정도를 응답하고 그 합산 점수로 태도를 측정하는 방식이다. 핵심은 개별 문항이 아니라 문항들의 합산이 측정값이 된다는 것이다. 그러므로 5점 척도 단일 문항 하나를 리커트 척도라고 부르는 것은 엄밀히 틀렸다. 그것은 리커트형 응답 형식일 뿐이다. Q130. 리커트 척도와 리커트형 척도는 어떻게 다른가? 리커트 척도는 복수 문항의 합산으로 하나의 개념을 측정하는 척도 구성 방식이다. 리커트형 척도는 '매우 동의'에서 '전혀 동의 안 함'까지 동의 정도를 묻는 응답 형식 자체를 말한다. 전자는 측정 설계의 개념이고, 후자는 응답 포맷이다. 실무에서는 두 용어를 혼용하지만, 연구 맥락에서는 구분이 필요하다. 5점 리커트형 문항 하나가 리커트 척도가 되려면 유사한 문항들과 묶여야 한다. Q131. 5점 척도와 7점 척도 중 어느 것이 더 좋은가? 정답은 없다. 7점이 더 세밀한 변별을 가능하게 하지만, 응답자가 7개 범주를 실제로 구분할 수 있는지가 전제다. 연구에 따르면 인간이 안정적으로 구분할 수 있는 범주는 5~7개 수준이다. 조사 목적이 집단 간 차이를 세밀하게 보는 것이라면 7점, 빠른 응답이 중요하고 응답자 부담을 줄여야 한다면 5점이 낫다. 맥락 없는 선택은 의미 없다. Q132. 척도점 수가 많을수록 좋은가? 아니다. 10점이나 100점 척도는 심리적으로 세밀해 보이지만,...

자세한 내용 보기