설문조사 연구에서의 책임 있는 AI 통합

 

설문조사 연구에서의 책임 있는 AI 통합

Responsible AI Integration in Survey Research

미국여론조사협회(AAPOR) 태스크포스 보고서 (2026) · 한국어 요약본

보고서 개요

이 글은 미국여론조사협회(AAPOR)가 2026년 5월에 펴낸 「설문조사 연구에서의 책임 있는 AI 통합」을 간추린 것이다. 원 보고서는 David Rothschild(Microsoft Research)와 Jenny Marlar(Gallup)가 공동 의장을 맡은 태스크포스가 작성했다. 인공지능, 그중에서도 대규모 언어모델(LLM)이 질문을 만들고 데이터를 모으고 분석하고 결과를 전하는 모든 단계에 빠르게 들어오면서, 기존 품질 기준만으로는 답하기 어려운 방법론·윤리·거버넌스 문제가 함께 생겼다. 보고서는 이 변화를 정리하는 틀을 제시하고, 총조사오차(TSE)와 인간 피험자 보호라는 두 잣대로 AI의 효용과 위험을 가늠한다. 그리고 설문에서 AI를 어떻게 썼는지 밝히는 실용적인 공개 프레임워크를 내놓는다.

독자는 일반 대중이 아니라 설문을 설계하고 수행하고 해석하는 사람들이다. 보고서는 가능한 모든 청중을 한꺼번에 다루려다 명료함을 잃기보다, 설문 데이터를 직접 다루는 사람들의 필요와 제약에 집중한다.

보고서는 AI를 쓸지 말지를 묻지 않는다. 이미 들어와 있는 AI를 어디에, 어떻게, 얼마나 사람의 감독 아래 두고 쓸지를 묻는다. 그래서 한 번에 처음부터 끝까지 읽기보다, 자기 일과 가장 가까운 부분을 골라 읽도록 짜였다. 이 요약도 대체로 그 차례를 따른다.

AI에 대한 이해

AI는 보통 사람의 지능이 필요한 일을 해내도록 만든 계산 시스템을 두루 가리킨다. 그 가운데 머신러닝은 규칙을 일일이 정해 주는 대신 데이터에서 규칙을 배우는 방식이고, 생성형 AI는 배운 통계를 바탕으로 글이나 이미지, 음성 같은 새로운 내용을 만들어 낸다. 설문조사에서 자주 쓰는 대규모 언어모델(LLM)은 앞선 글자들을 보고 다음에 올 글자를 예측하도록 방대한 글로 학습한 모델이다. 목표는 단순하지만 규모가 커지면서 요약, 다시 쓰기, 분류, 초안 작성 같은 일을 제법 해낸다.

AI가 잘하는 일은 분명하다. 크고 복잡한 데이터에서 패턴을 찾고, 반복적이고 시간이 많이 드는 처리를 빠르게 하며, 요약과 번역, 범주화 같은 언어 작업을 잘 다룬다. 설문조사에서는 설문지 초안과 다듬기, 주관식 응답 코딩, 선행 연구 정리, 질적 자료의 주제 찾기, 탐색적 분석이 여기에 든다. 반대로 약한 곳도 또렷하다. 같은 프롬프트에 다른 답을 내놓아 재현을 어렵게 하고, 그럴듯하지만 틀린 내용을 자신 있게 말하며, 왜 그런 답이 나왔는지 설명하기 어렵다. 학습 데이터에 잘 담기지 않은 드문 일이나 빠르게 변하는 현상에는 특히 약하다.

보고서는 부록에서 설문조사 너머의 약속과 위험도 정리한다. 잘 쓰면 AI의 쓸모는 넓다. 기후나 보건처럼 규모가 큰 문제의 방대한 데이터를 통합해 예측과 최적화를 돕고, 번역과 개인 맞춤으로 정보 접근의 문턱을 낮춘다. 교육과 진료를 개인에 맞추고, 일상적이고 반복적인 일을 덜어 생산성을 높이기도 한다. 이런 쓸모는 왜 여러 분야가 AI에 빠르게 투자하는지를 설명한다.

그러나 같은 기술이 위험도 함께 키운다. 학습 데이터에 담긴 편향을 되풀이해 특정 집단에 불리한 결과를 내고, 설득력 있는 거짓 정보를 값싸고 빠르게 퍼뜨린다. 일자리를 흔들고, 모델 학습과 운영에 드는 에너지와 물로 환경에 부담을 주며, 사람들이 AI에 지나치게 기대면서 스스로 판단하고 검증하는 힘이 약해진다는 걱정도 있다. 이런 위험은 설문조사만의 문제가 아니지만, 책임 있는 AI 사용을 따질 때 늘 배경에 깔리는 조건이다.

네 가지 전제

보고서는 네 가지 전제 위에 서 있다. 먼저 AI는 설문조사를 위해 따로 만든 도구가 아니라 범용 기술이다. 그래서 위험과 효용은 AI를 쓰느냐 마느냐가 아니라, 설문 생애주기의 어디에 어느 정도의 감독을 두고 배치하느냐에 더 크게 달려 있다. 다음으로 지금 기술 수준에서 AI는 사람을 대체하기보다 일을 거드는 쪽에 가깝다. 발상을 빠르게 돕고 질문 방식을 다듬고 분석을 지원하지만, 연구자의 판단을 대신하지는 않는다. 가장 큰 변화는 아직 앞에 놓여 있다고 보는 편이 옳다.

또한 이 보고서는 논의의 끝이 아니라 출발점이다. 무엇이 위험이고 무엇을 밝혀야 하는지는 기술이 자리를 잡으며 바뀔 수밖에 없으므로, 지금의 관행을 읽고 표준이 어떻게 적응해야 할지를 내다보는 틀로 받아들이는 것이 맞다. 끝으로 총조사오차와 검증, 평가자 간 신뢰도, 공개 같은 전통적인 품질 원칙은 여전히 유효하다. 다만 비결정적이고 속을 들여다보기 어려우며 예고 없이 갱신되는 모델을 감안해 손질해야 한다.

설문조사에서 AI가 맡는 역할

보고서는 설계, 수집, 분석, 보고라는 익숙한 순서를 따르지 않는다. 대신 AI가 맡는 일을 위험이 큰 것부터 작은 것 순으로 다섯 가지 역할로 나눈다. 이렇게 늘어놓으면 어디에 더 많은 연구와 더 높은 투명성, 더 강한 감독이 필요한지가 또렷해진다. 같은 역할 안에서도 위험은 일의 범위, AI에 맡긴 자율성의 크기, 사람이 실제로 검토할 수 있는 정도에 따라 크게 달라진다.

표 1. AI의 역할별 위험과 현재 보급도

역할	위험	현재 보급도
데이터 수집자	높음	중간
분석가	높음	높음
브리핑 담당	관리 가능	중간
동료	관리 가능	높음
전 과정 자동화	매우 높음	낮음

데이터를 모으는 자리에서 AI는 대화형 면접원으로 설문을 진행하거나 사람 대신 답하는 합성 응답자로 쓰인다. 대화형 면접은 어떤 경우 참여도와 응답자의 이해를 높이지만, 표준화를 어렵게 만들고 중립성과 동의, 측정오차를 둘러싼 새로운 우려를 부른다. 합성 응답은 사전검사나 파일럿, 탐색적 진단처럼 분명히 표시한 범위를 넘어서면 타당도와 공개에서 특히 큰 문제를 일으킨다. 분석 단계로 오면 AI는 전사와 번역, 데이터 정제, 주관식 응답 코딩, 주제별 군집화, 탐색적 모델링에 두루 쓰인다. 일부 분류 작업에서는 사람에 가까운 성능을 내며 비용과 시간을 크게 줄이지만, 프롬프트와 모델 버전에 따른 불안정, 도메인 편향, 속을 알기 어려운 변환이 새로운 처리오차를 들여온다. 그래서 명시적인 문서화와 민감도 분석, 사람의 검증이 빠질 수 없다.

특히 합성 응답자는 최근 논쟁이 뜨거운 자리다. AI로 수천 건의 답을 만들어 설문지를 미리 시험하거나 응답 분포를 가늠하는 쓰임은 비용을 크게 줄인다. 그러나 합성 응답을 실제 사람의 응답을 대신하는 데까지 밀고 가면, 특정 집단을 평평하게 뭉개거나 실제로는 없는 패턴을 지어낼 위험이 있다. 보고서는 이런 쓰임을 분명히 표시된 사전검사와 파일럿의 범위 안에 두라고 권한다.

보고와 전달 단계에서 AI는 정적인 보고서를 대화형 설명으로 바꾸어, 특히 전문가가 아닌 독자의 이해를 돕는다. 다만 요약이 불확실성과 단서 조항, 방법의 전제를 지워 버리면 지나친 단순화와 잘못된 추론, 환각, 오용의 위험이 함께 커진다. 설계와 발상을 돕는 동료로서 AI는 설문지와 프로토콜, 관련 자료를 초안 잡고 다듬고 검증하고 번역하는 데 쓰인다. 사람이 현장에 넣기 전에 검토하고 고치므로 비교적 낮은 위험으로 생산성을 크게 올리지만, 연구자가 판단을 지나치게 넘겨 버리거나 학습 데이터에서 물려받은 편향, AI가 내놓은 표현에 대한 근거 없는 확신 같은 위험은 남는다. 마지막으로 여러 역할을 하나로 묶어 처음부터 끝까지 자동으로 도는 시스템은 위험을 크게 키운다. 비용과 주기를 의미 있게 줄일 수 있지만 재현 가능성과 비교 가능성, 추적 가능성, 거버넌스를 위협한다. 사람이 확인하는 단계와 버전 관리, 공개 장치를 처음부터 넣지 않으면 의사결정 경로가 가려져 결과를 믿기 어려워진다. 실무에서 아직 드물기에 마지막에 두지만, 위험으로 보면 가장 앞자리에 있다.

이렇게 다섯 역할을 위험순으로 늘어놓으면, 지금의 쓰임이 왜 대체가 아니라 보조에 가까운지가 드러난다. 한 분석은 설문 연구자의 일에서 AI가 현재 약 16퍼센트를 자동화하고 24퍼센트를 거든다고 본다. 자동화된 몫보다 거드는 몫이 더 크다는 것이다. 다만 이 비율은 기술이 자리를 잡으며 빠르게 움직일 수 있고, 보고서가 거듭 말하듯 가장 큰 변화는 아직 오지 않았다.

AI 활용을 평가하는 기준

AI가 맡은 일을 잘 해내는지 따지려면 그 일이 무엇인지부터 분명히 해야 한다. 겉보기에 비슷한 작업에서 성능이 좋았다고 해서 다른 일에서도 타당하다는 보장은 없다. 보고서는 평가를 네 가지 기준으로 정리한다. 타당도는 모델이 의도한 일을 제대로 겨냥하는지를 본다. 성능은 그 일을 효과적으로 해내는지를 따진다. 민감도는 프롬프트와 입력, 모델이 조금씩 바뀌어도 결과가 견디는지를 살핀다. 신뢰도는 같은 조건을 반복했을 때 실질적으로 일관된 결과가 나오는지를 확인한다.

예를 들어 사전검사에서 응답을 잘 코딩하던 모델이 새로운 주제로 옮겨 가면 엉뚱한 분류를 내놓을 수 있다. 이는 성능이 아니라 타당도의 문제다. 프롬프트의 사소한 표현 차이나 모델 갱신만으로 결과가 출렁인다면 민감도가 낮은 것이고, 같은 입력에 매번 다른 답이 돌아온다면 신뢰도가 흔들리는 것이다. 네 기준을 함께 봐야 하는 까닭은, 한 가지가 좋아도 나머지가 무너지면 그 결과를 믿을 수 없기 때문이다.

네 기준은 함께 작동하며, 총조사오차나 목적 적합성 평가처럼 이미 쓰던 접근과 잘 맞물린다. 보고서는 정해진 벤치마크를 강요하지 않는다. 대신 일과 상황에 맞춰 평가를 안내하는 체계적인 점검 항목을 제공한다. 같은 정신에서 보고서는 해야 할 일과 하지 말아야 할 일도 함께 정리하는데, 사람이 책임지고 검토할 수 있을 때 AI를 쓰고 검증과 문서화 없이 결과를 그대로 받아들이지 말라는 것이 그 골자다.

보고서가 전통적 품질 원칙을 버리지 않는 까닭은, AI가 들여오는 위험이 대부분 이미 알던 오차의 새로운 모습이기 때문이다. AI가 면접을 진행하거나 사람 대신 답하는 자리에서는 측정과 적용 범위의 오차가 문제가 된다. 합성 응답이 실제 응답을 대신하면 표본이 모집단을 제대로 담는지부터 흔들린다. AI가 전사와 코딩, 변환을 맡는 분석 단계에서는 처리오차가 새로 생긴다. 설문지를 다듬거나 결과를 요약하는 자리에서는 질문이 무엇을 재는지, 요약이 무엇을 지우는지에 따라 설정오차와 해석의 문제가 따라온다. 그래서 총조사오차의 틀은 AI 시대에도 그대로 쓸모가 있다. 어떤 오차가 어디서 끼어드는지를 가리켜 주고, 그 자리마다 검증과 공개가 왜 필요한지를 일러 주기 때문이다.

실무를 위한 지침

보고서는 평가 기준과 함께 설문 제작자가 곧바로 쓸 수 있는 지침을 정리한다. 무엇보다 AI가 내놓은 결과를 사람이 책임지고 검토할 수 있을 때에만 그 일을 AI에 맡긴다. 작업이 끝나면 결과를 사람이 만든 기준이나 표본과 견주어 검증하고, 가능하면 일부를 직접 코딩하거나 분석해 맞춰 본다. 어떤 모델을 어떤 프롬프트로 어떻게 썼는지, 사람이 어디서 손을 댔는지를 기록으로 남긴다. 같은 프롬프트라도 실행할 때마다 다른 답이 나올 수 있으므로, 재현이 필요한 작업에서는 모델 버전과 설정을 고정하고 결과의 변동을 함께 보고한다. 끝으로 새로 나타나는 현상이나 드문 사건처럼 학습 데이터에 잘 담기지 않은 일에는 AI의 판단을 그대로 믿지 않는다. 이런 경우 모델은 틀린 답도 자신 있게 내놓기 때문이다.

무엇을 공개해야 하는가

이 보고서가 내놓은 가장 실질적인 결과물은 설문에서 AI를 어떻게 썼는지 밝히는 공개 표준이다. 공개는 두 단계로 나뉜다.

표 2. 공개의 두 단계

공개 수준	무엇을 밝히는가
필수 공개	AI를 사용한 작업과 그 목적, 사람이 검토하고 책임지는 정도. 어떤 설문에서든 적용된다.
강화 공개	모델 이름과 버전, 오픈소스 여부, 파인튜닝 여부, 검색 증강(RAG) 사용, 사용한 프롬프트와 지시. 위험이 크거나 투명성이 더 필요할 때 더한다.

필수 공개는 보고 부담을 늘리지 않으면서도 독자가 결과를 이해하고 위험을 가늠하는 데 꼭 필요한 정보만 담는다. 강화 공개는 위험이 크거나 투명성이 더 중요한 경우에 더하며, 결과를 다시 따져 보려는 사람이 알아야 할 모델과 절차의 세부를 채운다. 이 체크리스트는 이해와 위험 평가에 실제로 도움이 되는 정보에 초점을 두도록(실용성), 기술이 바뀌어도 적응할 수 있도록(확장성), 기존 설문 보고 표준과 나란히 쓰이도록(상호운용성) 설계되었다. 보고서는 또한 같은 정보라도 발간 유형과 활용 사례에 따라 공개의 깊이가 달라질 수 있음을 인정하고, 짧은 사례 네 가지를 들어 어느 정도가 적절한지를 보여 준다.

네 가지 사례는 같은 원칙이 쓰임에 따라 어떻게 다르게 적용되는지 보여 준다. 동료로서 설문지를 다듬는 데 AI를 쓴 경우와, 면접을 직접 진행하거나 사람 대신 답하게 한 경우, 그리고 분석에서 응답을 코딩하거나 추정에 쓴 경우는 밝혀야 할 내용의 무게가 서로 다르다. 위험이 낮고 사람이 충분히 검토한 쓰임은 간단한 표시로 충분하지만, 응답이나 추정에 직접 닿는 쓰임일수록 모델과 절차를 자세히 드러내야 한다. 투명성은 설문 제작자에게만 해당하지 않는다. AI가 설문 플랫폼에 깊이 들어가면서, 어떤 도구와 모델이 쓰였는지는 인프라를 공급하는 쪽에서도 밝혀야 사용자가 제대로 평가할 수 있다.

인간 피험자에 대한 책임

보고서는 AI가 연구자의 윤리적 의무를 덜어 주기는커녕 오히려 무겁게 한다고 본다. 공개와 동의, 데이터 보호, 위험 평가, 공정성은 AI가 만들어 내는 추론과 자동화, 그리고 데이터가 나중에 다시 쓰이는 일까지 함께 고려해야 한다. 예컨대 응답자가 동의한 범위를 넘어 AI가 새로운 정보를 추론해 낼 수 있고, 학습 데이터에 담긴 편향이 특정 집단을 잘못 그리거나 지워 버릴 수 있다.

의무는 다섯 가지로 나누어 살필 수 있다. 응답자에게 AI가 설문에 어떻게 관여하는지 알리고, AI에 의한 추론과 데이터의 재사용까지 포함해 동의를 받으며, 응답이 모델 학습이나 바깥으로 새지 않도록 지킨다. AI가 더한 위험은 미리 따지고, 특정 집단이 잘못 그려지거나 통계에서 빠지지 않도록 공정성을 점검한다. 이 의무들은 AI를 쓴다고 줄어드는 것이 아니라, AI가 할 수 있는 일이 늘어날수록 함께 커진다. 태스크포스는 벨몬트 보고서와 멘로 보고서로 대표되는 기존의 연구 윤리 틀을 빌려 오면서, AI 능력이 커질수록 위험에 비례하는 안전장치와 꾸준한 재평가, 참여자를 가운데 두는 설계가 필요하다고 말한다. 더 넓게는 AI를 떠받치는 보이지 않는 노동과 자원의 불균형처럼, 설문 바깥으로 이어지는 윤리 문제도 배경에 둔다.

맺음말

AI는 설문조사를 대신하지 않는다. 대신 그것을 깊이 바꿔 놓을 것이다. 책임 있게 쓰면 효율을 높이고 방법이 닿는 범위를 넓히며 통찰에 이르는 문턱을 낮춘다. 부주의하거나 속이 보이지 않게 쓰면 타당도와 신뢰, 그리고 설문에 기반한 증거에 대한 사회의 믿음을 갉아먹는다. 이 보고서는 분야가 지켜 온 가치를 버리지 않으면서 혁신이 이어지도록, 원칙과 틀과 손에 잡히는 도구를 함께 내놓는다.

보고서는 이 작업을 끝이 아니라 시작으로 본다. 위험과 공개 기준은 기술이 바뀌며 함께 손질되어야 하고, 그 일은 한 기관이나 한 보고서가 아니라 연구 공동체 전체의 몫이다. AAPOR는 이 보고서가 그런 논의의 공통 바탕이 되고, 설문을 만드는 사람들이 저마다의 자리에서 책임 있는 선택을 내리는 데 실제로 쓰이기를 바란다.

주요 용어

용어	뜻
총조사오차(TSE)	설문 결과에 끼어드는 모든 오차를 함께 보는 틀. 표집뿐 아니라 측정·처리·설정 단계의 오차를 아우른다.
합성 응답자	사람 대신 AI가 만들어 낸 모사 응답. 실제 사람의 답을 대신하지는 않는다.
환각	AI가 근거 없는 내용을 사실인 양 자신 있게 내놓는 일.
휴먼인더루프	AI의 결과를 사람이 검토하고 고치고 승인하는 절차를 둔 방식.
파인튜닝	미리 학습된 모델을 특정 용도의 데이터로 더 학습시켜 맞추는 일.
검색 증강(RAG)	모델이 답할 때 외부 문서를 찾아와 근거로 쓰게 하는 방법.

원문:https://aapor.org/wp-content/uploads/2026/05/Responsible-AI-Integration-In-Survey-Research.pdf