‘전체’를 알 수 없는 세계, 전문가 조사의 근본적인 딜레마
서론: ‘전체’를 알 수 없는 세계, 전문가 조사의 근본적인 딜레마
우리가 ‘대한민국 성인’을 대상으로 여론조사를 할 때는, 통계청의 주민등록인구나 통신사의 가상번호와 같이, 전체 모집단을 거의 완벽하게 포괄하는 ‘청사진(표집틀)’이 존재합니다. 우리는 이 청사진을 바탕으로 무작위로 표본을 추출하여, 우리 조사의 결과를 전체 국민의 의견으로 통계적으로 일반화할 수 있습니다.
하지만 만약 우리의 조사 대상이 ‘대한민국 반도체 산업 전문가’ 혹은 **‘한반도 외교안보 전문가’**라면 어떨까요? 이 전문가들의 전체 명단은 어디에도 존재하지 않습니다. 누가 전문가인지에 대한 정의부터 모호하며, 모든 전문가를 아우르는 공식적인 목록은 세상에 없습니다. 이처럼 청사진 없이 집을 지어야 하는 상황, 이것이 바로 전문가 조사가 마주한 근본적인 딜레마의 시작입니다.
1. 사라진 청사진: 왜 전문가 표집틀은 존재하기 어려운가?
전문가 집단에 대한 완벽한 표집틀이 존재하기 어려운 이유는 명확합니다.
경계의 모호성: ‘전문가’의 정의와 경계가 매우 모호합니다. 예를 들어, ‘AI 전문가’는 학계의 교수, 대기업의 연구원, 스타트업의 개발자, 정부의 정책 담당자 등 다양한 곳에 흩어져 있습니다. 이들 모두를 포괄하는 단일한 명단은 존재하지 않습니다.
정보의 비공개성: 특정 분야의 전문가라 할지라도, 그들의 소속이나 연락처와 같은 개인정보는 공개되어 있지 않은 경우가 대부분입니다.
유동성: 전문가는 끊임없이 이직하고, 은퇴하며, 새로운 전문가가 등장합니다. 특정 시점의 완벽한 명단을 만든다 해도, 그것은 금세 낡은 정보가 되어버립니다.
이러한 이유로, 전문가 조사는 ‘모집단 전체에서 무작위로 표본을 추출하는’ 전통적인 확률표집의 원칙을 적용하기가 거의 불가능합니다.
2. 지도 없이 항해하기: 전문가를 찾아내는 현실적인 방법들
그렇다면 연구자들은 이 문제를 어떻게 해결할까요? 완벽한 지도가 없으니, 나침반과 별자리에 의존해 길을 찾는 항해사처럼, 비확률적인 방법을 사용해 전문가 표본을 구성합니다.
유의표집(Purposive Sampling): 연구자가 자신의 전문적 판단에 따라, 해당 분야를 대표한다고 생각되는 핵심적인 인물들을 의도적으로 선택하여 조사하는 방식입니다.
눈덩이 표집(Snowball Sampling): 전문가 조사에서 가장 널리 쓰이는 방법입니다.
먼저, 연구자가 수소문하여 해당 분야의 핵심 전문가 몇 명을 찾아냅니다.
그 전문가들을 심층적으로 인터뷰한 뒤, 마지막에 **“이 주제에 대해, 교수님 외에 꼭 이야기를 들어봐야 할 다른 전문가 세 분만 추천해주시겠습니까?”**라고 요청합니다.
추천받은 전문가를 다시 접촉하여 인터뷰하고, 그에게서 또 다른 전문가를 추천받는 과정을 반복합니다. 이 과정을 통해, 마치 눈덩이가 굴러가며 커지듯, 표본의 크기와 범위를 점차 넓혀나가는 것입니다. 이 방법은 해당 분야의 핵심적인 전문가 네트워크에 효율적으로 접근할 수 있다는 큰 장점이 있습니다.
3. ‘대표성’의 의미를 다시 묻다: 통계적 대표성에서 실질적 대표성으로
앞서 말했듯, 이러한 비확률적인 방법들은 표본의 **‘통계적 대표성’**을 보장하지 않습니다. 즉, 조사 결과를 가지고 “대한민국 AI 전문가의 45%는 OO정책에 찬성한다”라고 말할 수 없으며, 표본오차를 계산하는 것도 무의미합니다.
따라서 전문가 조사의 목표는 ‘대표성’의 의미를 다르게 정의하는 데 있습니다.
통계적 대표성(Statistical Representativeness): 표본의 특성 분포가 모집단 전체의 분포와 통계적으로 일치하는 것. (일반 여론조사의 목표)
실질적 대표성(Substantive Representativeness): 통계적 비율은 맞지 않더라도, 해당 분야에 존재하는 다양한 관점, 핵심적인 학파, 주요 쟁점들을 빠짐없이 포괄하는 것. (전문가 조사의 목표)
즉, 전문가 조사는 ‘얼마나 많은 비율이 찬성하는가’를 아는 것이 아니라, **‘어떤 종류의 찬성 의견과 어떤 종류의 반대 의견이 존재하며, 각 주장의 논리적 근거는 무엇인가’**를 파악하는 데 더 큰 목적을 둡니다. 마치 시장 점유율을 조사하는 것이 아니라, 시장에 존재하는 모든 종류의 제품 라인업을 파악하는 것과 같습니다.
결론: 한계를 인정하고, 신뢰도를 극대화하는 전략
결론적으로, 사용자님의 질문처럼 전문가 조사는 ‘대표성 있는 결과’를 기대하기 어렵다는 것이 맞습니다. 단, 여기서 말하는 대표성이 ‘통계적 대표성’일 경우에 한해서입니다.
전문가 조사는 그 태생적 한계로 인해 통계적 일반화는 불가능하지만, ‘실질적 대표성’을 확보함으로써 정책 결정이나 기술 예측에 매우 깊이 있는 통찰을 제공하는, 대체 불가능한 가치를 지닙니다. 따라서 전문가 조사를 수행하고 그 결과를 해석할 때는 다음의 원칙을 지키는 것이 중요합니다.
투명한 절차 공개: 최종 보고서에 표본오차와 같은 통계치를 제시하는 대신, 어떤 과정을 통해 전문가를 찾아냈는지(예: 눈덩이 표집 사용), 표본의 구성은 어떠한지 등을 매우 상세하고 투명하게 기술해야 합니다.
결과의 질적 해석: 조사 결과를 ‘%’와 같은 양적 수치로만 제시하기보다, 조사 과정에서 나타난 다양한 의견들, 핵심적인 논거들, 전문가들 사이의 합의점과 이견 등을 질적으로 풍부하게 분석하고 제시하는 데 집중해야 합니다.
결국 전문가 조사의 신뢰도는 통계적 수치에서 나오는 것이 아니라, 조사 과정의 투명성과 분석의 깊이에서 비롯되는 것입니다.
댓글
댓글 쓰기