신세틱 서베이를 둘러싼 논의에서 자주 접하는 통설이 하나 있다. LLM 기반의 합성 응답은 선거 여론조사처럼 정밀도가 요구되는 영역보다 마케팅조사에 적합하다는 것이다. 이 말은 틀리지 않았다. 다만 절반만 맞다. 정량조사에 한정하면 타당한 진단이지만, 정성조사로 오면 유불리가 뒤집히기 때문이다. 마케팅이냐 정치냐가 적합성을 가르는 기준이 아니라는 얘기다. 이 글에서는 그 기준이 실제로 무엇인지, 그리고 그 기준으로 조사 영역을 나눠보면 어떤 지도가 그려지는지 정리해 보려 한다.
정량에서는 통설이 맞다
먼저 통설이 성립하는 쪽부터 보자. 신세틱 정량이 정치조사에서 설 자리가 없는 이유는 명확하다. 산출물이 숫자이고, 그 숫자를 검증할 정답지가 존재하기 때문이다. 선거 여론조사는 개표라는 최종 채점을 피할 수 없다. 오차 1~2%포인트가 승패 예측을 가르는 판에서, 응답 분포를 재현하는 능력이 검증되지 않은 도구를 투입할 수는 없다. 여기에 공표용 선거 여론조사에 적용되는 규제 요건까지 겹치면, 합성 응답이 공식 수치로 유통될 통로 자체가 막혀 있다.
LLM이 응답 분포 재현에 약하다는 사실도 여러 연구에서 반복적으로 확인된다. 척도 응답에서 중간값으로 쏠리는 경향, 소수 집단의 극단적 응답을 만들어내지 못하는 문제, 학습 데이터의 시차로 인해 최근 이슈에 대한 태도 변화를 반영하지 못하는 한계가 대표적이다. 실제 모집단의 응답 분포는 생각보다 울퉁불퉁하다. 특정 집단에서 응답이 한쪽 끝에 몰리기도 하고, 무응답과 유보가 정보를 담고 있기도 하다. LLM은 이런 요철을 매끄럽게 다려버린다.
같은 정량이라도 마케팅조사에서는 사정이 다르다. 첫째, 검증 압력이 약하다. 브랜드 인지도가 실제보다 5%포인트 높게 나왔다고 해서 그것을 판정해 줄 개표 같은 절차가 없다. 둘째, 오차 허용도가 크다. 구매의향 수치가 다소 부정확해도 의사결정의 방향이 뒤집히는 경우는 드물다. 셋째, 절대 수치가 아니라 상대 비교로 충분한 과제가 많다. 컨셉 A와 B 중 어느 쪽이 우세한지, 패키지 시안 세 개의 순위가 어떻게 되는지만 맞으면 되는 스크리닝 과제에서는 수치의 절대적 정확성이 요구되지 않는다. 분포 재현에 약한 도구라도 순위 재현은 상대적으로 잘하는 편이니, 신세틱 정량의 현실적인 용처는 이런 초기 스크리닝에 있다.
여기까지가 통설의 근거다. 그리고 여기까지만 놓고 보면 마케팅 적합론은 반박할 게 없다. 문제는 이 논리가 정성조사에는 그대로 이식되지 않는다는 데 있다.
정성의 산출물은 숫자가 아니라 논리다
정성조사에서 신세틱의 성패를 가르는 조건은 정량과 완전히 다르다. 정성의 산출물은 분포가 아니라 논리와 언어다. IDI나 FGD 결과 보고서에 담기는 것은 "이 집단이 이런 이유로 이렇게 반응한다"는 설명의 구조이지, 몇 퍼센트라는 수치가 아니다. 따라서 합성 응답에 요구되는 것도 통계적 대표성이 아니라 개연성이다. 그 프로필의 사람이라면 실제로 할 법한 말인가. 이 물음에 그렇다고 답할 수 있으면 쓸모가 성립한다.
그런데 개연성 있는 발화를 생성하는 일은 LLM이 가장 잘하는 과제에 속한다. 관건은 어떤 영역에서 개연성의 재료, 즉 그 집단의 반응 문법이 학습 데이터에 축적되어 있느냐다. 그리고 바로 이 조건에서 마케팅과 정치의 위치가 뒤바뀐다.
정치사회 정성이 잘 되는 이유
정치사회 영역은 반응의 유형이 방대하게 기록된 영역이다. 지지를 철회하는 사람의 논리, 부동층이 망설이는 문법, 세대별 불만이 표현되는 방식, 계층별 정책 수용의 언어까지, 수십 년치 담론이 뉴스와 커뮤니티와 조사 보고서의 형태로 쌓여 있다. LLM에게 특정 프로필의 페르소나를 주고 정치 현안에 대한 견해를 요구하면, 그 집단이 실제로 구사하는 논리 구조에 상당히 근접한 답이 나온다. 재료가 충분하기 때문이다.
여기에 정성조사 실무의 한 가지 특성이 결합하면 신세틱의 강점은 더 커진다. 정치사회 정성조사에서 의외의 답변은 생각만큼 환영받지 않는다는 사실이다. 발주처가 정성조사에 기대하는 것은 특정 집단의 태도에 대한 조리 있는 설명이지, 유형화가 불가능한 돌출 발언이 아니다. 실제 IDI를 스무 명 진행해도 분석 단계에서 논리적으로 정리되지 않는 한두 명의 발언은 결국 보고서에서 걸러진다. 합성 페르소나는 그 필터링이 선반영된 답을 내놓는 셈이다. 실제 응답자 기반 정성에서라면 단점으로 지적될 "너무 정돈된 답변"이, 이 용도에서는 오히려 요구 사양에 부합한다.
정성조사의 목적이 모수 추정이 아니라 논거의 폭을 확보하는 데 있다는 사실도 신세틱에 유리하게 작용한다. 어떤 집단에서 나올 수 있는 주장의 스펙트럼을 채우는 일, 찬성과 반대 각각의 논리 구조를 유형별로 정리하는 일은 대표성을 요구하지 않는다. 페르소나 설계를 정교하게 할수록 스펙트럼의 해상도가 올라가고, 여러 모델을 병렬로 돌리면 모델별 기본 성향의 차이가 답변의 다양성을 추가로 벌려준다.
마케팅 정성이 안 되는 이유
반대로 마케팅 정성으로 오면 신세틱의 조건이 무너진다. 마케팅 정성조사의 대표 과제가 무엇인지 생각해 보면 이유가 드러난다. 신제품 컨셉 평가, 시제품 사용 반응, 새 광고물에 대한 소비자 인상. 하나같이 세상에 없던 자극에 대한 반응을 요구하는 과제다. 학습 데이터에 전례가 없는 자극이니, LLM은 개연성의 재료를 갖고 있지 않다.
재료가 없을 때 LLM이 택하는 경로는 일반론으로의 회귀다. 새 음료 컨셉을 보여주면 "패키지가 눈에 띄고 가격이 합리적이면 구매를 고려하겠다"는 답이 나온다. 틀린 말은 아니지만 어떤 제품에 갖다 놓아도 성립하는 말이라 정보 가치가 없다. 실제 FGD의 가치는 정반대의 발언에서 나온다. 뚜껑을 돌리는 방향이 기존 제품과 반대라서 불편하다든가, 광고 모델의 표정이 제품 톤과 어긋난다든가 하는 구체적 마찰의 발견이다. 이런 발견은 실물과 신체가 부딪히는 경험, 그리고 응답자 개인의 예측 불가능한 감각에서 나오는데, 둘 다 합성 페르소나가 갖지 못한 것이다.
요컨대 정치사회 정성에서 강점이던 "학습된 문법의 재현"이 마케팅 정성에서는 성립 조건 자체를 잃는다. 재현할 문법이 없는 자극 앞에서 정돈된 답변은 공허한 답변이 된다.
사분면으로 정리하면
이렇게 놓고 보면 신세틱 서베이의 적합성을 가르는 판별 기준은 두 가지로 정리된다.
첫째, 과제가 요구하는 것이 수치의 정밀도인가, 논리의 재현인가. 수치 정밀도가 요구될수록 분포 재현에 약한 LLM의 한계가 치명적이 되고, 논리 재현이 요구될수록 언어 생성이라는 강점이 살아난다.
둘째, 반응을 요구하는 자극이 전례 있는 것인가, 새로운 것인가. 학습 데이터에 반응 문법이 축적된 자극일수록 개연성 있는 답이 나오고, 전례 없는 자극일수록 일반론으로 회귀한다.
이 두 기준을 교차하면 사분면이 그려진다. 마케팅 정량은 수치를 다루지만 정밀도 요구가 낮고 상대 비교로 충분한 과제가 많아 우세 영역에 든다. 정치사회 정성은 논리 재현 과제이면서 반응 문법의 축적이 가장 두터운 영역이라 역시 우세 영역이다. 반대로 정치 정량은 수치 정밀도 요구가 극한인 데다 규제 장벽까지 있어 열세 영역이고, 신제품 중심의 마케팅 정성은 전례 없는 자극이라는 조건 때문에 열세 영역이다. 마케팅 적합론이 포착한 것은 이 사분면의 한 칸이었을 뿐, 대각선 반대편에 정치사회 정성이라는 또 하나의 우세 칸이 있었던 셈이다.
우세 영역에도 조건은 있다물론 정치사회 정성이 우세 영역이라는 진단에도 유효 조건이 붙는다.
하나는 국면의 안정성이다. 합성 페르소나의 강점은 축적된 문법의 재현이므로, 문법 자체가 흔들리는 격변기에는 약하다. 예상 못한 사건 이후의 민심, 갑자기 등장한 인물에 대한 반응처럼 학습된 전례가 없는 상황에서 LLM은 과거 유형으로 회귀해 답한다. 평시에는 정돈된 답이 정확한 답이지만, 격변기에는 정돈된 답이 곧 낡은 답이 된다. 이때는 실제 응답자 없이 쓸 수 없다.
다른 하나는 페르소나의 과잉 연기 문제다. 프로필에 규정된 속성을 실제 사람보다 훨씬 충실하게 반영하는 경향이 있어서, 부채가 많은 자영업자로 설정하면 모든 질문에 부채 걱정을 끼워 넣는 식의 답이 나온다. 실제 사람은 자기 프로필대로만 말하지 않는다. 프로필에 상충하는 속성을 의도적으로 심어 내적 긴장을 만들어주는 설계가 이 문제를 어느 정도 완화하지만, 근본적으로 합성 응답에는 실제 응답자의 자기모순과 비합리적 고집이 결여되어 있다는 점은 남는다.
이 두 조건을 감안하면 현실적인 자리는 이렇게 정해진다. 신세틱 정성은 탐색 단계의 가설 생성 도구로 쓰고, 검증은 실제 응답자로 한다. 어떤 논리 유형이 존재할 수 있는지 지도를 먼저 그리는 데 합성 페르소나를 투입하고, 그 지도가 현실과 맞는지, 지도에 없는 것이 현장에 있는지는 사람에게 묻는 이중 구조다. 우세 영역에서조차 대체가 아니라 선행 공정이라는 위치가 당분간의 정답에 가깝다.
신세틱 서베이가 어디에 쓸 만한 도구인지 묻는 질문에 마케팅이냐 정치냐로 답하는 것은 문제를 잘못 자른 것이다. 정량이냐 정성이냐, 그리고 전례 있는 자극이냐 새로운 자극이냐로 잘라야 답이 나온다. 그렇게 자르면 마케팅 정량과 정치사회 정성이라는, 언뜻 어울리지 않아 보이는 두 영역이 같은 편에 서게 된다.
댓글 없음:
댓글 쓰기