ChatGPT는 인간 코더의 주제분석을 재현할 수 있는가: 9·11 데이터 재분석 실험
개방형 응답을 받아놓고 코딩할 엄두가 나지 않아 묵혀둔 데이터가 있다면 눈여겨볼 만한 연구다. 육군 대령 출신 심리학자 Paul Bartone이 Survey Practice에 발표한 이 논문은 2001년 9·11 테러 직후 웨스트포인트 육군사관학교 신입생도 134명에게 받아둔 개방형 응답을 재료로, 전통적 주제분석과 ChatGPT 분석을 나란히 수행해 결과를 대조했다.
설계는 단순하다. 두 개방형 질문("테러가 당신에게 개인적으로 어떤 영향을 주었나", "이 사건과 정부 대응에 대한 감정은 어떤가")에 대해 먼저 인간 코더 두 명이 Braun과 Clarke의 절차를 따라 귀납적으로 주제를 추출했다. 코더 간 일치율은 문항별로 85.3%와 78.7%였다. 그다음 같은 자료를 무료 버전 ChatGPT 4.0에 배경 설명과 함께 넣고, 주제 수나 형식에 제한을 두지 않은 채 주제 추출을 시켰다.
결과의 큰 그림은 상당한 일치다. 두 문항 모두에서 인간과 ChatGPT는 같은 주제 구조를 찾아냈다. 정부 대응에 대한 질문에서는 양쪽 다 "정부가 잘 대응하고 있다"를 최다 언급 주제로 잡았고, 신속하고 강경한 대응 요구, 분노와 충격, 희생자에 대한 슬픔, 애국심과 국민 통합, 정부 비판까지 범주 구성이 거의 겹쳤다. 라벨의 표현만 달랐을 뿐이다.
차이는 두 방향에서 나왔다. 하나는 세분화 성향이다. 첫 문항에서 인간 코더가 8개 주제를 잡은 반면 ChatGPT는 11개를 잡았다. 인간이 "정서 반응" 하나로 묶은 것을 ChatGPT는 분노와 복수 욕구를 따로 떼어냈고, 의무감 관련 주제를 세 갈래로 나눴다. 저자는 이 세분화가 그 자체로는 정당해 보이며, 오히려 인간보다 미세한 구분에 민감했을 수 있다고 평가한다. 다른 하나는 잠재 내용에 대한 둔감함이다. "나는 직접 영향을 받지는 않았지만 많은 미국인이 군의 중요성을 깨달았을 것"처럼 여러 주제가 섞인 문장에서 인간 코더는 '영향 없음'을 함께 코딩했지만 ChatGPT는 단순 명료한 표현만 세었다. 그 결과 이 범주의 빈도가 인간 33건, ChatGPT 5건으로 크게 벌어졌다. 표면 문구에는 강하고 행간에는 약하다는, 다른 연구들과 일치하는 패턴이다.
저자가 제안하는 실무 모형은 역할 분담이다. ChatGPT에게 제한 없이 잘게 주제를 뽑게 한 뒤, 인간 연구자가 그 세부 범주들을 상위 주제로 묶는 방식이다. 기계가 잘하는 세분화와 인간이 잘하는 추상화를 순서대로 배치하면, 연구자가 분석에서 손을 떼지 않으면서 초기 처리 시간을 크게 줄일 수 있다는 것이다.
이 논문을 읽는 요령에 대해 한마디 보태자면, 지난번 소개한 POQ의 쌍대비교 논문과 용도가 다르다는 것을 구분해야 한다. 쌍대비교와 Bradley-Terry는 응답을 하나의 잠재 차원 위에 줄 세우는 척도화 도구이고, 이 논문의 주제분석은 응답을 여러 범주로 분류하고 빈도를 세는 코딩 작업이다. 개방형 응답을 LLM으로 처리한다는 큰 틀은 같지만 과제가 다르고, 검증 방식도 다르다. 이 논문의 한계도 그 관점에서 읽힌다. 빈도 일치를 정량 지표 없이 눈대조로 평가했고, 단일 모델 단일 시점 결과라 재현성 검증이 없으며, 자료가 영어 단문이라는 조건도 붙는다. 일본 임상 자료에서 ChatGPT가 문화적 해석에 약했다는 선행 연구가 인용되어 있는 만큼, 한국어 응답에서는 존댓말과 완곡 표현이 잠재 내용 문제를 더 키울 가능성이 있다.
그래도 이 연구의 쓸모는 분명하다. 분석 인력이 없어 개방형 데이터를 묵히는 것보다, LLM으로 초벌 주제 지도를 그리고 인간이 검수하는 편이 낫다는 것을 20년 묵은 실제 자료로 보여줬기 때문이다. 프롬프트 전문과 ChatGPT 응답 원문이 보충자료로 공개되어 있어 따라 해보기도 쉽다.
소개한 논문
Bartone, P. (2026). Using AI for Rapid and Cost-Effective Identification of Core Themes in Qualitative Text Data. Survey Practice, 20. https://doi.org/10.29115/SP-2026-0024 (오픈액세스)
댓글 없음:
댓글 쓰기