오류가 곧 커리큘럼이었다: AI가 삼켜버린 조사 전문가의 도제 과정
조사업계에서 방법론적 판단력은 어떻게 길러지는가. 업계 경력이 긴 방법론자 Michael Link가 Survey Practice에 쓴 이 글의 답은, 강의실이 아니라 말썽 부리는 실무에서 길러진다는 것이다. 수렴하지 않는 가중치와 씨름하고, 손으로 개방형 응답을 코딩하면서 질문이 오해되는 수십 가지 경로를 몸으로 익히고, 예상과 어긋나는 필드 진행을 지켜보는 반복 속에서 "뭔가 이상하다"는 감각이 형성된다. 저자의 표현을 빌리면 오류가 곧 커리큘럼이었다.
문제는 그 커리큘럼을 AI가 흡수하고 있다는 것이다. 문항 초안 작성, 설문 프로그래밍, 개방형 코딩, 부정 응답 탐지, 예비 분석까지, 신입이 판단력을 쌓던 바로 그 작업들이 자동화의 1순위 대상이다. 저자는 AI가 조사 품질을 높이는지 해치는지에 대한 논쟁에는 입장을 밝히지 않는다. 어느 쪽이든 이 도구들이 이미 주요 기관의 워크플로에 들어와 일하는 방식을 바꾸고 있고, 그에 따라 전문성이 형성되는 조건 자체가 바뀌고 있다는 사실만으로 논의가 성립하기 때문이다.
저자가 경고하는 위험은 두 겹이다. 얕은 층위에서는 신입 채용 축소다. 자동화를 이유로 주니어 자리를 줄이는 기관이 이미 나타나고 있고, 이대로면 업계 진입 경로 자체가 좁아진다. 더 깊은 층위는 감지하기 어려운 쪽인데, 신입들이 플랫폼 조작 능력만 갖추고 방법론적 판단력 없이 성장하는 것이다. 시스템의 실패 사례를 한 번도 본 적 없는 숙련 조작자는, 그럴듯하지만 틀린 출력 앞에서 무력하다. 그리고 AI 시대의 오류는 개별 산출물 단위가 아니라 파이프라인 전체에 체계적으로, 항목 수준에서는 보이지 않게 스며든다. 개별 문항을 검토하던 전통적 품질관리로는 잡히지 않는 오류 구조다.
대안으로 제시하는 전문성의 세 영역은 서로 맞물려 있다. 첫째는 기초 방법론 역량으로, 저자는 그 평가 틀로 Total Survey Error를 지목한다. AI가 커버리지 갭, 표집오차, 무응답 편향, 측정 왜곡을 없애주는 것이 아니라 오류가 유입되는 위치와 그것을 잡을 수 있는 사람을 바꿀 뿐이므로, TSE에 대한 이해 없이는 AI가 만든 가중치나 코딩의 타당성을 심사할 기준 자체가 없다는 것이다. 둘째는 AI 통합 진단 판단력, 즉 모델 출력을 감사하고 체계적 실패 패턴을 식별하며 웨이브 간 안정성을 감시하는 능력이다. 셋째는 시스템 관리와 거버넌스로, 어떤 작업이 AI 주도이고 어디에 인간 판단이 필수이며 품질의 최종 책임이 누구에게 있는지를 명문화하는 일이다. 셋 중 하나만 있으면 나머지가 무너진다. 판단력 없는 도구는 자신만만한 오류를 낳고, 거버넌스 없는 판단력은 들쭉날쭉하며, 기초 역량 없는 거버넌스는 심사를 견디지 못하는 서류를 낳는다.
가장 구체적인 제안은 도제 과정의 재설계다. 주니어에게 AI 워크플로를 돌리게 하되, 본 임무를 도구 조작이 아니라 이상 사례의 기록과 조사로 규정하고, 기대 범위를 벗어난 출력을 파고들어 그 판단 근거와 불확실성을 시니어 앞에서 설명하게 하는 구조다. AI가 만든 코딩 체계를 왜 기각했는지 몇 번 설명해 본 주니어는 측정 타당도에 대해 어떤 강의도 주지 못하는 것을 체득한다. 오류는 여전히 커리큘럼인데, 이제 그 오류가 수작업이 아니라 AI 출력 안에 있을 뿐이라는 것이다. 이 구조는 시니어에게도 요구를 건다. 멘토링이 여유 시간의 선택 과목이 아니라 평가 대상인 본업이 되어야 한다.
이 글은 데이터 분석 논문이 아니라 논증형 에세이라 수치적 근거는 없다. 그러나 국내 조사업계에 던지는 질문은 오히려 더 날카롭다. 미국은 미시간이나 메릴랜드 같은 조사방법론 대학원이라도 있지, 국내는 애초에 전문성 형성이 거의 전적으로 실무 도제에 의존해 왔다. 그 도제의 재료가 되던 작업들이 자동화될 때 다음 세대 실사 책임자와 방법론 담당자가 어디서 판단력을 얻을 것인지, 조직 차원의 답을 준비한 회사는 아직 드물다. AI 도입을 효율 문제로만 다루면 5년 뒤 인력 문제로 돌아온다는 것이 이 글의 요지다.
소개한 논문
Link, M. (2026). When AI Absorbs the Apprenticeship: Rethinking Staff Development and Expertise Formation in Survey Research. Survey Practice, 20. https://doi.org/10.29115/SP-2026-0023 (오픈액세스)
댓글 없음:
댓글 쓰기