할당표가 알고리즘을 만났을 때: 인스타그램 광고 리크루팅의 실패 기록
젊은 층 표본을 확보하기 어려워질수록 SNS 광고 리크루팅이 대안으로 자주 거론된다. Meta의 광고 관리자에서 연령, 성별, 지역을 지정하고 집단별로 예산을 따로 배정할 수 있으니, 겉보기에는 전통적 할당표집을 광고 플랫폼 위에 그대로 구현할 수 있을 것처럼 보인다. GESIS의 Julia Weiss가 Survey Practice에 발표한 이 논문은 그 기대가 실제 필드에서 어떻게 깨지는지를, 자기 조사의 실패 과정을 날짜별로 복기하며 보여준다. 성공담보다 배울 것이 많은 종류의 논문이다.
조사는 독일 18~29세 대상 온라인 조사 "Generation Now"다. 센서스 기준으로 연령(18~23/24~29), 성별, 거주지역(동독/서독)의 할당 목표를 세우고, 세 변수의 조합별로 8개 광고 세트를 만들어 동일 예산으로 시작했다. 광고 이미지는 정치, 기후, 과학, 중립 네 종을 모든 세트에 공통으로 걸었고, URL 파라미터로 유입 경로를 추적하며 매일 모니터링했다. 교과서적 설계다.
그런데 첫 며칠 만에 남성 응답자가 압도적으로 몰리기 시작했다. 여성과 남성 세트에 같은 예산을 걸었는데도 남성 세트의 유입이 계속 앞섰다. 연구진은 개입했다. 이미 할당을 초과한 동독 남성 세트를 끄고, 여성 세트 예산을 올리고 남성 세트 예산을 내렸다. 효과가 없자 남성 세트를 전부 끄고 여성 예산을 다시 올렸다. 그제야 남성 유입이 줄었는데, 여성 유입이 그만큼 늘지는 않고 전체 모집 속도만 떨어졌다. 최종 성적표가 냉정하다. 목표는 여성 480명 대 남성 520명이었는데, 실현 표본은 여성 172명 대 남성 729명이었다. 연령과 지역 할당은 비교적 잘 지켜진 것과 대조적이다. 할당 차원마다 알고리즘의 영향을 받는 정도가 다르다는 뜻이다.
내용 변수 쪽에서는 더 곤란한 일이 벌어졌다. 필드 중 극우 정당 AfD 지지 응답이 비정상적으로 많다는 것이 확인됐고, AfD 지지자를 가장 많이 데려온 광고 이미지가 독일 연방의회 건물과 국기를 쓴 정치 프레임 이미지라는 것까지 추적됐다. 이 이미지를 전 세트에서 내렸더니, AfD 비중은 줄지 않고 전체 유입만 급감했다. 광고 시스템이 초반 성과 신호를 증폭해 이 이미지에 노출을 몰아주고 있었고, 그것을 빼자 나머지 광고들이 도달을 메우지 못한 것이다. 참여를 극대화하도록 최적화된 전달 알고리즘이 자기선택 편향을 증폭하는 장치로 작동한 셈이다.
저자가 정리한 실무 교훈은 구체적이다. 모니터링은 캠페인 시작 1~2일 안에, 최소 일 단위로 시작해야 한다. 불균형은 빠르게 굳어지고 한번 굳으면 되돌리기 어렵다. 개입은 즉흥이 아니라 사전 결정규칙으로 해야 한다. 할당 목표에서 ±10%p를 벗어나면 해당 세트를 감액하거나 중지한다는 식의 기준을 필드 전에 정해두라는 것이다. 인구통계 타기팅은 모집 결과의 보장이 아니라 탐색 공간의 초기값일 뿐이며, 예산 조정의 효과는 집단별로 비례해서 나타나지 않는다. 그리고 광고 성과는 응답당 비용 같은 효율 지표만이 아니라 조사의 실질 변수와의 관계로도 평가해야 하고, 모니터링 대시보드에 인구통계 할당과 함께 이론적으로 중요한 내용 지표 몇 개를 넣어두어야 한다. 이 조사에서 AfD 비중을 안 봤다면 표본의 정치적 왜곡은 납품 후에야 발견됐을 것이다.
국내 청년층 조사에 대입해 보면 이 논문의 교훈은 표집틀 선택의 문제로 읽힌다. SNS 광고 모집에서는 누구에게 초대장이 가는지를 플랫폼의 참여 최적화 알고리즘이 결정하고, 조사자는 그 결정에 사후 개입만 할 수 있다. 반면 보유 명부에 기반한 초대, 예컨대 통신사 마케팅 수신동의 가입자 데이터베이스에서 성·연령·지역 조건으로 발송 대상을 직접 추출해 SMS로 초대하는 방식은 할당 통제가 초대 단계에서 이루어진다. 물론 응답 여부의 자기선택은 어느 쪽에나 남지만, 초대 자체가 알고리즘에 위임되는 구조와 조사자가 통제하는 구조의 차이는 크다. SNS 광고 모집을 쓴다면 이 논문이 제안하는 결정규칙과 내용 지표 모니터링을 필드 설계서에 명문화해 두는 것이 최소한의 방어선이다. 참고로 이 조사의 비용은 목표 연령대 완료 기준 응답당 1.63유로였다. 싸다는 것이 이 방식의 최대 장점이라는 사실은 실패 기록 속에서도 변하지 않는다.
소개한 논문
Weiss, J. (2026). When Quotas Meet Algorithms: Practical Lessons from Recruiting Young Adults via Instagram Advertising. Survey Practice, 20. https://doi.org/10.29115/SP-2026-0026 (오픈액세스)
댓글 없음:
댓글 쓰기