2001/07-08 : 인터넷 마케팅 - 인터넷 설문조사 선두주자로의 성공적 변신, Harris Interactive

인터넷 설문조사 선두주자로의 성공적 변신, Harris Interactive

조 희 창 I 미국 Cornell University 박사과정   hc71@cornell.edu

Harris Interactive와 Harris Poll Online         들어가는 말 2000년 11월 8일, 전 미국이 플로리다주의 대통령 선거 재개표 여부를 놓고 한참 뜨겁게 달아오르고 있을 때 이곳 인터넷 업계에서는 또 다른 화제거리가 하나 있었다. 그것은 바로 인터넷 사용자를 기반으로 한 Harris Interactive 사의 대선 결과 예측이 업계 모두의 예상을 뒤엎고 다른 경쟁사보다 훨씬 정확한 수치를 제공한 것이었다. 그간 인터넷을 이용한 설문조사 방법론에 있어 부정적인 자세로 일관했던 학계나 업계는 물론, 그 예측 자료 발표에 상당히 냉소적이었던 언론사들에게 있어 이는 꽤나 충격적인 사건이었다. 그리고 인터넷을 기반으로 한 시장조사나 여론조사 기법을 꾸준히 개발해 오고 그 가능성을 적극적으로 추구해온 Harris Interactive사가 그 화제의 중심에 서서 다시 한번 주목을 받은 건 두말 할 나위가 없는 것이었다.   전통적인 여론조사 기관에서 인터넷 조사기업으로의 변신   정치에 별로 관심이 없는 미국인이라고 할지라도 Harris라고 하면 누구나 쉽게 ‘Harris Poll’을 떠올린다. 1954년 Louis Harris and Associates (LHA)로 시작한 이 조사전문 기업은 40년이 넘는 전통과 Harris Poll로 쌓아온 명성으로 업계는 물론 일반인에게 공정하고 정확한 조사결과를 보증하는 지명도 높은 기업으로서의 위상을 보여주고 있었다. 하지만 기업 규모 면에서는 항상 Neilson이나 Gallup에 뒤지는 2군에 속하고, 그간 몇 차례나 주인이 바뀌는 등 경영상으로는 썩 좋은 결과를 내놓지 못하고 있었다. 그러나 LHA는 1996년 GSBC (Gordon S. Black Corporation)에 인수되면서 획기적인 변신을 꾀한다. 이 회사의 사장으로 새로 취임한 Gordon S. Black은 ‘업계 1위’라는 공격적인 목표를 세웠는데, 그는 당시 조금씩 붐이 일기 시작한 인터넷에서 그 가능성을 발견한 것이다. 이미 성숙단계에 있는 조사시장에서 단순히 기업 확장이나 서비스 개선만으로는 급진적인 변화를 기대할 수 없는 상황이었지만, 당시 급속도로 발전하고 있는 인터넷 기술을 다른 경쟁사보다 한발 앞서서 적극적으로 활용한다면 ‘시장 패러다임의 전환’까지 모색할 수 있는 공격적인 사업기회를 창출할 수 있으리라는 판단이었다.   인터넷 설문 조사의 장, 단점   미국의 설문조사는 대부분 전화 인터뷰를 통해 이루어진다. 이 방법은 일단 편리하고 검증된 수단이라는 장점은 있지만 그간 시장조사(market research) 업계는 빠르게 변화하는 통신기술과 소비자의 행태에 적응하기 힘들다는 어려움을 호소하곤 했다. 아울러 이동전화 사용자, caller ID, 자동응답기 사용자 증가 등에 따라 점차 기술적 장벽 (technological barrier)이 높아지고 있었고, 소비자들 역시 하루에도 몇 통씩 걸려오는 텔레마케팅 (telemarketing)의 피해 때문에 아예 자신의 전화번호를 전화번호부에서 삭제해버린 가구가 점점 늘어나는 등 기존의 방식으로는 접근하기 어려운 소비자층이 늘어나고 있었다. 그런데 인터넷은 이러한 전통적인 조사방법에 비해 상당한 장점을 보유하고 있었다. 우선 설문조사자의 입장에서는 조사 비용 자체가 워낙 저렴한 데다 빠른 시간 내에 많은 응답을 기대할 수 있다는 점을 꼽을 수 있다. 예를 들어, 인터넷 조사는 표본 사이즈(sample size)가 1만 명이라고 했을 때 평균 48시간 내에 원하는 응답자의 2/3 이상에게서 응답을 얻을 수 있고, 또한 설문 응답속도 면에서도 전화 설문조사보다 35% 이상 빠르다는 장점이 있는 것이다. 또한 응답자 자신이 편리한 시간에 설문조사에 응답할 수 있다는 점, 인터넷의 특성상 다양한 화상 이미지 전달이 가능함에 따라 신제품 컨셉트 테스트, 광고 스토리 보드와 카피 테스트 등 기존의 설문 조사방법으로는 불가능했던 영역을 커버할 수 있다는 점, 그리고 조사 결과의 실시간 제공이 가능하다는 점 등이 인터넷 설문조사의 상대적 장점으로 열거되어 왔다. 그러나 이와 같은 많은 장점에도 불구하고 인터넷을 조사 수단으로 사용하기에는 몇 가지 결정적인 결함도 있었다. 조사방법론에 대해 조금이라도 지식이 있는 사람은 기본적으로 모든 확률과 통계가 ‘확률적 추출(probabilistic sampling)’에 근거하고 있다는 사실을 굳게 믿고 있다. 1,000명의 응답에 근거한 조사를 통해 100만 명에 대한 추론, 예측이 가능한 것은 무엇보다도 이 표본(sample)이 모집단(population)을 대표한다는 가정(assumption)에 근거하며, 이 근간에는 표본이 모집단으로부터 임의추출(random sampling)됐다는 확률적 추출의 원칙이 있다. 이와 비교해서 제기되는 인터넷 설문조사의 문제는 거의 대부분이 ‘비확률적 추출(non-probabilistic sampling)’에 근거한다는 것이다. 가령 웹사이트에 조사 설문지를 꾸며 놓고 배너광고를 통해 인터넷 사용자들을 끌어들여 1만 명의 응답을 단 하룻만에 얻어냈다고 하자. 이때 조사전문가라면 누구나 self-selection bias, non-response bias, volunteer bias를 지적할 수 있다. 즉, 전체 인터넷 사용자 중 해당 배너광고를 본 사람, 그 중에서도 배너광고를 클릭한 사람, 또 그 중에서 끝까지 설문조사에 응답한 사람의 결과이기 때문에, 이는 전체 sampling frame인 일반 인터넷 사용자와는 상이한 성향을 지닌 일부 특정 그룹의 결과 요약에 불과할 수 있다는 지적이 나올 수 있는 것이다. 이러한 문제점은 이메일을 이용한 설문조사에도 그대로 적용된다. 이메일 조사는 조사자가 사전에 이메일 리스트를 확보하고 이를 이용한 임의 표본추출(random selection)이 가능하다는 장점이 있다. 그러나 일반 전화 설문조사시 전화번호부를 sampling frame으로 이용하여 조사 대상자를 추출하는 것과는 달리, 이메일 조사의 경우 해당 모집단의 전체 이메일 리스트를 가지고 있는 것이 거의 불가능하기 때문에 역시 웹서베이와 마찬가지로 비확률적 추출의 문제점을 피할 수 없다는 단점 또한 간과할 수 없는 것이다. 즉, 시중에 나와 있는 특정 이메일 리스트를 구입하고 여기서 조사 대상자를 임의추출한다고 해도 이 리스트 자체(sampling frame)가 모집단의 성향과 일치한다는 보장이 없는 한 앞에서 열거한 문제점에서 벗어날 수 없는 것이다. 만약 추론의 대상인 모집단이 온라인을 사용하지 않는 사람까지 포함한 전체 일반인이라면 문제는 더욱 복잡해진다. 누구나 쉽게 인터넷 사용자층과 일반인과의 인구통계학적, 사회심리학적인 차이가 있음을 지적할 수 있기 때문이다. 비록 미국 인터넷 사용자가 전체 가구의 60%를 넘어서고, 그 인구통계학적 특성이 일반인과 점차 비슷해지고 있다고 하더라도(표 1 참조), 아직 온라인 사용자는 일반인에 비해 젊고 교육수준이 높은 성향을 보이고 있다. 특히 온라인 사용자들은 정치, 사회문제에 적극적인 참여 성향을 보이고 테크놀러지에 대한 수용 태도에 있어서 오프라인층에 비해 휠씬 개방적이기 때문에 인터넷 조사결과를 일반인에게 그대로 적용하기에는 무리가 많은 것이다. <표1>미국 인터넷 사용자와 일반인의 인구통계학적 비교(%) 인터넷 사용자층 미국전체 95(%) 97(%) Today(%) Black 1 8 10 12 Hispanic 9 8 10 8 Women 21 46 48 52 대학졸업 이상 학력 57 38 31 22 연소득 2만 5천불 이상 15 18 21 27 65세 이상 고령층 3 3 6 17 자료: Harris lnteractive 그런데 미국 최고 명문대학 중 하나인 스탠포드대학의 정치학 박사 출신인 Black 은 이와 같은 문제점을 누구보다도 잘 알고 있었다. 그는 빠른 시간 내에 많은 데이터를 얻는 것도 중요하지만, 만약 그 결과가 대표성을 결여했다면 이는 아무 의미없는 숫자놀이에 불과하다는 평범한 진리를 지난 30여년의 경험을 통해 충분히 깨달았던 것이다. 따라서 그로서는 그간의 지식과 경험을 총동원해 과학적인 인터넷 조사 모델을 수립하고 이를 적극적으로 추진할 수 있는 조직구조를 설립하는 게 사장 취임 후의 첫 중대 과제였다.   Harris Interactive의 세 가지 전략   Harris사는 1998년에 처음으로 인터넷을 기반으로 한 조사결과를 발표한다. 그리고 그 이듬해인 1999년에는 아예 회사 이름을 Harris Interactive로 바꾸고, 인터넷 조사를 회사의 주력 서비스로 설정했다. 이에 99년 당시 전체 수익의 10%에 불과했던 인터넷 조사 서비스는 2001년 현재 전체 매출액의 64%를 차지하는 주요 수익원으로 자리잡았는데, 무엇보다도 중요한 것은 매년 2배 이상씩 급팽창하고 있는 인터넷 조사 시장에서 16%의 시장점유율로 업계 1위의 자리를 고수하고 있다는 것이다<그림 참조>. 그런데 이와 같은 성공적 변신의 근간에는 Black이 추구해 온 두 가지 전략이 숨어 있었다. 1. 과학적인 인터넷 조사 기법 수립-Propensity Weighting과 2%의 경쟁력   인터넷 조사 표본집단의 문제점을 해소하기 위해 누구나 쉽게 생각할 수 있는 방법은 ‘weighting’이라는 단순한 통계 기법이다. 이를 쉽게 얘기하면, 인터넷 사용자층이 그렇지 않은 일반인에 비해 남성 비율이 상대적으로 높다면 여성 응답자의 응답 문항에 일정 정도의 가산값(weight)을 부여해서 그 비율을 조절하는 방식이다. 그러나 정작 중요한 문제는 인터넷 사용자, 비사용자간의 차이가 단순히 인구 통계학적인 차이에만 기인하는 것이 아니라는 점이다. 앞에서도 언급한 바와 같이 이 두 그룹은 그 밖에도 다양한 사회심리적, 행태적 차이를 보이고 있기 때문에 어떻게 하든 이를 조절하는 방안이 필요했다. Harris Interactive는 이를 해결하기 위해 ‘propensity weighting’이라는 통계적 기법을 사용키로 했다. propensity weighting이란 조사자가 비확률적 추출방식을 택했을 때 표본집단의 특성에 인해 일어날 수 있는 오류를 통계적으로 수정하기 위해 고안해낸 방식이다. 즉, 개별응답자가 표본집단 / 실험집단에 속할 경향성(propensity)과, 비교집단(control group)에 속할 확률 (likelihood)을 예측할 수 있는 모델을 만들고, 이를 통해 얻어진 계수 (propensity scores)를 가산값으로 이용하는 방식을 일컫는 것이다(Propensity weighting에 대한 자세한 설명은 “Rosenbaum, P. & Rubin, D. (1983). The central role of the propensity score in observational studies for causal effects. Biometrika, 70 (1), 41-55” 참조). Harris Interactive는 이와 같은 통계적 기법을 이용하기 위해 모든 설문조사를 인터넷과 전화인터뷰를 병행하여 실시했다. 아울러 각종 사회심리적인 요소들을 이용해 개별 응답자가 인터넷 조사 샘플(그룹 1), 혹은 전화 인터뷰 샘플(그룹 2)에 속할 것인가를 추측할 수 있는 예측 모델(logistic regression과 아주 비슷한 모델)을 만들었다. 그리고 이 모델에서 얻어진 계수(coefficients)는 인터넷 응답자의 설문 문항에 가산값으로 적용되어 인터넷 사용자와 일반인간의 오차를 줄이는 데 이용되었다. 일견 간단해 보이는 작업 같지만 Harris가 이 방식을 토대로 한 본격적인 조사결과를 외부에 발표하기까지에는 이와 같은 설문조사를 약 100회에 걸쳐 반복하고, 이를 토대로 끊임없이 모델을 수정(예측 모델에 집어넣을 변수와 계수 설정)하는 지루한 작업이 계속되었다.   <표2>인구통계학적인 Weighting과 Propensity Weighting을 통한 오차수정 사례 Question: 사회적 폭력(violence) 증가에 영향을 끼치는 요소는? 전화설문조사(%) 인터넷 조사 인구통계학적 Weighting(%) Propensity Weighting(%) 뉴스 39 39 40 비디오 게임 47 43 45 TV 58 51 54 영화 57 53 57 총기 사용 허용 65 57 60 규제/감독 소홀 90 91 92 자료: Harris lnteractive 그리고 그 결과는 매우 성공적이었다. 모델 검증 결과 Harris Interactive는 전화 설문조사와 인터넷 조사간의 오차가 평균 9%이상 나타나지만, 인구통계학적인 weighting을 썼을 경우는 4%, propensity weighting을 함께 병행했을 때는 2%까지 줄일 수 있다는 확신을 얻게 되었다(표 2 참조). 그런데 바로 이 2%의 차이- 인구통계학적인 weighting과 propensity weighting의 차이-는 향후 Harris Interactive가 인터넷 조사시장에서 부동의 1위를 차지하는 핵심역량으로 평가받는다. 즉, 다른 경쟁사들이 인구통계학적인 weighting 방식만을 고집하고 있을 때 Harris Interactive는 propensity weighting이라는 독자적 기술(tool)을 개발함으로써 ‘2%의 차이’를 얻었고, 그것이 결국 Harris Interactive사가 향후 거의 모든 시장조사를 인터넷기반으로 전환하는 데 가장 중요한 근간이 된 셈이다. 2. 조직 개편 및 기반 확충   Harris Interactive는 기왕에 인터넷 조사서비스를 회사의 주력 분야로 설정한 만큼 이에 합당한 조직 및 인원 개편이 불가피하다고 판단했다. 기존의 설문조사 방식에서는 전화를 통한 데이터 수집(data collection)에 대부분의 비용과 인원이 필요했다면, 인터넷 조사는 이와는 다른 조직과 인원, 그리고 기술적 투자가 요구됐기 때문이다. Harris Interactive는 본격적인 인터넷 리서치 회사로 탈바꿈하기 위해서는 우선 기술적 기반 (technological infrastructure)에 대한 대대적인 투자가 필요하다고 생각했다. 현재, Harris는 한시간 내에 29만 명의 조사자에게 이메일을 발송하고, 14만 4천 개의 설문조사를 처리할 수 있는 시스템을 보유중인데, 대규모의 표본 집단추출 및 설문조사를 자동으로 처리하기 위해서는 이와 같은 고도의 데이터베이스 시스템과 네트워크를 개발 관리할 수 있는 노하우 및 인원 확충이 필수적이었다. 마찬가지로 주요 연구 조사기법이 비확률적 추출로 바뀐 만큼 이에 적절한 전문가 집단을 충원하는 일도 급선무였다. 이를 위해 Harris Interactive는 기존 인력의 대다수를 차지했던 전화 설문조사자와 불필요한 조직들을 줄이고 기술개발 및 전문가 집단 유치에 필요한 모든 자원을 투입했다. 뉴욕주 Binghamton시에 자리잡고 있는 전화설문 센터를 폐쇄하고 이에 속한 125명의 인원을 감축한 것은 그 한 예에 지나지 않는다. 또한, 회사의 조직구조를 개편하여 e-business 컨설팅·광고· 카피/컨셉트 테스트 등 인터넷을 기반으로 한 새로운 서비스를 담당하는 ‘emerging markets’ 분야를 독립 부문(division)으로 확대 개편하는 등 전통적인 설문 조사기업에서 인터넷 시장 조사(market research) 기업으로의 변신을 위한 기반을 갖추었다. 한편, Harris Interactive는 사업 경쟁력의 또 다른 필수요소인 대량의 인터넷 표본집단(sampling list)확보를 위해 타 기업과의 전략적 제휴(strategic alliance)를 아주 적절히 활용했다. 먼저, 자체 조사결과 인터넷 조사가 안정적인 예측을 제공하기 위해서는 최소한 4~5백만 명 이상의 이메일 리스트를 확보하고 이 중에서 무작위로 조사 대상자를 추출해야만 한다는 잠정적인 결론에 이르렀다. 그런데 문제는 상업용 이메일 메시지(spam mail)에 강한 거부감을 보이고 있는 이메일 사용자로부터 높은 설문응답을 얻기 위해서는 사전에 조사 대상자들로부터 인터넷 조사 여부에 대한 허가(permission)을 얻어야 한다는 점이었다. 이를 헤쳐나기기 위한 수단의 하나로 Harris는 초고속 인터넷 사업자인 Exite@Home사와 전략적 제휴를 맺어 4백만 명의 조사 대상자 이메일 리스트를 확보했다. 또한 일본의 광고회사인 덴츠(Dentsu)와 50:50 수익 분할을 기초로 계약을 맺어 덴츠가 보유한 50만 명에 달하는 데이터베이스를 공유하기로 했다. 결국, 이러한 작업을 기초로 현재 Harris Interactive사는 약 8백만 명에 달하는 인터넷 조사 대상자 리스트를 보유하기에 이르른 것이다. 맺음말   현재 Harris Interactive는 매달 6백만 이상의 인터넷 사용자를 대상으로 다양한 설문조사를 실시하고 있다. 제공 서비스 또한 점차 다양해져서 일반 소비자를 이용한 기업 신뢰도나 제품이미지 측정부터, 전자상거래, 의료실험 테스트까지 그 분야를 확대하고 있다. 아울러 2001년 2월에는 시장조사 업계 순위 5위인 Yankelovich사의 소비자 리서치 부문을 인수함으로써 점차 그 위상을 확고히 하고 있다. 흔히들 하는 얘기지만 인터넷을 이용한 사업에는 왕도(王道)가 없다고 한다. 그만큼 거품도 많고 변화의 속도도 빠르다는 얘기겠지만, Harris Interactive의 경우는 보수적인 조사업계의 우려를 뒤로 하고 인터넷이라는 신기술을 이용해서 회사의 주력서비스(core business) 분야를 성공적으로 개선한 좋은 사례라 하겠다.