불성실 응답·가상번호의 함정을 보라-김봉신(메타보이스㈜ 이사) > 칼럼, 기고

불성실 응답·가상번호의 함정을 보라

단일화 예측 문항 ‘컨벤션 선행효과’ 경계

인물과 정당 지지도 묻는 순서따라 달라져

수많은 영향 요인·정세적 역동성 파악해야

여론조사 관련 기사 작성에서 기본은 여론조사 결과가 현실의 의견 분포와 다를 수 있다는 점을 이해하는 데서 시작해야 한다. 실제 의견 분포와 여론조사가 달라지는 이유를 생각하면서 더 정확한 여론을 전달할 수 있게 된다.

먼저, 여론조사는 본질적으로 점 추정이 아닌 구간 추정이라는 점을 반드시 명심하고 오차범위를 넘지 않는 비율 차이를 절대시해서는 안 될 것이다. 표본 수에 따라 오차범위는 달라지니, 전체 표본 중 하위 집단 내의 격차를 해석할 때는 부분 집합에서 적어진 표본 수에 따라 오차범위는 더 커진다는 점도 고려해야 한다. 오차범위는 정례적으로 발표하는 조사에서 변동 폭의 유의성을 따질 때도 적용된다는 사실도 알아둬야겠다.

최근 여론조사 결과 간 차이를 해석하는 데에는 국내 여론조사에서 많이 쓰고 있는 자동응답(ARS) 방식 여론조사를 정확하게 이해해야 한다. 가성비가 좋다고 해서 언론사에서도 많이 채택하고 있는 자동응답 방식 여론조사는 녹음된 음성을 통해 응답을 받기 때문에 응답자가 연령대나 성별을 속이는 응답에 무방비다. 또한, 응답해달라고 독려할 수 없어서 저관여 유권자는 중도 이탈하게 돼 응답률은 낮고 고관여자 중심으로 추출하기 마련이다. 적으면 3%에서 많을 때 10%대의 불성실 응답이 발생한다고 하니, 사실 여론을 그대로 반영한다고 보긴 어려워 해석하는 데 주의가 필요하다.

고관여자 중심으로 추출한 결과는 여론의 양극화를 촉진하기도 한다. 국내 유권자 중 대통령에 대해 ‘매우 긍정 평가’하거나 ‘매우 부정 평가’하는 유권자가 다수라는 점은 누가 생각해도 이상하다. 중립적 평가자를 증발시키는 역효과가 있다는 사실에 주목해야 한다. 국내 정서적 정파 대립에 자동응답 조사가 미친 영향이 적지 않다. 없는 여론을 만들어 실제 여론에 오히려 영향을 주는 ‘왝더독’ 현상은 한국 정치에서 더 강하게 드러나는 특성이다.

자동응답 조사의 문제는 여기에서 끝나지 않는다. 고관여자 응답자들은 여론조사의 표본으로 선정되기 위해 적극적으로 연령대를 속이는 경향이 발생한다. 당내 경선이 진행되는 기간에 여론조사 전화를 받으면 연령대를 속이라고 공공연히 선동하는 정치인도 있는 실정이다.

추출틀 문제도 최근 이슈다. 국회의원 선거를 앞두고 지역구 유권자 대상 조사의 대부분은 추출틀로 통신사에서 선관위로 제공하는 가상번호다. 그런데, 가상번호는 3대 통신사 이용자가 통신요금 고지서 수령처로 지정한 지역을 기준 삼기 때문에 사실 실제 주민등록주소와 다를 수 있어 문제가 된다. 오피스타운을 끼고 있는 지역구 조사를 위해 가상번호를 받으면 40% 이상이 해당 지역 거주자가 아니라고 한다. 이처럼 요금 고지서 기준 가상번호 제공 방식은 조사를 어렵게 할 뿐만 아니라, 특정 지역구의 주민으로 가장해 여론조사에 응답하려는 일부 선거 관여자의 탈법 욕구를 자극한다.

최근 필자는 여론조사를 해석하는 데 있어 업계와 언론이 아주 중요한 사실을 간과하고 있다는 점을 밝히지 않을 수 없다. 문항에 의한 편향이다. 과거 2022년 1월에 같은 조사회사가 같은 방법으로 거의 비슷한 시기에 조사한 결과에서, 하나는 이재명 대 윤석열 후보 간 격차가 10%포인트가 넘었지만, 또 다른 하나에서 거의 붙은 것처럼 나온 적이 있다. 두 후보 간 격차가 소거되고 대등하게 나온 조사에서는 윤석열과 안철수의 단일화 문항이 들어가 있었다. 발생하지도 않은 컨벤션을 설문한 효과, 즉 ‘컨벤션 선행효과’가 나타난 것이다.

최근에는 동일 지역구 여론조사에서 10% 중반대 격차가 발생하기도 하고, 두 후보가 오차범위 내에서 미세한 차이만 있는 것으로 나타나 혼동이 있다고 한다. 이 차이는 지지하는 후보를 묻는 문항이 설문 구조에서 어디에 위치하는지에 따른 것이다. 문항 순서효과다. 지지하는 정당보다 앞서 인물을 묻는다면 인물 경쟁력에 의한 선택이 강해지지만, 정당을 먼저 묻는다면 정당 지지 성향에 의한 일관 선택 경향이 발생해 두 후보 지지도 차이는 정당 지지도 격차 정도로 수렴된다.

이처럼 문항효과는 여러 가지로 여론조사 결과에 영향을 미치는데, 최근 발생하는 ‘하우스 이펙트’도 반복되는 문항효과에 따른 것으로 필자는 해석하고 있다. 일부 여론조사 업체는 조사 결과를 유튜브 채널의 콘텐츠로 활용하곤 해 채널 구독자의 성향에 맞는 문항만으로 조사를 하거나, 지나치게 흥미 위주로 문항을 만들어 정례조사를 해왔다고 한다. 이 경우 이념 성향별로 어느 한쪽이 체계적으로 이탈하는 현상이 반복되고 이 사실이 언론을 통해 언급되면, 문항효과에 의한 하우스 이펙트, 즉 기관 효과로 굳어진다. 이처럼 진보나 보수 어느 한쪽 성향에서 응답을 거부하는 경향이 굳어진 조사업체가 결과를 내놓는다면 그 결과를 그대로 인용하기는 어렵게 된다.

여론조사는 많은 영향 요인이 있어서 같은 시기에 조사한 결과도 다른데, 어떻게 선거 결과와 같길 기대할 수 있단 말인가. 영향 요인을 잘 이해하고 정세적 역동성을 맥락적으로 파악해야 여론조사도 잘 읽을 수 있다.

김봉신

메타보이스㈜ 이사