최근 여론조사 결과를 둘러싸고 나오는 질문들이다. 이에 답하기 위해서는 여론조사, 특히 정치분야 여론조사가 어떻게 이뤄지는지 살펴봐야 한다. 무엇보다도 ‘조사 방법’과 ‘표본 추출 프레임(표집 틀)’을 구분할 수 있어야 한다.
◇조사방법은 전화면접조사와 ARS가 대부분
정치분야 여론조사에서 많이 쓰이는 조사 방법으로는 자동응답시스템(ARS)과 전화면접조사가 있다. 이중 전화면접조사는 조사원이 전화를 해서 질문을 읽어주고 답을 받는 방식이다. 제한적이지만 전화를 받는 상대방의 연령과 성별 등을 파악할 수 있다. 사람 대 사람이 접촉하는 방식이다 보니 전화를 끊는 비율이 ARS보다 상대적으로 낮다.
ARS 조사는 녹음된 목소리 혹은 기계음이 물어보는 식이다. 일방향성이 강하다 보니 중간에 끊는 경우가 많다. 끝까지 전화를 놓지 않고 적극적인 조사에 임하는 집단이나 계층이 있다면 이들의 응답이 과표집될 개연성이 있다. 이는 조사 결과에까지 영향을 주게 된다. 최근 논란이 된 조사 결과가 대표적인 예다.
이외 온라인 조사가 있다. 흔히 보는 웹 기반 조사다. 정치 외 영역에서 많이 쓰인다. 기업들의 시장 조사 등에 활용된다.
개별면접조사도 있다. 설문지를 직접 들고 다니면서 대면으로 응답자와 접촉하는 조사다. 정치권에서는 선거일 출구조사 외에는 잘 쓰이지 않는다.
|
그 중 안심번호 방식이 있다. 안심번호는 SK텔레콤, KT, LG유플러스 3개 통신사에서 제공하는 번호를 조사업체가 알 수 없게 변환해 제공하는 방식을 말한다. 가입자의 지역과 성별, 나이 등 기본적인 표본화가 가능하다. 이런 이유로 안심번호에 대한 신뢰도가 높다.
무작위전화걸기(RDD)도 많이 쓰이는 방식이다. 무작위로 010 번호를 추출하는 방식이다. 조사 업체 입장에서는 간편하다. 문제는 지역별, 성별, 연령별, 구성의 표본을 맞추기가 어렵다는 점이다. 무작위로 생성한 번호이기 때문이다. 무작위로 생성했기 때문에 틀린 번호나 팩스번호·사무실 번호 등 적격번호가 아닌 경우도 다수 있다. 전국단위 조사 이외에 자치단체조사나 국회의원 선거구 조사에서는 활용할 수 없는 제한이 있다.
다른 방법은 응답자 패널을 두는 방식이다. 한국리서치만 해도 100만명 정도 패널을 두고 있다. 여론조사가 필요할 때 100만명 안에서 표본을 추출해서 물어보는 식이다. 이 방식을 사용하면 응답률을 더 높일 수 있다. 나이, 성별, 지역은 물론 직업 등까지 세세한 표본화가 가능하다. 그러나 패널 구성 자체를 놓고 편향성 시비가 있을 수 있어 정치여론조사에는 잘 사용되지 않는다.
마지막 방법은 리스트가 있다. 표본과 상관없이 특정 집단 내에서 통용되는 조사를 할 때다. 정치 여론조사에는 정당 당원 등을 대상으로 한 제한적인 상황에서만 적용한다.
결론적으로 봤을 때 대부분의 정치 여론 조사는 안심번호나 RDD 방식을 통해 ‘전화를 걸 대상’, 즉 표본을 추출하고, ‘전화면접이냐’, ‘ARS냐’를 놓고 조사방법을 선택하게 된다. 경우의 수로 나눠보면 ‘안심번호-전화면접조사’, ‘안심번호-ARS’, ‘RDD-전화면접조사’, ‘RDD-ARS’가 된다.
◇응답률을 높이기 위한 방법은?
다시 질문으로 돌아와 보자. 정치 여론조사에서 신뢰도 상승은 최대한 응답률을 높이는 데 있다. 응답률이 조사의 신뢰도를 좌우하는 유일한 지표는 아니라고 해도, ‘조사 과정 관리의 엄격성을 진단하는 주요한 요건’이 된다. 응답률이 높을수록 모집단을 반영하는 게 확률적으로 더 높아지기 때문이다.
응답률만 놓고 봤을 때는 ‘안심번호-전화면접조사’가 가장 높고 ‘RDD-ARS’ 방식이 가장 낮다고 볼 수 있다. 이를 반영하듯 신뢰도 면에서 인정받는 여론조사는 대부분 ‘안심번호-전화면접조사’ 방식을 사용한다. 실제로 이 방식을 이용한 조사에서 여야 지지율 역전 현상이 일어나자 여론조사 업계는 물론 정치권에서도 수긍하는 분위기가 됐다. 문제는 전화면접조사 방식은 실제 조사원이 전화를 건다는 점에서 비용이 많이 든다는 점이다.
|
그 외 부수적인 것으로는 설문 문항 수를 줄이거나, 조사 기간을 넉넉히 늘리거나, 응답자에 사례비를 지급하는 노력 등이 있다. 이들 모두 특정 집단의 응답이 과표집되는 것을 막기 위한 방안이다.
왜 정치 여론조사에는 온라인 조사를 하지 않느냐는 질문도 있다. 실제 기업 마케팅을 위한 시장 조사에서 이 방식은 많이 사용된다. 모바일로 간편하게 할 수 있는 이점이 크다. 정치 여론조사에도 온라인 조사는 ‘가능하다’고 할 수 있다. 현실 적용이 어려울 뿐이다. 가장 큰 이유는 무작위적으로 추출된 표본 대상자의 휴대전화 번호나 이메일을 일일이 확인하기 어렵다는 데 있다. 이를 해결하기 위해서는 여론조사 업체가 사전에 구축한 응답자 패널을 대상으로 조사해야 한다. 그렇게 해도 표집 틀에 있어서 대표성 시비에서 자유로울 수 없다.
게다가 70대 이상 노년층은 응답자 패널로 참여시키기가 쉽지 않다. 설령 응답자 패널에 70대 응답자를 포함시켰다고 해도, 이들의 성향이 다수 70대 성향과 다를 수 있다. 결국 조사업체 응답자 패널의 대표성을 보증할 수 있을 때라야 보편적으로 활용할 수 있는 방법이다.
앞으로 몇 년 정도 지나면 전화면접조사(비용)나 ARS(신뢰성)가 안고 있는 문제점이 상당 부분 해결될 수 있다고 본다. 바로 인공지능(AI) 조사원의 등장이다. 만약 현실화가 된다면 ‘비용 절감·조사기간 단축’, ‘면접원 표준화 문제 해소’라는 ARS의 장점에, 전화면접의 ‘쌍방향 의사소통’ 강점까지 더해지게 된다. 조사 업계도 획기적인 변화를 맞게 되는 것이다.
