죠셉의 세상이야기

여론조사는 무엇이며 어떻게 조사되는지 찾아보았습니다.

일단 영어로는 Public Opinion Poll 이라고 합니다.

어떤 사회 집단의 여론을 알아보는 조사입니다. 유권자 수천만명의 전체 구성원 모두에게 여론을 알아볼 수는 없으므로 표본을 뽑아 조사하는데, 표본 내에서도 나이, 성별 등 지위에 따라 성향이 다를 수 있기 때문에 각각 인구비례에 맞추어 조사하며, 각 집단별로 차이도 분석합니다.

여론조사가 과연 진짜 여론을 알 수 있는가에 대해선 논란이 많습니다. 우선 표본 선정 과정에서 편향적이기 쉬운 문제가 있습니다. 

예를 들어 국내 정치 여론조사의 경우 중장년층이 주로 응답하는 집전화(유선) 조사는 보수정당에 유리하게 나오는 반면, 청년층도 많이 쓰는 휴대전화(무선) 조사는 민주당과 진보정당에 덜 불리한 경향성이 있다는 지적이 나오고 있습니다. 요즘시대에 집전화 없는사람들도 많고, 집전화를 받는 젊은 사람들은 더더욱이 없습니다.

다만 무선조사의 경우 중장년층도 청년층과 마찬가지로 휴대폰 많이들 쓰기 때문에 어느 한쪽이 일방적으로 유리하다고 보긴 어렵다는 분석이 타당해보입니다. 

다만 정치 현안이 아닌 지역구 선거 관련 조사 같은 경우 유자의 거주지를 확신할 수 없다는 단점 때문에 휴대전화 조사는 거의 사용되지 않습니다.

또 같은 소득, 같은 연령대라도 정보화가 된 사람이 개혁적인 성향을 가지는 경향이 높은 등 여러 오차변수가 많습니다. 때문에 김민석 의원 같은 경우 여론조사는 아무리 정확하게 한다고 해도 5% 내외는 틀리게 되어있다며, 여론조사로 선거 후보를 결정하는 것은 없어져야 한다는 의견을 제시하기도 했습니다.

이런 표본 선정의 편향성 덕분에 여론조사가 틀린 극단적인 사례로는 과거 1930년대 미국의 리터러리 다이제스트를 예를 들수 있습니다. 

이 곳에선 자기들의 잡지를 구독하는 사람, 자동차 보유자 등에게 엽서를 보내 답신을 받아 여론조사를 하여 당시 공화당 후보가 민주당 후보였던 프랭클린 루스벨트 후보를 꺾고 대선에서 승리할 것이라고 발표한 적이 있었으나, 당시가 대공황기여서 중산층조차 차와 잡지를 맘대로 즐기지 못하던 시절이란 것을 간과한 표본 편향성 탓에 실제 결과는 처참하게 틀렸고, 2년 뒤엔 회사도 망했습니다.

이런 표본선정과정은 편향성을 줄이기 위해 무작위 표본을 추출해도 편향성의 문제가 생기곤 합니다. 

그래서 이를 보완하고자 여론조사 업계들도 부단히 애를 쓴다고 합니다. 

실제 세월이 흘러 계속 데이터가 쌓여가면서 집전화와 휴대전화 비율을 조정하고 응답률에 따른 보정치를 통해 수치를 조정해가면서 2010년대 들어선 실제 여론과 제법 비슷하게 맞추어가고 있는 것처럼 보이기도 했습니다. 

이를 반증하듯, 2012년 제19대 총선부터는 여론조사와 실제 선거 결과가 많이 들어맞기 시작했으나 2016년 20대 총선에서 수도권을 중심으로 여론조사와 동떨어진 선거 결과가 속출하면서 다시 신뢰도가 떨어졌습니다. 그나마 전국 단위 여론조사는 그럭저럭 비슷하게 나왔지만 지역구 단위에서는 거의 재앙급으로 빗나갔습니다. 표본수 자체부터 차이가 날 뿐더러 일단 이런 지역구 선거 관련 여론조사의 경우 휴대전화 조사는 소유자의 거주지를 확신할 수 없다는 단점 때문에 여론조사기관들이 조사시 엄청 배제하는 경향이 강합니다.

이는 해외에서도 마찬가지라 2016년 미국 대통령 선거에서도 경합주였던 러스트벨트 지대 여론조사가 5% 이상 빗나갔습니다. 

여기도 전국 단위 여론조사는 그럭저럭 비슷하게 나왔지만, 주 단위에서 거의 재앙급으로 빗나간 셈입니다. 브렉시트에 이어 두번 연속 이런 일이 벌어지자 서구권에서도 여론조사의 신뢰성 문제가 지적되었습니다. 이후 대부분의 여론조사가 인터넷으로만 이뤄지는 프랑스 여론조사 같은 방식이 주목받기도 했습니다.

물론, 여론조사대로만 선거가 끝나버린다면 재미가 없겠죠.

대부분 여론조사 기관은 집전화와 휴대전화 비율을 자기들 마음대로 정해 그 비율을 연령대에 상관없이 적용하여 조사하는 습관이 있어서, 정권 지지도나 정당 지지율 같은 경우 조사기관마다 들쭉날쭉한 경향이 강하다고합니다. 

이 때문에 여론조사 결과는 여론조사기관 입맛에 따라 국민들의 민심을 멋대로 왜곡할 수도 있고, 일부 네티즌들이 이 편향된 여론조사 결과를 인용하면서 특정 세력이 유리할 것이다 혹은 조작이다라고 단정짓는 경향이 발생할 수도 있습니다. 

즉, 여론을 알아보려고 한 조사인데 오히려 여론을 호도하는 자료로 사용될 수 있다는 것입니다. 고로 어디까지나 여론조사는 대중들의 여론을 지레짐작 알아보기 위한 것이지 여론조사의 결과가 바로 투표 결과로 직결되는 건 아니므로, 여론조사 결과를 무조건 신뢰하지 말고 다른 자료와 교차검증을 해보는 것이 현명하다고 할 수 있겠습니다.

여론조사에 대한 오해들을 정리해 보았습니다.

1. 응답률이 낮아서 실제로는 극히 낮은 인원으로 여론을 판단한다는 말이 있습니다.

1000명을 조사했다, 2000명을 조사했다 등등의 말들이 있는데, 고작 그정도 숫자로 대변할수 있을까? 라는 의문이 생기더군요.

근데 그말은 응답률은 '조사완료자/연결된 사람'을 뜻합니다. 예를 들어 2000명을 조사한 여론조사에 응답률이 4%라면 마치 전체 조사시도한 사람이 2,000명이고 응답한 사람은 달랑 80명 같지만, 연결까지 성공한 사람은 50,000명이고, 응답해서 실제로 조사완료한 사람이 2,000명이라는 뜻입니다. 

여기에 애초에 조사대상이 아니었던 사람, 아예 처음부터 받지를 않은 사람까지 합하면 조사시도한 사람 수는 훨씬 불어납니다.

2. 50, 60대 등 장노년층의 응답만 반영한다는 말이 있습니다.

집전화를 이용한 조사방법은 전화국의 번호 등으로 지역을 가려낼 수 있기 때문에, 전국 대상이 아닌 조사를 할 때 대부분의 경우를 차지합니다. 

이럴 때, 필연적으로 주부, 은퇴 등으로 집에 있는 시간이 긴 장노년층의 응답이 많을 수 밖에 없습니다.

그런데 여기서 가중치 부가 작업을 가합니다. 응답해서 나온 결과치는 나이가 많을수록 많고, 적을수록 적어집니다. 

이 결과치를 실제 세대별 인구 비와 비슷하게 맞추는 과정을 말합니다. 그 결과 실제 세대 비율과 같게 조작한 결과가 나옵니다. 

젊은 1명의 응답은 나이든 사람 1명의 응답보다 큰 영향을 끼치게 되는 것입니다. 이 가중치 부가 작업은 거주지역, 성별, 직업군 등에서도 이뤄집니다. 

그러나 너무 응답한 결과와 실제 인구비의 폭이 너무 커서 젊은 사람 1명의 응답이 너무 많은 영향을 끼치게 되면, 여론조사 결과가 왜곡되는 결과를 낳을 수 있다고 합니다.

3. 표본 수가 적어서 의미가 없다는 말이 있습니다.

위의 오해와는 달리 통계와 확률에 대한 이해 부족에서 비롯된다고 합니다. 

위의 2000명 여론조사는 보통의 여론조사에서 매우 많은 조사인원입니다. 그 이유는 보통 표본 추출 작업, 가중치 부가 작업이 잘 되었다는 전제하에 1000명 정도면 충분히 의미있는 결과를 내고도 남기 때문입니다. 물론 지역단위면 더 적은 인원으로도 가능합니다. 때문에 여론조사기관 입장에서는 별 차이 없는 결과에 수만 명의 집에 전화를 더 돌리는 수고를 하지 않는 것입니다. 

수만명의 의견을 어떻게 몇백 명으로 알 수 있겠냐는 의견은 그 몇 백명 중 영향을 줄 수 있을 만큼 많은 수(예를 들면, 50명 이상)가 실제 여론과 상관없이 골라질 수 있는지 확률으로 계산해보면 됩니다. 괜히 3~4% 구간을 잡아놓고 그 안이 95% 신뢰도니 하는 게 아닙니다. 하지만 실제 오차범위 이상으로도 틀리는 경우는 분명 존재합니다.

한편 '여론'을 조사하는데 유용하기 때문에 이런 확률은 조사대상인원이 너무 적은데 대상인원이 적다고 총 조사인원도 너무 적게 잡으면 급격히 의미가 떨어집니다. 

물론 이 조사는 표본 추출 작업, 가중치 부가 작업이 잘 되었다는 전제하에 이루어져야 하므로, 이 작업을 잘하느냐 못하느냐가 여론조사기관의 급을 나누는 기준이 됩니다.

여론조사를 볼 때 주의할 점으로는 어떤 것들이 있을까요?

여론조사 결과를 보면 흔히 마지막에 "신뢰 수준 95%에 오차범위 ± A%"라 나오는데 두 응답의 격차가 'A'의 2배가 아닌 이상 의미가 약해집니다.

예를 들어 A 지방에서 대통령 B에 대한 호불호를 조사할 때 신뢰도 95%에 오차범위 ± 3.1%로 조사했다고 가정 해 봅시다. 

만약 조사 결과가 각각 '잘했다 42% vs 못했다 40%' 이렇게 나왔다면 그 지역에선 잘했다고 생각하는 사람이 못했다고 생각하는 사람보다 많은 게 아니라, 비슷할 것이다(경합)라고 말해야 됩니다. 

왜냐하면 이 때 두 응답의 격차는 2%로 오차범위의 2배(3.1*2=6.2)보다 적기 때문에 오차가 발생할 수 있기 때문입니다.

만약 '잘했다 55% vs 못했다 35%' 이렇게 나왔다면 그 지역에선 잘했다고 생각하는 사람이 못했다고 생각하는 사람보다 많다고 말해도 됩니다다. 

왜냐하면 이 때 두 응답의 격차는 20%로 오차범위의 2배(3.1*2=6.2)보다 많기 때문입니다. 

다만 이 말도 꼭 맞진 않습니다.

여론조사상 오차범위의 2배 이상 차이나던 후보가 실제 선거에선 낙선하는 경우도 발생합니다. 

이런 경우 모든 케이스가 그렇진 않겠지만 어느 쪽도 지지하지 않고 부동층에 머물러있던 사람들이 선거 막판 그래도 최악보단 차악 심정으로 한쪽에 쏠리는 경우 이런 결과가 나올 수 있습니다. 

즉, 여론조사 결과를 볼때 부동층 비율도 염두해두면 도움이 된다는 것입니다. 물론 여론조사에서도 과반이 넘으면 이런 결과가 나올 확률은 현저히 줄어듭니다.

만약 잘했다와 못했다에 응답한 사람의 비율이 서로 바뀌었다고 해도 역시 그렇습니다.

더 나아가 같은 기관으로 같은 방법으로 조사한 두 조사 결과를 비교할 때도 주의가 필요합니다. 왜냐하면 서로 다른 방법으로 조사하면 당연히 비교할 수조차 없습니다.

이 경우 둘 다 같은 오차범위 ±A%p일 때 결과의 차이가 A의 1.4배 이상이어야 의미가 있습니다. 

정확히는 2의 제곱근이라고 하네요.

실제로는 오차범위는 조사 인원 말고 조사된 확률 자체에도 영향을 받는데, 보통 최대 오차범위만 공표하므로 이렇게만 알아 둬도 됩니다.

참고문서

절대로 A만큼 차이나면 되는 게 아닙니다.

여론조사를 실시하는 곳은 생각보다 많은데, 특히 요즘과 같은 선거철이 되면 네임드 여론조사 기관 외에도 온갖 잡다한 언론, 조사 기관들이 여론조사를 실시하고 이를 공표합니다. 

그리고 이 경우 조사기법의 차이나 여론조사 기관 자체의 한계, 부동층 등의 영향으로 선거 막판이 아닌 이상 각 기관들의 결과치가 들쭉날쭉 할 수 밖에 없습니다. 

그러므로 여러 기관들의 조사 결과에 일희일비하며 보는 것은 적절치 못하며, 각 기관들의 결과 변화 추이를 위주로 추세를 살피는 것이 여론조사를 잘 읽는 방법 중 하나라고 볼 수 있겠습니다.

정치에 매우 열성적인 일부 커뮤니티들에서는 선거철이 다가오면 이런 여론조사 결과에 일희일비하며 온갖 여론조작설을 제기하는 사람들이 꼭 있다고 합니다.

중앙선거여론조사공정심의회

사이트 보러가기

여론조사 중 정치적인 이슈를 다루는 것은, 조사의뢰자 등에 따라 결과가 크게 달라지고 애초부터 설계가 불균등하게 짜여져 있을 수 있다. 이는 모든 여론조사를 공표할 의무가 없기 때문인데, 중앙선거여론조사공정심의회에 등록되어 공표하는 조사는 적어도 이런 조사들은 없습니다.

그렇다고 다 믿을만하다는 건 아니지만, 적어도 여기서는 표본 추출 작업, 가중치 부가 작업을 어떻게 했는지 자료를 첨부하고 있으므로 확인할 수 있습니다. 

또 조사의뢰자, 조사한 기관은 당연히 나와있고, 질문지의 질문 내용, 구성, 기사에는 나와있지 않는 상세한 자료들도 포함되어 있습니다.

국내 여론조사 기관으로는 한국갤럽,리얼미터,리서치뷰,알앤써치,한국리서치 등이 있습니다.

여론조사를 실시하는 곳은 생각보다 많습니다. 한국갤럽, 리얼미터 같은 네임드 기관 외에도 선거철이 되면 온갖 언론, 여론조사 기관들이 여론조사를 실시하고 이를 공표한다고 합니다.

상대적으로 한국갤럽은 친보수, 리얼미터는 친민주당계 성향의 여론조사 기관으로 알려져 있습니다만, 선입관도 좀 있는 것이, 실제 결과 보면 오히려 한국갤럽 조사에서 보수정당 지지율이 동시기 리얼미터보다 더 낮게 나오는 경우도 꽤 있다고 합니다. 즉, 이런 여론조사는 일희일비 하지말고 그냥 추세를 보는 정도로 참고하는 것이 좋습니다.

출처 : 나무위키, 본인생각