Blog

[추가 3] 2014-04-28 22:15

아래 여론조사를 시행한 리얼미터의 이택수 대표이사가 “국가재난과 대통령 지지율, 그리고 음모론”이란 글을 올렸다. 해당 글에는,

• 9.11 테러 이후 미국 대통령 지지율 변화 사례
• 논란이 되었던 해당 여론조사 이후 박근혜 대통령 지지율 추이
• 응답자 구성비 문제에 대한 해명
• 응답율 문제에 대한 해명

등이 포함되어 있다. 국가재난에 따른 대통령 지지율 변화는 잘 읽었다. 하지만 응답자 구성비 문제와 응답율 문제에 대한 해명은 다소 옹색한 측면이 있지 않나 싶은데, 그럼에도 불구하고 현실적인 어려움도 있겠다는 생각은 들었다.

글 내용 중 “지지율이 오르니 진보매체가, 지지율이 떨어지니 보수매체가 논란을 일으키는 기사를 쓴 것”이라는 내용은 좀 찔리더라. 나도 그런 면에서 발끈해서 썼다 삽질한 셈이기도 하니까. ㅡ,.ㅡ;

[추가 2] 2014-04-21 19:20

페이스북 몇몇 글의 댓글을 참조하여 생각해볼만한 부분을 덧붙인다. 친구 공개 글들이 있어서 출처를 따로 표시하지 않음을 양해바란다.

• 응답율 5.9%라 하면 4만 명 이상에게 시도해서 2,511명에게 답변을 얻었다는 뜻이다. 이 정도 응답율은 결과를 크게 왜곡시킬 수 있다. 통계청의 국가통계 응답율 산출방안에 따르면 미국의 경우 응답율 30% 미만의 여론조사 결과는 공표하지 않을 것을 권고한다.
• 샘플링이 적은 계층의 경우 그만큼 오차가 크기 때문에 통계 자체가 실제 모집단과의 차이가 크게 벌어지기 쉽다. 예를 들어 지금 통계자료에서 20대의 응답 한건은 무려 실제 모집단에서 3명의 의견을 대변한걸로 계산을 한거라는 말이다. 보정/가중치를 보수적으로 봐도 1.5이상, 좀 넓게 잡아서 2.0이상을 때려박은 계층이 있는 통계가 통계적 가치가 있는지 부정적이다.

[추가 1]  2014-04-21 18:30

아래 여론조사의 상세 보고서에 따르면, 해당 결과는 통계에 연령, 성별, 지역별 가중치를 적용한 것이라고 한다. 가중치를 적용한 후 50대는 19.6%, 60대 이상은 21.4%가 된다. 가중치에 의한 보정이 통계학적으로 아주 유의미하다면, 아래의 글은 전혀 읽을 가치가 없는 글이 될 수도 있다는 점을 참고하시길.

이미 발행한 글이기에 삭제는 하지 않고, 제목 끝에 물음표 하나만 덧붙이고(찌라시스러운 짓을… oTL) 이 설명을 덧붙였다. 좀 많이 부끄부끄하다.

뉴스1이 2014년 4월 21일 오후에 박근혜 대통령의 국정수행 지지율이 세월호 침몰 사고의 여파에도 불구하고 60%대를 유지하고 있다는 여론조사 결과를 보도했다. (“朴대통령 지지율 64.7%…세월호 영향 ‘미미’ / 뉴스1)

여론조사 전문기관 리얼미터가 공개한 4월 셋째 주 주간 정례 조사의 결과라고 한다. 이 와중에 뭔가 이상하다는 생각이 들었는데 소셜미디어도 들끓고 있더라. 그래서 이것저것 검색해 보니 이 조사 응답자의 40%는 60대 이상이고, 30%는 50대였다.

여론조사 응답자 30%는 50대, 40%는 60대 이상

해당 기사에는 응답자의 지역이나 연령 분포에 대한 내용은 없다. 그 내용은 중앙선거관리위원회 중앙선거여론조사공정심의위원회 사이트에서 볼 수 있다. (2014년 4월 3주 정당지지도조사(리얼미터) / 중앙선관위 중앙선거여론조사공정심의위원회)

내용을 보면 피조사자 선정방법은 “성,연령,지역별 무작위 추출 임의걸기(RDD) 방식”이라고 되어 있다. 기사에는 응답자가 2,500명이라고 되어 있었는데 정확하게는 2,511명이다.

• 성별: 남성 1,473명(59%), 여성 1,038명(41%)
• 연령별: 20대 이하 171명(7%), 30대 173명(7%), 40대 344명(14%), 50대 759명(30%), 60대 이상 1,064명(42%)

60대 이상이 40%가 넘고 50대까지 합하면 70%가 넘는다. 일단 그러려니 하고 넘어가 보자.

인구통계상 50대는 20%, 60대 이상은 22%

그러면 우리나라 인구에서 연령별 비중은 어느 정도나 될까. 안전행정부 주민등록 인구통계 사이트에 가보면 알 수 있다. (연령별 인구현황 – 월간현황, 안전행정부 주민등록 인구통계) 이 자료를 토대로 연령별 비율을 계산해 보았다. 2014년 3월 기준으로, 19세 이하는 제외하고 20세 이상을 100%로 하여 계산한 비율이다.

• 성별: 남성 49%, 여성 51%
• 연령별: 20대 16%, 30대 20%, 40대 22%, 50대 20%, 60대 이상 22%

비교해 보면 알겠지만, 해당 여론조사 상의 응답자 연령별 비율이 실제 인구 통계와는 달라도 너무 다르다.

18대 대선 투표자 중 50대는 20.8%, 60대 이상은 22.6%

그러면 이왕 여기까지 온 거 지난 2012년 18대 대통령 선거 투표자의 연령별 비율도 한 번 보자. 중앙선거관리위원회에 가면 있다. (중앙선관위, 제 18대 대선 투표율 분석 결과 공개 / 중앙선거관리위원회 보도자료) 전체 선거인 중 10.3%를 표본으로 한 결과지만 실제와 거의 같을 것이다. 

• 연령별: 20대 14.6%, 30대 18.5%, 40대 21.8%, 50대 20.8%, 60대 이상 22.6%

오히려 이쪽은 연령별 인구 분포와 비슷한 편이다. 이렇게 보니 위의 여론조사가 과연 제대로 여론을 담고 있나 의구심이 든다.

물론 나는 여론조사나 통계 분야 전문가가 아니므로 놓치고 있는 부분이 있을 수도 있다. (내가 잘못 이해하고 있는 부분이 있다면 의견을 부탁한다.) 또한 비용과 시간의 문제로 모든 여론조사마다 표본 집단을 다양한 분포 기준(성별, 연령별, 지역별 등등)에 맞춰 하기는 어렵기도 할 것이다. 게다가 표본 집단을 잘 뽑아서 조사해도 결과가 비슷할 수도 있다. 그건 모르는 거다.

하지만 “세월호 영향 ‘미미'” 따위를 제목으로 붙여 놓고 내건 기사치고는 내용에 비어 있는 부분이 좀 많지 않나, 뭐 그런 생각이 드는 것이다.

여론조사는 생각외로 “쉽게 자신들이(혹은 물주가) 원하는 방향으로 결론을 유도”할 수 있다. 이와 관련하여 뉴스에 실리는 여론조사를 보는 방법에 대해서 캡콜드 님이 정리해 놓은 훌륭한 글이 슬로우뉴스에 실린 바가 있다. 참고로 위 여론조사의 의뢰자는 MBN이다.