당신의 설문에 거짓 응답이 많다면
시간과 신뢰를 날리지 않는 설문을 고민하며
Chanhee·
시간과 신뢰를 날리지 않는 설문을 고민하며
“내용이 도움이 되었나요? (1~10)”, “OO가 도입되면 사용할 의향이 있나요?”…
최근에 회사에서 진행된 설문조사들의 첫 질문을 읽고, 나는 그 설문이 끝나지 않았음에도 그 설문의 슬픈 말로가 생생하게 보였다. 결정에 필요한 이야기들이 전혀 모이지 않을 거라는 확신이 들었다.
의견을 물을 때 쉬운 방법으로 다들 ‘설문조사’를 떠올린다. 하지만 깊이 고민하지 않은 설문은 되려 시간과 신뢰를 한 방에 날려버리는 기폭제가 된다.
잠시 떠올려보자. 이미 답을 정해놓고 내게 통보하는 느낌을 받은 적이 있을 것이다. 특히 학창시절에. 설사 응답을 해도 아무것도 바뀌지 않을 거라는 무력감도.
그럼에도 우리는 같은 선택을 반복한다. 거기에 나쁜 의도는 없다. 그래서 더욱 비극적이다. 그 미래를 조금이라도 피하는 방법이 궁금하다면 이런 고민을 해보면 좋을 것 같다.
시작에 앞서 설문의 의도 내지는 목표가 내가 생각한 아래와 같은지 확인해보자.
우리는 의미 있는 정보를 기반으로 좋은 판단을 내리고자 한다
우리는 최대한 많은 사람이 설문에 참여하길 바란다
우리는 사람들이 거짓말 없이 진솔하게 답변을 해주길 바란다
가끔씩 이런 질문을 받으면 굉장히 곤란해지곤 한다. 예를 들어, ‘우리 회사의 핵심 가치는 무엇인가요?’ 라던가, ‘이 사람은 좋은 사람이야?’ 라던가.
질문은 굉장히 광범위한데 질문을 하는 사람은 명확한 답을 원하는 눈치다. 조리있게 답해야한다는 압박에 머릿속이 삐걱거리다… 순간 매우 이상하고 핵심도 아닌 무언가가 입 밖으로 튀어나온다. 비극의 시작이다.
나라면 이렇게 물을 것이다: “사용자들이 원하는 기능을 빠르게 제공하는 것이 우리의 핵심 가치인가요?”
커다란 덩어리 속에서 한 부분을 콕 찝어 손에 쥐어주자. 쥐어주는 것의 옳고 그름은 중요하지 않다. 손에 쥐어줌으로서 우리 모두 같은 것을 생각하게 된다는 것이 중요하다. 그때부터 맞으면 맞는 대로, 틀리면 틀린 대로, 그 사람이 할 수 있는 말이 생길 것이다.
주입식 교육을 받고 자란 우리에게 ‘매우 아니다-보통-매우 그렇다’나 ‘1점부터 5점까지 점수로 표현하기’ 같은 문항은 정말 질릴 정도로 익숙한 친구들이다. 익숙하면 깊이 생각하지 않고 찍게 된다. 자연스레 진솔한 답변은 멀어진다.
설문을 연 사람에게도 손해다. 시간은 시간대로 썼는데 얻은 결과가 ‘평균 3.24점이네’라면, 어떤 좋은 판단을 할 수 있을지 나는 잘 모르겠다.
여기까지 생각했다면 ‘서술형으로 가야하나?’라고 생각하겠지만 역시 좋은 응답을 기대할 수는 없을 것이다. 선택 문항으로 더욱 잘할 수는 없을까?
이전에 즉흥으로 만든 인터뷰 점수표를 아래와 같이 공유한다. (당연하지만 소수점 불가)
| 점수 | 설명 |
|---|---|
| 1 | 기술 역량이 매우 부족하여 업무적으로 심각한 해를 끼칠 것 같다 |
| 2 | 기술 역량이 부족하여 리소스를 많이 투입해 업무를 보조해야할 것 같다 |
| 3 | 기술적 역량이 준수하나 우리 팀의 성향과 잘 맞는지 알 수 없다고 느꼈다 |
| 4 | 합류했을 때의 모습이 그려지며 어떤 일을 드리면 좋을지 작게라도 떠올랐다 |
| 5 | 이분이 나보다 잘한다는 느낌을 받았다 (같이 해보고 싶은 일이 떠올랐다) |
| 6 | 이분을 놓치면 너무 아까울 것 같다 |
단순히 만족/불만족을 점수로 나타내는 것보다는 효과가 있을 것이라고 생각한다. 각 점수가 어떤 느낌인지 생각할 수 있게 되고(쥐어주기), 인터뷰 과정에서 이에 연결되는 장면들을 떠올리며 깊게 생각에 빠질 것이다(진솔한 답변).
좋은 문항은 한 단계 더 나아가서 비교와 질문을 할 수 있게 된다. 예를 들어, 위의 점수표를 기준으로 어떤 분이 3점이 나왔다면 이런 질문이 가능해질 것이다:
이분이 5점이 되려면 어떤 것들이 필요할까요? (온보딩, 수습 기간 평가 등에 활용)
이분에게 2점을 주지 않은 이유가 있으실 것 같아요 (장점/강점의 파악, 역량 분석)
문항을 보며 상호 비교와 질문들이 일어날 때, 우리는 비로서 의미 있는 판단에 다가설 수 있게 될 것이다.
더 효과적으로 우리의 의도를 이루게 만들려면 어떤 것을 해보면 좋을까. 여러 방법이 있겠지만, 나는 설문조사를 하지 않는 것도 하나의 좋은 방법이라고 생각한다.
“Talk is cheap. But text isn’t.” — 단순한 텍스트로는 의미 있는 정보를 담는데에 한계가 있다. 설문조사를 하기 전에 1~2명에게 물어보면 무슨 일이 생길까?
어쩌면, 질문하고자 하는 것이 달라질 수 있을 것이다. 어쩌면, 물어본 사람과 함께 작당모의를 할 수 있게 될지도 모른다. 혹은 설문이 필요 없어질 수도 있을 것이다.
설문의 의도와 목적은, 설문을 통해 풀고자 하는 목표가 있다는 것을 잊어서는 안된다. 대화를 통해 의외로 그 부분을 쉽게 얻으면서 텍스트로는 알 수 없던 것들을 알 수 있게 될지도 모른다 (예를 들어, 유연좌석제에 긍정적이라고 말하면서 표정은 찜찜해보인다면?)
설문지는 그런 측면에서 절대 저렴하거나 쉬운 수단이 아니다.
사실 오늘의 내용은 ‘설문’을 중심으로 썼지만, 이는 동시에 ‘좋은 질문/인터뷰에 가까워지는 법’으로 생각해볼 수도 있다. 설문 역시 질문의 한 형태이기 때문이다.
이렇게 글을 쓴 나도 얼마 전까지 이러한 실수를 반복해서 저질렀다. 진솔한 의견을 듣고 싶을 때 설문을 돌려야겠다고 생각하고, 질문을 너무 광범위하게 혹은 너무 추상적으로 적었고, 의미 있는 판단을 내리지 못했다. 하지만 AC2에서 배운 것들을 하나씩 적용하고, 과거의 설문을 다시 보며 개선해야할 점을 하나 둘씩 발견하며 바꿔가는 중이다.
우리의 선한 의도가 비극이 되지 않기를 바랄 뿐이다.