نظرسنجی‌های سازمان‌های خارجی قابل اعتمادند؟
فرشید سامانپور، پژوهشگر در یادداشتی در روزنامه شرق نوشت: در سیاست‌گذاری امروز ذهنیت عموم درباره موضوعات مختلف گاهی اهمیتی بیش از واقعیت دارد، حتی در کشورهایی که مردم‌سالار هم نیستند؛ ازاین‌رو مراکز افکارسنجی و آمارگیری (در کنار رسانه‌های گفتمان‌پرداز) اهمیت زیادی یافته و خود به بنگاه‌های اقتصادی تبدیل شده‌اند. مؤسسات ایران‌پل (Iranpoll) و گالوپ نمونه‌هایی از چنین مراکزی هستند که از آمارگیری و فروش آن به مشتریان سیاسی، امنیتی و اقتصادی ارتزاق می‌کنند. این نظرسنجی‌ها که معمولا به هزینه مشتریان انجام می‌شوند، لزوما در اختیار همه قرار نخواهند گرفت و انتشار گزارش‌های مقطعی و ادواری آنها، هم می‌تواند تبلیغاتی برای خودشان باشد و شاید هم بخشی از سفارش مشتریان آنها برای اثرگذاری بر افکار عمومی. انتشار پیاپی دو نظرسنجی از این دو مؤسسه درباره نظرات ایرانیان (در حوزه‌های عمدتا سیاسی و اقتصادی) در روزهای اخیر بحث‌هایی را درباره قابلیت اعتماد به آنها به راه انداخت. این توضیح لازم است که مؤسسه نخست به‌صورت تخصصی نظرسنجی‌هایی درباره ایران انجام می‌دهد (گزارش‌های منتشرشده از آن معمولا به سفارش یک مرکز تحقیقاتی در دانشگاه مریلند انجام و توسط همان مرکز منتشر می‌شوند)؛ درحالی‌که دومی یک مؤسسه آمریکایی با فعالیتی بین‌المللی (با تمرکز بیشتر بر مشتریان تجاری در آمریکا) است و بنا بر وبگاه ایران‌پل خود از مشتریان آن مؤسسه است و بنا بر شواهد، نظرسنجی مورد اشاره گالوپ درباره ایران هم توسط ایران‌پل تهیه شده است. بررسی دقت روش‌های پژوهش ایران‌پل شاید روشن کند که آیا گزارش‌های آماری آن می‌تواند بازتابی از واقعیت باشد؟ عمده ارقام ارائه‌شده توسط مؤسسه یادشده حاصل گردآوری اطلاعات از طریق پرسش‌نامه‌های تلفنی هستند. پرسش‌نامه یک روش مرسوم برای افکارسنجی است و تحلیل نتایج و تعمیم آنها از یک نمونه کوچک به جمعیتی بزرگ، معمولا مبتنی بر اصول علم آمار و احتمالات انجام می‌شود. آن اصول، تعمیم‌پذیری قطعی نتایج یک پرسش‌نامه نمونه‌ای را معمولا تضمین نمی‌کنند، ولی احتمال صحت تعمیم را پیش‌بینی می‌کنند (که معمولا زیاد، مثلا بیش از 95 درصد است). از این جهت تفاوت چندانی میان تحقیقات مختلف داخلی و خارجی دیده نمی‌شود و بحثی دراین‌باره مطرح نیست، به‌ویژه آنکه مؤسسه یادشده ظاهرا با دقت خوبی پاسخ‌گویان را به شکل اتفاقی و به نسبت جمعیت از استان‌های مختلف برگزیده است. شیوه نگارش و پرسش عامل دیگری است که به نظر می‌رسد در زبان فارسی نیاز به دقتی بیشتر داشته باشد. پیشینه ادبی زبان فارسی بار کنایی زیادی را بر کلمات آن نشانده است و بسیاری از واژگان این زبان معانی مستقیم و ضمنی بسیاری دارند و صورت‌بندی یک پرسش صریح و روشن در این زبان کار مشکل‌تری (مثلا) نسبت به زبان انگلیسی به نظر می‌رسد.
از سوی دیگر تنوع ارزش‌های مبنایی در جامعه می‌تواند ارزشیابی‌های متفاوتی را از کلمات و واژگان مشابه به همراه آورد؛ اما پرسش‌نامه آن مؤسسه امکان مقایسه پرسش‌هایی را که از چند زاویه یا با واژگان مختلف از موضوعاتی مشابه پرسیده شده‌اند، فراهم کرده و از این حیث هم قابل قبول می‌نماید؛ یعنی با دقت در پاسخ‌های داده‌شده و مقایسه آنها می‌توان احتمال وجود چنین خطاهایی را سنجید. آنچه در این میان می‌تواند مورد تردید قرار گیرد، واکنش پاسخ‌گویان به مسائل داغ سیاسی و اجتماعی است. دور از نظر نخواهد بود که برخی افراد در پاسخ‌گویی به چنین پرسش‌هایی مصلحت‌اندیشی کرده و از بیان نظرات مخالف با ساختار یا عرف حاکم خودداری کنند. بد نیست یادآوری کنیم که همین، یکی از دلایل خطای نظرسنجی‌های پیش از انتخاب ترامپ در آمریکا هم شمرده می‌شود. بررسی وجود این نوع مصلحت‌اندیشی‌ها و میزان خطای حاصل از آن کمی مشکل است و در موارد زیادی شاید موجد تغییر زیادی نباشد؛ اما نمودی از آنکه مؤثرتر به نظر می‌رسد، میزان مشارکت مردم در پاسخ‌گویی به پرسش‌نامه‌ها خواهد بود؛ پایین‌بودن نرخ مشارکت می‌تواند نماینده پرهیز پاسخ‌گویان از مداخله در بحث از موضوعات مطرح در پرسش‌نامه باشد. در گزارش اخیر آن مؤسسه که در ایران هم بازتاب یافت، میزان مشارکت با دو متغیر مشخص شده است، متغیر نخست نشان‌دهنده موفقیت در برقراری تماس؛ (81 درصد) و دومی نشان‌دهنده نرخ همکاری در پاسخ‌گویی است (79 درصد). در گزارش‌های اخیر مؤسسه تعریف دقیقی از این دو متغیر یافت نشد. در پرسش‌نامه‌های حضوری میزان مشارکت همان متغیر دوم خواهد بود و به نظر می‌رسد مؤسسه ایران‌پل هم میانگین آن متغیر را میزان متوسط مشارکت مردم در نظرسنجی‌های گوناگون اعلام کرده باشد (https://www.iranpoll.com/method). این نرخ در گزارش اخیر (79 درصد) رقم بالایی است که احتمال خطا را هم کاهش می‌دهد؛ اما در یکی از گزارش‌های قدیمی‌تر مؤسسه (https://cissm.umd.edu/sites/default/files/2019-07/CISSM%20full%20Iran%20PO%20report%20-%20072717-Final2.pdf)، منظور از متغیر نخست چنین بیان شده است: درصد پاسخ‌گویانی که «تماس با آنها حاصل شد و درنهایت پذیرفتند تا مورد مصاحبه قرار گیرند»؛ منظور از متغیر دوم هم نرخ تکمیل پرسش‌نامه عنوان شده است؛ این یعنی متغیر نخست تنها متأثر از مشکلات فنی نیست و خود دربردارنده بخشی از افرادی است که از شرکت در مصاحبه امتناع کرده‌اند. به نظر می‌رسد با دخیل‌کردن این عدد میزان مشارکت کلی در نظرسنجی مورد بحث حدود 60 درصد معرفی شده است. این رقم احتمالا پس از حذف پاسخ‌های نامعتبر و اعمال برخی متغیرهای دیگر حاصل شده باشد و متأثر از مشکلات فنی هم هست، ولی به نظر می‌رسد شاخص دقیق‌تری از میزان مشارکت باشد. این میزان از مشارکت درباره موضوعاتی مانند ترافیک و مسائل خانوادگی و محیط زیست و مانند آن قابل قبول است. ولی در مسائلی که مورد اجماع نیستند، میزان پایین مشارکت می‌تواند باعث تضعیف یا حذف بخشی از اندیشه موجود باشد. به عبارت روشن‌تر، 60 درصدی که در این پرسش‌نامه مشارکت کرده‌اند، به احتمال نسبتا زیادی در برخی موضوعات داغ نماینده 40 درصد دیگر نیستند. شناختی که ما از جامعه ایرانی داریم به ما می‌گوید که بسیاری از مردم تمایزی بین مراکز پژوهشی و نهادهای حکومتی ایران قائل نیستند. در بسیاری از موارد به نظر می‌رسد عامه مردم حتی تمایز چندانی میان سازمان‌های مردم‌نهاد و خصوصی و دولتی قائل نشوند. همچنین اگر تماس‌ها و پیام‌های تبلیغاتی را در نظر آوریم، می‌توان حدس زد که واکنش افراد به صدای کسی که برای یک نظرسنجی تماس می‌گیرد مشابه واکنش آنها در برابر مسئولان دولتی یا بازاریابان بخش خصوصی یا مردم‌نهاد باشد، به‌ویژه که مؤسسه یادشده تأکید دارد مصاحبه‌کنندگانش به زبان و گویش بومی مصاحبه را انجام دهند. ازاین‌رو بخش بزرگی از این 40 درصد شاید همان‌هایی باشند که برای مثال در برابر مشارکت در انتخابات هم مقاومت می‌کنند، ولی حضورشان نتایج آرا را تغییر می‌دهد. برای رفع چنین شبهه‌ای لازم است مخاطبان پژوهش قانع شوند که مشارکت‌کنندگان با افراد مشارکت‌نکرده همگن هستند. تا آن زمان به نظر می‌رسد نتایج مربوط به مسائل غیرسیاسی یا نتایجی که در آنها اجماع زیادی روی یک پاسخ باشد، دست‌کم تا حدی قابل قبول باشند.