كيف يمكن للعلماء أن يتوقفوا عن الانخداع بشأن الإحصاء
ظهر مقال مثير لدوروثي بيشوب في الطبيعة 584: 9 (2020) ؛ دوى: 10.1038 / d41586-020-02275-8
يمكن أن يكشف جمع البيانات المحاكاة عن الطرق الشائعة التي تقودنا بها تحيزاتنا المعرفية إلى الضلال.
لقد بُذلت جهود عديدة خلال العقد الماضي لتعزيز البحث القوي والموثوق. يركز البعض على تغيير الحوافز ، مثل تغيير معايير التمويل والنشر ، لتفضيل العلم المفتوح على الاختراقات المثيرة. ولكن يجب أيضًا الاهتمام بالفرد. يمكن أن تقودنا التحيزات المعرفية البشرية المفرطة إلى رؤية نتائج غير موجودة. يؤدي التفكير الخاطئ إلى علم غير دقيق ، حتى عندما تكون النوايا جيدة.
بضع كلمات عن المؤلف:
البروفيسور دوروثي بيشوب
أستاذ علم النفس العصبي التنموي ، قسم علم النفس التجريبي ؛ زميل كلية سانت جون
البروفيسور بيشوب يبحث عن ضعف اللغة لدى الأطفال. في بعض الحالات ، يكون لصعوبات النطق سبب واضح ، مثل فقدان السمع أو حالة مثل متلازمة داون. في حالات أخرى ، يواجه الأطفال صعوبة خاصة في تعلم التحدث أو فهم اللغة دون سبب واضح. درس البروفيسور بيشوب الأطفال الذين يعانون من "إعاقات معينة في النطق" ، أو SLI ، والذين يشكلون حوالي 3٪ من السكان ولكنهم يميلون إلى الإهمال من قبل الباحثين. باستخدام دراسات التوائم ، درست المكون الجيني لهذه الاضطرابات وعملت مع علماء الوراثة الجزيئية لمعرفة الجينات المتورطة. مصدر الصورة: ويكيبيديa
كيف يمكن للعلماء أن يتوقفوا عن الانخداع بشأن الإحصاء
لقد بُذلت جهود عديدة خلال العقد الماضي لتعزيز البحث القوي والموثوق. يركز البعض على تغيير الحوافز ، مثل تغيير معايير التمويل والنشر ، لتفضيل العلم المفتوح على الاختراقات المثيرة. ولكن يجب أيضًا الاهتمام بالفرد. يمكن أن تقودنا التحيزات المعرفية البشرية المفرطة إلى رؤية نتائج غير موجودة. يؤدي التفكير الخاطئ إلى علم غير دقيق ، حتى عندما تكون النوايا جيدة.
يحتاج الباحثون إلى أن يصبحوا أكثر وعيًا بهذه المزالق. مثلما لا يُسمح لعلماء المختبرات بالتعامل مع المواد الخطرة دون تدريب على السلامة ، لا ينبغي السماح للباحثين بالوصول إلى أي مكان بالقرب من قيمة P أو مقياس احتمالية إحصائية مماثلة حتى يثبتوا أنهم يفهمون ما تعنيه.
نميل جميعًا إلى التغاضي عن الأدلة التي تتعارض مع وجهات نظرنا. عند مواجهة بيانات جديدة ، يمكن لأفكارنا الموجودة مسبقًا أن تقودنا إلى رؤية هياكل غير موجودة. هذا شكل من أشكال التحيز التأكيدي حيث نبحث عن المعلومات ونتذكر المعلومات التي تتوافق مع ما نفكر فيه بالفعل. يمكن أن يكون قابلاً للتكيف: يحتاج الناس إلى أن يكونوا قادرين على التخلص من المعلومات المهمة والتصرف بسرعة للخروج من الخطر. لكن هذا التصفية يمكن أن يؤدي إلى أخطاء علمية.
مثال على ذلك قياس شحنة الإلكترون بواسطة الفيزيائي روبرت ميليكان عام 1913. على الرغم من ادعائه أن عمله تضمن جميع نقاط البيانات من تجربته الشهيرة لقطرات الزيت ، إلا أن دفاتر ملاحظاته كشفت عن نقاط بيانات أخرى غير مُبلغ عنها كان من شأنها أن تغير القيمة النهائية بشكل طفيف لكنها كانت ستعطيه خطأ إحصائيًا أكبر. كان هناك جدل حول ما إذا كان ميليكان ينوي تضليل قرائه. ومع ذلك ، ليس من غير المألوف أن يقوم الأشخاص الشرفاء بقمع ذكريات الحقائق المزعجة (RC Jennings Sci. Eng. Ethik 10، 639-653؛ 2004).
نوع آخر من القيود يعزز سوء الفهم في الاحتمالات والإحصاءات. لقد عرفنا منذ فترة طويلة أن الناس يجدون صعوبة في استيعاب عدم اليقين المرتبط بالعينات الصغيرة (A. Tversky و D. Kahneman Psychol. Bull. 76، 105-110؛ 1971). كمثال حالي ، لنفترض أن 5٪ من السكان مصابون بفيروس. لدينا 100 مستشفى تختبر 25 شخصًا لكل منها ، و 100 مستشفى تختبر 50 شخصًا ، و 100 تختبر 100 شخص. ما هي نسبة المستشفيات التي لن تجد أي حالات وتستنتج خطأً أن الفيروس قد انتهى؟ الإجابة هي 28٪ من المستشفيات التي تختبر 25 شخصًا ، و 8٪ من المستشفيات التي تختبر 50 شخصًا ، و 1٪ من المستشفيات التي تختبر 100 شخص. متوسط عدد الحالات المكتشفة من قبل المستشفيات هو نفسه بغض النظر عن عدد الحالات التي تم اختبارها ، ولكن النطاق أكبر بكثير مع عينة صغيرة.
يصعب فهم هذا التحجيم غير الخطي بشكل حدسي. إنه يؤدي إلى التقليل من أهمية العينات الصغيرة الصاخبة وبالتالي إجراء دراسات تفتقر إلى القوة الإحصائية لاكتشاف التأثير.
فشل الباحثون أيضًا في إدراك أن أهمية النتيجة ، المعبر عنها في قيمة P ، تعتمد بشكل حاسم على السياق. كلما زاد عدد المتغيرات التي تفحصها ، زادت احتمالية العثور على قيمة "مهمة" بشكل غير صحيح. على سبيل المثال ، إذا قمت باختبار 14 مستقلبًا من أجل ارتباط مع اضطراب ما ، فإن احتمال العثور على قيمة P واحدة على الأقل أقل من 0,05 - عتبة شائعة الاستخدام ذات دلالة إحصائية - ليست 1 من 20 ، ولكنها أقرب إلى 1 إلى 2.
كيف يمكننا أن ننقل فهمًا لهذا؟ هناك شيء واحد واضح: التدريب التقليدي في الإحصاء غير كافٍ أو حتى يأتي بنتائج عكسية لأنه قد يمنح المستخدم ثقة غير مناسبة. أقوم بتجربة نهج بديل: إنشاء بيانات محاكاة يمكن للطلاب إخضاعها لتحليلات إحصائية مختلفة. أنا استخدم هذا لنقل مفهومين رئيسيين.
أولاً ، عندما يتم تقديم سجلات فارغة للطلاب (مثل الأرقام العشوائية) ، فإنهم يكتشفون بسرعة مدى سهولة العثور على نتائج خاطئة تظهر "ذات دلالة إحصائية". يحتاج الباحثون إلى معرفة أن تفسير القيمة الاحتمالية عند سؤالهم ، "هل أ مرتبط ب؟" يختلف كثيرًا عن السؤال "هل توجد ارتباطات بين المتغيرات A و B و C و D و E والتي يكون P <0,05 بالنسبة لها؟ مسألة ما إذا كان مستقلب معين مرتبطًا بمرض ليس هو نفسه البحث عن نطاق من المستقلبات لمعرفة ما إذا كان أي منها مرتبطًا بها ، تتطلب الأخيرة اختبارات أكثر صرامة.
مراقبة الفرسان الأربعة غير القابلة لإعادة الإنتاج
توفر البيانات المحاكاة أيضًا معلومات عندما تأتي العينات من "مجموعتين من السكان" بوسائل مختلفة. يتعلم الطلاب بسرعة أنه باستخدام أحجام عينات صغيرة ، يمكن أن تكون التجربة عديمة الفائدة لتكشف حتى عن اختلاف معتدل. يمكن لمحاكاة البيانات لمدة 30 دقيقة أن تذهل الباحثين إذا فهموا الآثار المترتبة عليها.
يحتاج الباحثون إلى اكتساب عادات مدى الحياة لتجنب تضليل التحيزات الإيجابية. الملاحظات التي تتعارض مع توقعاتنا تتطلب اهتماما خاصا. قال تشارلز داروين في عام 1876 إنه اعتاد على "كلما صادفت حقيقة منشورة أو ملاحظة أو فكرة تتعارض مع النتائج العامة التي توصلت إليها ، أكتب على الفور وعلى الفور مذكرة حول هذا الموضوع لأكتبها: لأنني أثبتت من التجربة أن هذا كانت الحقائق والأفكار أكثر عرضة للهروب من الذاكرة أكثر من كونها مواتية ". لقد رأيت ذلك بنفسي. في كتابة مراجعات الأدب ، شعرت بالرعب عندما وجدت أنني نسيت تمامًا أن أذكر الأوراق التي تتعارض مع غرائزي ، على الرغم من أن الأوراق لا تحتوي على عيوب معينة. أنا الآن أحاول سردهم.
نواجه جميعًا صعوبة في رؤية العيوب في عملنا - وهذا جزء طبيعي من الإدراك البشري. لكن إذا فهمنا هذه النقاط العمياء ، يمكننا تجنبها.