Forwarded from Evidence
▫️آیا نویسندگی همچنان معنایی دارد؟
آقای Stuart Macdonald استاد مدعو دانشگاه لستر انگلستان اخیراً در وبسایت مدرسه اقتصاد و علوم سیاسی لندن مطلب جالبی را نوشته است که بارتاب‌های زیادی در محافل علمی داشته است.
ترجمه کاملی از این نوشته را در فایل پیوست این پست می‌توانید دریافت و مطالعه کنید. اما در این پست جملات و پاراگراف‌های مهم را می‌آورم:
آن دوران گذشته است که محققان تنها به انجام پژوهش و انتشار نتایج آن می‌پرداختند. امروزه، ارزش مقالات بیش از آنکه بر پایه محتوایشان باشد، بر اساس نقشی که در سنجش عملکرد علمی ایفا می‌کنند، تعیین می‌شود. در این میان، استناد مهمترین شاخص به‌شمار می‌رود.
شعار منتشر کن یا نابود شو گمراه‌کننده است: در واقع اگر دانشگاهیان استناد نگیرند نابود می‌شوند. مقاله علمی، در وهله اول بستری برای گرفتن استناد است. استنادات اشتباه (نامناسب، بی‌ربط یا حتی غیرواقعی) همان‌قدر ارزش آماری دارند که استنادات درست؛ و بسیاری از استنادات هم اشتباه‌اند — که چندان شگفت‌آور نیست وقتی بدانیم ۸۰ درصد نویسندگان هرگز مقالاتی را که به آنها استناد می‌دهند، نخوانده‌اند.
این باور که "بهترین مقالات همان‌هایی هستند که بیشترین استناد را دریافت می‌کنند" پنجاه سال پیش توسط یوجین گارفیلد مطرح شد. این گزاره از همان ابتدا زیر سؤال بود.
استناد اجباری (coercive citation)-یعنی وقتی ویراستاران شرط پذیرش مقاله را استناد به خود مجله می‌گذارند- در مجلات برتر به‌شدت رواج دارد. بیش از ۹۰ درصد نویسندگان هم از این خواسته تبعیت می‌کنند.
فقط یکی دو دستکاری ساده می‌تواند سرنوشت را زیر و رو کند؛ مثلاً تغییر طبقه‌بندی چکیده‌های نشست‌ها (meeting abstracts) به مقالات علمی (academic papers) در یک مجله زیست‌شناسی باعث شد ضریب تأثیر آن از ۰٫۲۴ به ۱۸٫۳ در یک سال جهش کند.
مزیت کووید-۱۹ ضریب تأثیر مجلۀ Lancet را از ۷۹.۳ در سال ۲۰۲۱ به ۲۰۲.۷ در سال بعد رساند که جهشی ۲۵۵ درصدی در کیفیتِ اندازه‌گیری‌شده محسوب می‌شود.
وقتی دستکاری سنجه‌ها این‌قدر پاداش دارد، دیگر چه نیازی به بهبود واقعی عملکرد نویسندگان است؟ اصلاً چرا به خودِ نویسنده نیاز داشته باشیم؟
در فهرست نویسندگان پرکارِ اسکوپوس، تعدادی از افراد، دهه‌ها قبل از تولدشان شروع به انتشار مقاله کرده‌اند. یکی از نویسندگان که ۱۲ مقاله علمی، ۱۴۴ استناد و اچ-ایندکس ۱۲ دارد، لریِ گربه (Larry the cat) است!
چین با انواع دستکاری، خود را به صدر فهرست تحقیقات پُراستناد جهان رسانده و کلاریویت نیز ۱۰۰۰ نفر از ۶۸۴۹ نویسنده پُراستناد سالانه‌اش را تقلبی برچسب زده است.
عربستان سعودی به پژوهشگران خارجی پُرکار پول می‌دهد تا خود را وابسته به دانشگاه‌های عربستان معرفی کنند و بدین ترتیب جایگاه علمی آن کشور را بالا ببرند. دانشگاه ملک عبدالعزیز – که سالانه ۷۶ هزار دلار به هر نویسندگان خارجی می‌پردازد – حتی در رده‌بندی ریاضیاتِ US News & World Report از کمبریج هم پیشی گرفته است. نیازی هم به داشتن یک دپارتمان ریاضیات نیست!
تعداد نویسندگان هر مقاله به‌سرعت رو به افزایش است؛ چراکه نویسندگان همکار نیز به آثار خود استناد می‌کند و در نتیجه میزان استنادها، ضریب تأثیر و همه شاخص‌های وابسته به‌طرز چشمگیری بالا می‌رود. هرجا تعداد نویسندگان زیاد شوند، ضریب تأثیر هم افرایش پیدا می‌کند.
اخلاق مدیریتی در تمام شئون نشر دانشگاهی نفوذ کرده و باعث شده است مدیران عالی‌رتبه، از جمله رؤسا و معاونان دانشگاه، خود را محق بدانند نامشان را روی مقالاتی بگذارند که زیردستانِ گمنام‌شان نوشته‌اند.
چند سال پیش مشخص شد که ۱۶ درصد مقالاتِ مجله معتبر New England Journal of Medicine دارای نویسنده سایه یا شبح (ghost author) هستند و دست‌کم ۴۴ درصد دیگر مقالات، نویسندگان افتخاری (honorary authors) دارند.
تعداد نویسندگانی که سالانه بیش از ۶۰ مقاله چاپ می‌کنند، در عرض یک دهه تقریباً چهار برابر شده است.
هدف از تولید مقالات، صرفاً گرفتن استناد است و حتی خواندنشان لزوماً از عنوان و چکیده و چند کلیدواژه فراتر نمی‌رود.
در واقع این استناد است—نه خود پژوهش—که جایگاه نویسندگان را ارتقا می‌دهد.
زمانی نقش انتشار علمی این بود که دانشِ حاصل از پژوهش را در اختیار عموم بگذارد. اما اکنون خودِ پژوهشگر، مشتری است و برای رسیدن به شاخص‌های عملکرد مورد نیاز، مستقیماً به ناشر پول می‌دهد.
به این ترتیب، پژوهشگران برای چاپ مقالاتشان پول می‌پردازند و به دنبال مقاله‌هایی می‌گردند که بتوان برای هر موضوعی و در تأیید تقریباً هر ادعایی به آنها استناد کرد، تا بالاترین بازده را به دست آورند و در مقام نویسنده، سرانجام به نوعی میان‌مایگی (mediocrity) تن می‌دهند که سنجه‌های عملکردْ آن را به‌عنوان پژوهشِ واقعی تلقی می‌کند. (لینک)
#authorship
#research_ethics
#citation
🆔 @irevidence
آقای Stuart Macdonald استاد مدعو دانشگاه لستر انگلستان اخیراً در وبسایت مدرسه اقتصاد و علوم سیاسی لندن مطلب جالبی را نوشته است که بارتاب‌های زیادی در محافل علمی داشته است.
ترجمه کاملی از این نوشته را در فایل پیوست این پست می‌توانید دریافت و مطالعه کنید. اما در این پست جملات و پاراگراف‌های مهم را می‌آورم:
آن دوران گذشته است که محققان تنها به انجام پژوهش و انتشار نتایج آن می‌پرداختند. امروزه، ارزش مقالات بیش از آنکه بر پایه محتوایشان باشد، بر اساس نقشی که در سنجش عملکرد علمی ایفا می‌کنند، تعیین می‌شود. در این میان، استناد مهمترین شاخص به‌شمار می‌رود.
شعار منتشر کن یا نابود شو گمراه‌کننده است: در واقع اگر دانشگاهیان استناد نگیرند نابود می‌شوند. مقاله علمی، در وهله اول بستری برای گرفتن استناد است. استنادات اشتباه (نامناسب، بی‌ربط یا حتی غیرواقعی) همان‌قدر ارزش آماری دارند که استنادات درست؛ و بسیاری از استنادات هم اشتباه‌اند — که چندان شگفت‌آور نیست وقتی بدانیم ۸۰ درصد نویسندگان هرگز مقالاتی را که به آنها استناد می‌دهند، نخوانده‌اند.
این باور که "بهترین مقالات همان‌هایی هستند که بیشترین استناد را دریافت می‌کنند" پنجاه سال پیش توسط یوجین گارفیلد مطرح شد. این گزاره از همان ابتدا زیر سؤال بود.
استناد اجباری (coercive citation)-یعنی وقتی ویراستاران شرط پذیرش مقاله را استناد به خود مجله می‌گذارند- در مجلات برتر به‌شدت رواج دارد. بیش از ۹۰ درصد نویسندگان هم از این خواسته تبعیت می‌کنند.
فقط یکی دو دستکاری ساده می‌تواند سرنوشت را زیر و رو کند؛ مثلاً تغییر طبقه‌بندی چکیده‌های نشست‌ها (meeting abstracts) به مقالات علمی (academic papers) در یک مجله زیست‌شناسی باعث شد ضریب تأثیر آن از ۰٫۲۴ به ۱۸٫۳ در یک سال جهش کند.
مزیت کووید-۱۹ ضریب تأثیر مجلۀ Lancet را از ۷۹.۳ در سال ۲۰۲۱ به ۲۰۲.۷ در سال بعد رساند که جهشی ۲۵۵ درصدی در کیفیتِ اندازه‌گیری‌شده محسوب می‌شود.
وقتی دستکاری سنجه‌ها این‌قدر پاداش دارد، دیگر چه نیازی به بهبود واقعی عملکرد نویسندگان است؟ اصلاً چرا به خودِ نویسنده نیاز داشته باشیم؟
در فهرست نویسندگان پرکارِ اسکوپوس، تعدادی از افراد، دهه‌ها قبل از تولدشان شروع به انتشار مقاله کرده‌اند. یکی از نویسندگان که ۱۲ مقاله علمی، ۱۴۴ استناد و اچ-ایندکس ۱۲ دارد، لریِ گربه (Larry the cat) است!
چین با انواع دستکاری، خود را به صدر فهرست تحقیقات پُراستناد جهان رسانده و کلاریویت نیز ۱۰۰۰ نفر از ۶۸۴۹ نویسنده پُراستناد سالانه‌اش را تقلبی برچسب زده است.
عربستان سعودی به پژوهشگران خارجی پُرکار پول می‌دهد تا خود را وابسته به دانشگاه‌های عربستان معرفی کنند و بدین ترتیب جایگاه علمی آن کشور را بالا ببرند. دانشگاه ملک عبدالعزیز – که سالانه ۷۶ هزار دلار به هر نویسندگان خارجی می‌پردازد – حتی در رده‌بندی ریاضیاتِ US News & World Report از کمبریج هم پیشی گرفته است. نیازی هم به داشتن یک دپارتمان ریاضیات نیست!
تعداد نویسندگان هر مقاله به‌سرعت رو به افزایش است؛ چراکه نویسندگان همکار نیز به آثار خود استناد می‌کند و در نتیجه میزان استنادها، ضریب تأثیر و همه شاخص‌های وابسته به‌طرز چشمگیری بالا می‌رود. هرجا تعداد نویسندگان زیاد شوند، ضریب تأثیر هم افرایش پیدا می‌کند.
اخلاق مدیریتی در تمام شئون نشر دانشگاهی نفوذ کرده و باعث شده است مدیران عالی‌رتبه، از جمله رؤسا و معاونان دانشگاه، خود را محق بدانند نامشان را روی مقالاتی بگذارند که زیردستانِ گمنام‌شان نوشته‌اند.
چند سال پیش مشخص شد که ۱۶ درصد مقالاتِ مجله معتبر New England Journal of Medicine دارای نویسنده سایه یا شبح (ghost author) هستند و دست‌کم ۴۴ درصد دیگر مقالات، نویسندگان افتخاری (honorary authors) دارند.
تعداد نویسندگانی که سالانه بیش از ۶۰ مقاله چاپ می‌کنند، در عرض یک دهه تقریباً چهار برابر شده است.
هدف از تولید مقالات، صرفاً گرفتن استناد است و حتی خواندنشان لزوماً از عنوان و چکیده و چند کلیدواژه فراتر نمی‌رود.
در واقع این استناد است—نه خود پژوهش—که جایگاه نویسندگان را ارتقا می‌دهد.
زمانی نقش انتشار علمی این بود که دانشِ حاصل از پژوهش را در اختیار عموم بگذارد. اما اکنون خودِ پژوهشگر، مشتری است و برای رسیدن به شاخص‌های عملکرد مورد نیاز، مستقیماً به ناشر پول می‌دهد.
به این ترتیب، پژوهشگران برای چاپ مقالاتشان پول می‌پردازند و به دنبال مقاله‌هایی می‌گردند که بتوان برای هر موضوعی و در تأیید تقریباً هر ادعایی به آنها استناد کرد، تا بالاترین بازده را به دست آورند و در مقام نویسنده، سرانجام به نوعی میان‌مایگی (mediocrity) تن می‌دهند که سنجه‌های عملکردْ آن را به‌عنوان پژوهشِ واقعی تلقی می‌کند. (لینک)
#authorship
#research_ethics
#citation
🆔 @irevidence
👍101❤6👎4👌3💔2👏1
Forwarded from Evidence
▫️توئیکینگ: خطرناک‌ترین نوعِ تقلب علمی
دانشگاه MIT به تازگی کتابی را منتشر کرده که نگاه جدیدی دارد به مقوله تقلب در پژوهش و بحران اعتبار علم. این کتاب را Thomas Plümper و Eric Neumayer نوشته‌اند:
The Credibility Crisis in Science: Tweakers, Fraudsters, and the Manipulation of Empirical Results
دو نوع تقلب در پژوهش وجود دارد که خیلی آشکار و واضح هستند و در غیراخلاقی بودن آنها شکی نیست. یکی داده‌سازی (Data Fabrication) است؛ یعنی ساختن داده‌هایی که اصلاً وجود ندارند و دیگری دستکاری داده‌ها (Data Manipulation)؛ یعنی داده وافعی وجود دارد ولی پژوهشگر آنها را تغییر می‌دهد تا نتیجه دلخواهش حاصل شود.
اما نویسندگان، Tweaking را نوع سوم و البته خطرناک‌ترین نوع تقلب می دانند. یک پژوهشگر در Tweaking، بدون اینکه که داده‌ها را بطور مستقیم تغییر دهد، می‌آید طراحی پژوهش یا مدل آماری را طوری تغییر می‌دهد که نتیجه دلخواهش بدست آید.
حذف داده‌های نامناسب، تغییر تعریف متغیرها، انتخاب زیرنمونه خاص، اضافه یا حذف متغیرهای کنترل، آزمودن مدل‌های متعدد و انتشار فقط نتایج معنادار، همگی می‌توانند نتیجه را تغییر دهند.
همچنین پژوهشگر ممکن است پس از مشاهده داده‌ها، فرضیه‌ای بسازد، اما در مقاله وانمود کند که فرضیه از ابتدا وجود داشته است؛ رفتاری که HARKing نام دارد (Hypothesizing After Results are Known). هدف اصلی معمولاً افزایش معنی‌داری آماری، بزرگ‌تر شدن اندازه اثر و تأیید فرضیه پژوهشگر است
پژوهشگران ممکن است برای کسب منافع شخصی مانند چاپ مقاله بیشتر، چاپ در مجلات معتبرتر، افزایش استناد، گرفتن گرنت، ارتقای شغلی، افزایش حقوق و شهرت علمی دست به توئیک بزنند.
چرا توئیک خطرناک‌تر است؟
چون بسیار رایج‌تر است، کشف آن بسیار دشوار است، معمولاً مجازاتی ندارد و ظاهر آن کاملاً علمی است. به همین دلیل نویسندگان معتقدند: بزرگ‌ترین تهدید برای اعتبار علم، توئیک است؛ نه داده‌سازی.
تعریف تقلب علمی از نگاهی دیگر
نویسندگان تعریف دیگری از تقلب علمی ارائه می‌دهند که متفاوت از تعاریف موجود است:
تقلب علمی یعنی هر گونه دستکاری عمدی نتایج آماری برای کسب منفعت پژوهشگر. بنابراین معیار اصلی قصد است، نه نوع روش.
عناوین بخش‌ها و فصول کامل کتاب در ادامه آمده است. بخش سوم کتاب، در خصوص مقابله با تقلب است که راهکارهای مفیدی را ارائه کرده است.
راه‌حل محوری نویسندگان، شفافیت است: انتشار داده خام، کد تحلیل، روش‌ها و تمام تصمیم‌های پژوهشی. هر پژوهش باید از سه جهت ارزیابی شود: بازتولیدپذیری با همان داده و کد (Reproducibility)، تکرارپذیری با داده‌های جدید (Replicability)، و استحکام (Robustness Test) در برابر تغییرات منطقی مدل.
بخش اول: آیا علم دچار بحران شده است؟
۱. سلامت پژوهش (Scientific Integrity) و نارضایتی‌های پیرامون آن
۲. انگیزه‌های متقلبان
۳. نوکِ نوکِ کوه یخ
۴. عوامل کشف تخلف
بخش دوم: درجات آزادی پژوهشگر (Researcher Degrees of Freedom)
۵. توئیکینگ در تحلیل داده‌های مشاهده‌ای
۶. توئیکینگ در طرح‌های پژوهش تجربی
۷. توئیکینگ در مدل‌های علّی
بخش سوم: مقابله با تقلب
۸. سیاست‌های بازدارندگی
۹. برنامه‌های پیشگیری
۱۰. راهبردهای کشف
۱۱. دو گام به پیش
۱۲. و یک گام به عقب
#research_ethics
#research_misconduct
#book
🆔 @irevidence
دانشگاه MIT به تازگی کتابی را منتشر کرده که نگاه جدیدی دارد به مقوله تقلب در پژوهش و بحران اعتبار علم. این کتاب را Thomas Plümper و Eric Neumayer نوشته‌اند:
The Credibility Crisis in Science: Tweakers, Fraudsters, and the Manipulation of Empirical Results
دو نوع تقلب در پژوهش وجود دارد که خیلی آشکار و واضح هستند و در غیراخلاقی بودن آنها شکی نیست. یکی داده‌سازی (Data Fabrication) است؛ یعنی ساختن داده‌هایی که اصلاً وجود ندارند و دیگری دستکاری داده‌ها (Data Manipulation)؛ یعنی داده وافعی وجود دارد ولی پژوهشگر آنها را تغییر می‌دهد تا نتیجه دلخواهش حاصل شود.
اما نویسندگان، Tweaking را نوع سوم و البته خطرناک‌ترین نوع تقلب می دانند. یک پژوهشگر در Tweaking، بدون اینکه که داده‌ها را بطور مستقیم تغییر دهد، می‌آید طراحی پژوهش یا مدل آماری را طوری تغییر می‌دهد که نتیجه دلخواهش بدست آید.
حذف داده‌های نامناسب، تغییر تعریف متغیرها، انتخاب زیرنمونه خاص، اضافه یا حذف متغیرهای کنترل، آزمودن مدل‌های متعدد و انتشار فقط نتایج معنادار، همگی می‌توانند نتیجه را تغییر دهند.
همچنین پژوهشگر ممکن است پس از مشاهده داده‌ها، فرضیه‌ای بسازد، اما در مقاله وانمود کند که فرضیه از ابتدا وجود داشته است؛ رفتاری که HARKing نام دارد (Hypothesizing After Results are Known). هدف اصلی معمولاً افزایش معنی‌داری آماری، بزرگ‌تر شدن اندازه اثر و تأیید فرضیه پژوهشگر است
پژوهشگران ممکن است برای کسب منافع شخصی مانند چاپ مقاله بیشتر، چاپ در مجلات معتبرتر، افزایش استناد، گرفتن گرنت، ارتقای شغلی، افزایش حقوق و شهرت علمی دست به توئیک بزنند.
چرا توئیک خطرناک‌تر است؟
چون بسیار رایج‌تر است، کشف آن بسیار دشوار است، معمولاً مجازاتی ندارد و ظاهر آن کاملاً علمی است. به همین دلیل نویسندگان معتقدند: بزرگ‌ترین تهدید برای اعتبار علم، توئیک است؛ نه داده‌سازی.
تعریف تقلب علمی از نگاهی دیگر
نویسندگان تعریف دیگری از تقلب علمی ارائه می‌دهند که متفاوت از تعاریف موجود است:
تقلب علمی یعنی هر گونه دستکاری عمدی نتایج آماری برای کسب منفعت پژوهشگر. بنابراین معیار اصلی قصد است، نه نوع روش.
عناوین بخش‌ها و فصول کامل کتاب در ادامه آمده است. بخش سوم کتاب، در خصوص مقابله با تقلب است که راهکارهای مفیدی را ارائه کرده است.
راه‌حل محوری نویسندگان، شفافیت است: انتشار داده خام، کد تحلیل، روش‌ها و تمام تصمیم‌های پژوهشی. هر پژوهش باید از سه جهت ارزیابی شود: بازتولیدپذیری با همان داده و کد (Reproducibility)، تکرارپذیری با داده‌های جدید (Replicability)، و استحکام (Robustness Test) در برابر تغییرات منطقی مدل.
بخش اول: آیا علم دچار بحران شده است؟
۱. سلامت پژوهش (Scientific Integrity) و نارضایتی‌های پیرامون آن
۲. انگیزه‌های متقلبان
۳. نوکِ نوکِ کوه یخ
۴. عوامل کشف تخلف
بخش دوم: درجات آزادی پژوهشگر (Researcher Degrees of Freedom)
۵. توئیکینگ در تحلیل داده‌های مشاهده‌ای
۶. توئیکینگ در طرح‌های پژوهش تجربی
۷. توئیکینگ در مدل‌های علّی
بخش سوم: مقابله با تقلب
۸. سیاست‌های بازدارندگی
۹. برنامه‌های پیشگیری
۱۰. راهبردهای کشف
۱۱. دو گام به پیش
۱۲. و یک گام به عقب
#research_ethics
#research_misconduct
#book
🆔 @irevidence
❤20👍2👎1