در دنیای امروز، نظامهای آموزشی بهعنوان یکی از ارکان اصلی توسعه اجتماعی و اقتصادی کشورها شناخته میشوند. دراینراستا، ارزیابی عادلانه و دقیق از توانمندیهای دانشجویان، بهویژه در حوزههای علومپزشکی، از اهمیت ویژهای برخوردار است. المپیادهای علمی دانشجویی، بهعنوان یک بستر رقابتی و چالشی، فرصتی مناسب برای شناسایی و پرورش استعدادهای جوان در این حوزه بهشمار میآیند. از آغازِ برگزاری این المپیادها در کشور، هدف اصلی این المپیادها شناسایی، هدایت و شکوفایی توانمندیهای دانشجویان بوده است. بااینحال، چالشهای موجود در فرایند نمرهدهی به آزمونهای تشریحی، ضرورت طراحی یک نظام نوین نمرهدهی در این آزمونها را بهوضوح نمایان میکند (1، 2).
آزمونهای تشریحی بهدلیل نوع سؤالات و آزادیِ عمل بیشتری که برای دانشجویان فراهم میکنند، بهعنوان ابزاری مؤثر در ارزیابی تواناییهای تحلیلی و انتقادی دانشجویان شناخته میشوند. اما نمرهدهی به این نوع آزمونها با چالشهای متعددی روبهروست. ازجمله این چالشها میتوان به عدم وجود پاسخهای قطعی، تعداد محدود مصححین و زمانبر بودن فرایند تصحیح اشاره کرد. علاوهبراین، سوگیریهای فردی و سلیقههای شخصی مصحّحان میتواند به نمرات غیرعادلانه منجر شود. بههمیندلیل، بررسی و طراحی یک نظام نمرهدهی عادلانه و دقیق بهعنوان یک ضرورت در نظام آموزشی مطرح میشود(3، 4، 5).درحالحاضر چالشهای مختلف موجود در امر ارزیابی دانشجو توسط آزمونهای تشریحی وجود دارد و انتخاب روش مناسب نمرهدهـی و اثـرات متفاوت ناشـی از روش نمرهدهی، ضرورت پرداختن به این موضوع را بهعنوان یکی از اولویتهای حیطه ارزیابی، بیشازپیش موردتأکید قـرار میدهد (6). ازطرفدیگر، نتایجی که از تحقیقات مختلف در این زمینه به دسـت آمـده، نشـان داده اسـت کـه معلّمان مدارس، استادان دانشگاه و کلّیه کسانی که دربـاره نوشـتههـای دیگـران قضـاوت میکنند، تفاوتهای فردی بسیار زیادی را نشان میدهند. این تفاوتها درحدّی اسـت کـه میتواند بر روی سرنوشت صاحبان نوشتهها تأثیرگذار باشد (7).اهمیت این چالشهـا بـهحـدّی اسـت کـه اسـتفاده از فنّاوریهای روزِ دنیا را برای نمرهگذاری آزمونهای تشـریحی بـه بحث جدیدی در اینباره تبدیل کرده اسـت (6).
روشهای نوین نمرهدهی، ازجمله ترازسازی نمرات با جابهجایی نقطه لنگر، بهعنوان راهکارهایی برای کاهش خطاهای موجود در نمرهدهی و افزایش دقت ارزیابیها، اهمیت ویژهای دارند. این روشها به ما این امکان را میدهند که نمرات را براساس استانداردهای مشترکْ تنظیم و از نابرابریهای موجود در نمرهدهی جلوگیری کنیم. دراینراستا، طراحی یک نظام نوین نمرهدهی که به عدالت آموزشی احترام بگذارد و تواناییهای واقعی دانشجویان را بهدرستی نمایان کند، بیشازپیش احساس میشود.
ترازسازی نمرات با جابهجایی نقطه لنگر (Anchor Point Shifting) یک روش متداول در ارزیابی و نمرهدهی است که بهمنظور بهبود دقت و عدالت در نمرهدهی استفاده میشود. نقطه لنگر به یک استاندارد یا مرجع مشخص اشاره دارد که برای تراز کردن نمرات استفاده میشود. این نقطه میتواند یک نمره خاص، یک سطح عملکرد یا یک معیار دیگر باشد که بهعنوان مبنای مقایسه عمل میکند. جابهجایی نقطه لنگر به معنای تغییر یا تنظیم این مرجع بهگونهای است که نمرات بهصورت بهتری با یکدیگر مقایسه شوند. این کار معمولاً در مواردی انجام میشود که نمرات اوّلیه بهدلیل تفاوتهای ساختاری یا ناهماهنگیهای بین داوران یا آزمونها، نادرست یا ناعادلانه به نظر میرسند. با جابهجایی نقطه لنگر، دقت نمرات افزایش مییابد و نمرات به واقعیت نزدیکتر میشوند. این روش به کاهش نابرابریهای نمرهدهی کمک میکند و موجب میشود که همه داوران به یک استاندارد مشترک نزدیک شوند. ترازسازی نمرات با جابهجایی نقطه لنگر یک ابزار مؤثر برای بهبود دقت و عدالت در نمرهدهی است (8، 9).
این مقاله به بررسی چالشها و ضرورتهای طراحی نظام نوین نمرهدهی در المپیاد دانشجویی مدیریت نظام سلامت میپردازد و بهدنبال ارائه راهکارهایی عملی و علمی برای بهبود فرایند نمرهدهی و تحقّق عدالت آموزشی در این زمینه است. با توجه به اهمیت موضوع و تأثیر آن بر آینده تحصیلی و شغلی دانشجویان، امید است که این تلاشها به ایجاد یک نظام آموزشی عادلانهتر و کارآمدتر منجر شود.
روش ها
این فرایند توسعهای بوده و با رویکرد SoTL (Scholarship of Teaching & Learning) انجام شده است. از ابتدای آبانماه ۱۴۰۲ که فرایند المپیاد شانزدهم شروع شد، با توجه به شکایات مکرّر دانشجویان شرکتکننده در المپیادهای سالهای قبل، اوّلین اقدامی که انجام شد، برگزاری جلسه وبیناری با نمایندگان دانشجویان مدالآور سالهای گذشته بود. این دانشجویان لیستی بالغ بر ۱۵ مشکل فرایندی و ساختاری به دبیر حیطه المپیاد مدیریت سلامت ارائه کردند و سپس از طریق سامانه پرسلاین از دانشجویان متقاضی شرکت در المپیاد شانزدهم سؤال شد که به نظر آنان بیشترین اولویت مربوط به کدامیک از مشکلات است. عیناً همین سؤالات در قالب پرسلاین جهت مسئولان حیطه مدیریت المپیاد شانزدهم در دانشگاههای علومپزشکی مختلف کشور اجرا شد. درنهایت، مهمترین و پُرچالشترین مشکل، عدم رعایت عدالت در تصحیح سؤالات تشریحی و پروپوزالهای گروههای شرکتکننده در المپیاد و داوری ناعادلانه درمورد ارائه نهایی تیمها در سنوات گذشته تعیین شد.
در ادامه با برگزاری نشستهای مشورتی با اساتید و کارشنان خبره سنجش، ارزشیابی و آموزش پزشکی دانشگاههای (علومپزشکی و غیرعلومپزشکی) کشور و مرکز سنجش آموزش پزشکی کشور و دو تن از متخصّصان سنجش و ارزشیابی از دانشگاه علوم و تکنولوژی نروژ (Norwegian University of Science and Technology) و دانشگاه
(UBC) University of British Columbia مقرّر گردید یک روش جدید برای تصحیح، استانداردسازی و نمرهدهی به سؤالات تشریحی، بررسی پروپوزالها و نمرهدهی به ارائههای گروهی طراحی شود، بهگونهایکه ابتدا این روش بهصورت آزمایشی اجرا شود و پس از برطرف شدن مشکلات، نهاییسازی و رسماً لحاظ گردد. بدین منظور مجریان این فرایند جهت طراحی نظام نوین نمرهدهی، مدل نوآورانه ترازسازی چندوجهی نمرات MDSCM (Multi-Dimensional Scores Calibration Model) را معرفی کردند که شامل ۷ گام و در مطالعه حاضر به شرح زیر انجام شده است:
۱- تحلیل نیازها و اهداف
شناسایی مشکلات موجود: مشکلات فعلی در نظام نمرهدهی، مانند تفاوت در نمرات داوران و سختی سؤالات، بررسی و تحلیل شد.
تعیین اهداف: اهداف سیستم جدید، ازجمله ترازسازی نمرات، افزایش دقت نمرهدهی و کاهش نابرابریها مشخص شد.
۲- طراحی سیستم نمرهدهی
توسعه معیارهای نمرهدهی: معیارهای مشخص برای نمرهدهی سؤالات تشریحی، شامل استانداردهای ارزیابی و نقاط قوّت و ضعف تعیین شد. قبل از تصحیح سؤالات، ارزیابان با یکدیگر برای تصحیح سؤالات براساس استانداردهای تعیینشده به توافق رسیدند.
ایجاد فرمهای نمرهدهی: فرمهای نمرهدهی که شامل بخشهای مختلف برای ارزیابی جنبههای مختلف پاسخها بودند، طراحی شدند.
۳- تعیین نقطه لنگر
شناسایی نقاط لنگر: سؤالات و پاسخهای مرجع انتخاب شدند و از آنها بهعنوان نقاط لنگر برای نمرهدهی استفاده شد.
تدوین و ارزیابی روش جابهجایی نقاط لنگر: بهمنظور تراز کردن نمرات و کاهش خطاها، روشی برای جابهجایی نقطه لنگر طراحی شد و با استفاده از نرمافزار Stata تحلیل انجام گرفت. در این فرایند ۶ ارزیاب (داور) شرکت داشتند و تعداد سؤالات تشریحی انفرادی ۱۶ سؤال بود. در ابتدای کار ترازسازی نمرات، با توجه به گستردگی دامنه نمرات، ابتدا باید نمرات در مبنای ۱۰۰۰ تراز میشد. بدینمنظور در گام اوّل، ۳ گروه دونفره تشکیل شدند و به گروههای دونفره گفته شد که هرکدام جداگانه به یک سؤال نمره دهند؛ یعنی بهازای هر سؤال، ۶ نمره به دست آمد. حال باید نمرات داوران مختلف نسبت به همدیگر در یک مسیر قرار میگرفت که بدینمنظور از ضریب 1K برای تراز کردن نمرات ۶ داور استفاده شد. در گام بعد مرکز ثقل عوض شد و روی فرد ارزیاب متمرکز گردید و نمرات بقیه به نسبت داور محاسبه شد که همان ضریب 2K بود. سپس در فاز سوم ضریب 3K محاسبه گردید که شامل میانگین نمرات گروه داوران (هر ۶ نفر بود). برای همترازی نمرات در گام چهارم، هر سه ضریب 3-1K در یک معادله Kmeans Cluster Analysis تحتعنوان 4K گذاشته شدند که توسط آن تمامی نمرات برای هر سؤال تشریحی برای هر فرد محاسبه شد. درنهایت، برای ۱۶ سؤال تشریحی ۱۶ بار این روش محاسبه گردید و یک معادله نمره تراز نهایی نوشته شد. دقیقاً همین مراحل برای تصحیح پاسخهای پروژههای مرحله گروهی اجرا شد. در جدول ۱ نمونهای از نمرات ترازشده برمبنای ۱۰۰۰ حول ۳ لنگر مربوط به پروژههای مرحله گروهی آمده است (جدول ۱).
جدول ۱. نمونهای از نمرات ترازشده برمبنای ۱۰۰۰ حول ۳ لنگر
.JPG)
- آموزش ارزیابان و داوران
برگزاری کارگاههای آموزشی: کارگاههای آموزشی برای ارزیابان و داوران بهمنظور آشنا کردن آنها با معیارهای نمرهدهی و روشهای جدید برگزار شدند.
تدوین راهنماهای نمرهدهی: تهیه و توزیع راهنماهای نمرهدهی که شامل مثالها و توضیحات دقیق بود.
۵- اجرای سیستم نمرهدهی
اجرای آزمایشی: یک دوره آزمایشی از سیستم جدید نمرهدهی برای شناسایی مشکلات و نقاط قوّت اجرا شد.
جمعآوری دادهها: دادههای نمرات و بازخورد از داوران و دانشجویان جمعآوری گردید.
۶- تحلیل و ارزیابی
تحلیل دادهها: دادههای جمعآوریشده تحلیل و الگوها و نقاط ضعف در سیستم شناسایی شدند.
ترازسازی نمرات: روشهای ترازسازی بر روی نمرات بهمنظور کاهش تفاوتها و نابرابریها اعمال شدند.
۷- بهبود مستمر
بازخورد و اصلاح: بازخورد داوران و دانشجویان جمعآوری گردید و برای اصلاح سیستم راهکارهایی ارائه شد.
توسعه و بهروزرسانی: معیارها و روشهای نمرهدهی براساس تجربیات بهدستآمده و نیازهای جدید بهروزرسانی شدند.
یافته ها
دررابطهبا هدف ویژه اوّل- طراحی نظام نمرهدهی مبتنیبر ترازسازی نمرات: براساس ترازسازی نمرات و جابهجایی نقطه لنگر، نظام نمرهدهی جدیدْ طراحی و نمرات دانشجویان با رویکرد عدالتمحور محاسبه شد.
دررابطهبا هدف ویژه دوم- کاهش خطای تفاوت داوران: نتایج حاصل از این فرایند بیانگر این بود که با استفاده از رویکرد نوین ترازسازی نمرات، خطای تفاوت نمرات داوران بهطور معناداری کاهش یافت.
دررابطهبا هدف ویژه سوم- کاهش خطای سختی سؤالات تشریحی: نتایج نشان داد که روشهای ترازسازی به کاهش خطای سختی سؤالات تشریحی کمک کردند و نمرات به واقعیت نزدیکتر شدند.
دررابطهبا هدف ویژه چهارم- ارزیابی و ارزشیابی نظام نمرهدهی: نظام نمرهدهی جدید بهطور کامل ارزیابی شد و کارایی و اثربخشی آن با توجه تحلیل نتایج نمرات ارزیابان تأیید گردید.
دررابطهبا هدف ویژه پنجم- توسعه نرمافزار برای محاسبه نمرات: از نرمافزار Stata و روش آماری Cluster: Analysis Kmeans استفاده شد و نمرات ترازسازی شدند.
دررابطهبا هدف ویژه ششم- توانمندسازی داوران: جلسات توجیهی و توانمندسازی قبل و حین اجرای فرایند برای ارزیابان تشکیل شدند. داوران با استفاده از کارگاههای آموزشی، با اطلاعات لازم در ارتباط با نظام نمرهدهی جدید که مشتمل بر ارزیابی چندمرحلهای و نحوه نمرهدهی بود، آشنا شدند.
پایش و ارزیابی نظام نمرهدهی: نظام نمرهدهی جدید بهطور مستمر پایش و ارزیابی شد تا اطمینان حاصل شود که کارایی و اثربخشی آن در طول زمان حفظ میشود.
نقاط قوّت و ضعف
نقاط قوّت
- عدالت آموزشی: طراحی نظام نمرهدهی جدید میتواند از ایجاد بیعدالتیهای موجود در فرایند ارزیابی جلوگیری کند و شرایط بهتری برای تمامی شرکتکنندگان فراهم نماید.
- کاهش سوگیریهای نمرهدهی: با جابهجایی نقطه لنگر و استفاده از ترازسازی نمرات، میتوان خطای ناشی از تفاوت در ارزیابی نمرهدهندگان را کاهش داد که به بهبود دقت نمرهدهی کمک میکند.
- تقویت اعتبار آزمون: ایجاد سیستم نمرهدهی عادلانه و استاندارد موجب اعتماد بیشتر به نتایج آزمونها میشود و این میتواند به افزایش اعتبار و وجهه المپیادها کمک کند.
- افزایش انگیزه و اعتمادبهنفس: با تضمین عدالت در ارزیابی، شرکتکنندگان احساس میکنند که عملکردشان بهدرستی شناسایی میشود و این امر میتواند انگیزه و اعتمادبهنفس آنها را افزایش دهد.
- تحلیل دقیقتر نمرات: با استفاده از روشهایِ آماریِ پیشرفته و ترازسازی نمرات میتوان تحلیلهای دقیقتری انجام داد که به درک بهتری از سختی سؤالات و عملکرد شرکتکنندگان منجر میشود.
نقاط ضعف
- پیچیدگی اجرا: اجرای یک نظام نوین نمرهدهی با جابهجایی نقطه لنگر ممکن است پیچیده باشد و به زمان و منابع انسانی و مالی قابلتوجهی نیاز داشته باشد.- مقاومت در برابر تغییر: نمرهدهندگان و آموزگاران ممکن است نسبت به تغییر در روشهای نمرهدهی و ارزیابی مقاوم باشند و این میتواند به چالشهایی در اجرای سیستم جدید منجر شود.
- نیاز به آموزش: برای اجرای موفق این سیستم، نمرهدهندگان و متصدّیان به آموزشهای لازم برای درک و بهرهبرداری مؤثر از نظام جدید نیاز خواهند داشت.
- محدودیتهای فنّاوری: وابستگی به تکنولوژی برای ترازسازی نمرات ممکن است در مناطق کمبرخوردار با مشکلاتی مواجه شود، بهویژه در تأمین زیرساختهای لازم.
بحث و نتیجه گیری
در فرایند ارزیابی دانشجویان، یکی از چالشهای اصلی، تفاوتهای قابلتوجه در نمرات داوران و سختیِ سؤالات تشریحی است. این تفاوتها میتواند ناشی از سوگیریهای شخصی، خستگی یا سلیقههای متفاوت داوران باشد که درنهایت به نمرات ناعادلانه و غیرواقعی منجر میشود. بررسیهای انجامشده نشان میدهند که نمرات دانشجویان در یک گروه با نمرات دانشجویان گروه دیگر در آزمونهای مشابه بهشدت متفاوت است و این امر تاحدّ زیادی به تفکّر و سلیقه فردی داوران بستگی دارد(10، 11، 12).
استفاده از یک فرد برای ارزیابی پاسخها بهدلیل زمانبر بودن و عدم وجود پاسخهای قطعی، مشکلاتی را به همراه دارد. بههمیندلیل، ایجاد یک نظام نمرهدهی که بتواند این چالشها را برطرف کند، ضروری است. مدل نوآورانه ترازسازی عادلانه نمرات (MDSCM) که در این تحقیق معرفی میشود، بهدنبال طراحی یک نظام نمرهدهی دقیق و عادلانه است که با استفاده از روشهای ترازسازی و جابهجایی نقطه لنگر، به کاهش خطای تفاوت داوران و سختی سؤالات کمک میکند.
این نظام نمرهدهی شامل مراحل مختلفی ازجمله تحلیل نیازها و اهداف، طراحی سیستم نمرهدهی، تعیین نقطه لنگر، آموزش داوران، اجرای سیستم نمرهدهی، تحلیل و ارزیابی دادهها و بهبود مستمر است. هریک از این مراحل بهدقت طراحی شدهاند تا اطمینان حاصل شود که نمرات بهصورت عادلانه و دقیق ارزیابی میشوند.
همچنین با توجه به اهمیت آموزش و توانمندسازی داوران، برگزاری کارگاههای آموزشی و توسعه راهنماهای نمرهدهی نیز در این نظام در نظر گرفته شده است. این اقدامات نهتنها به افزایش دقت نمرهدهی کمک میکنند، بلکه به ایجاد یک فرهنگ عادلانه و شفاف در ارزیابی دانشجویان نیز میانجامند.
یافتهها نشان میدهند که با اتّخاذ رویکردهای نوین و استفاده از تکنیکهای ترازسازی میتوان به کاهش سوگیریهای نمرهدهی و تحقّق عدالت آموزشی نزدیکتر شد. این نظام نهتنها به دانشجویان کمک میکند تا تواناییهای واقعی خود را نشان دهند، بلکه میتواند به ایجاد یک نظام آموزشی عادلانهتر و کارآمدتر کمک کند. با توجه به چالشهای موجود در نظامهای نمرهدهی سنّتی و نابرابریهای سیستمیک، طراحی یک نظام نمرهدهی نوین که به عدالت آموزشی احترام بگذارد، بیشازپیش احساس میشود (13).
یافتهها بیانگر این هستند که طراحی نظام نوین نمرهدهی براساس ترازسازی نمرات و جابهجایی نقطه لنگر بهطور مؤثری توانسته است خطای تفاوت داوران و سختیِ سؤالات را کاهش دهد (14). این نظام به بهبود دقّت و عدالت در نمرهدهی کمک میکند و به تحقّق اهداف آموزشی نزدیکتر میشود. از دیگر نتایج مثبت این مطالعه میتوان به توانمندسازی داوران و توسعه نرمافزار برای محاسبه نمرات اشاره کرد. آموزش داوران برای استفاده از نظام نمرهدهی جدید و پایش و ارزیابی مستمر این نظام ازجمله اقداماتی است که برای اطمینان از کارایی و اثربخشی آن در طول زمان ضروری است.
بهطورکلی، این فرایند نشان میدهد که با اتّخاذ رویکردهای نوین در نمرهدهی و توجه به چالشهای موجود میتوان به کاهش سوگیریهای تصحیح و نمرهدهی آزمونها و درنهایت تحقّق عدالت آموزشی نزدیکتر شد. بااینحال، محدودیتهایی مانند تمرکز بر یک حوزه خاص، عدم بررسی تأثیرات بلندمدت، وابستگی به منابع انسانی و مالی و عدم استفاده کامل از فنّاوریهای پیشرفته مانند هوش مصنوعی ازجمله چالشهای اصلی آن هستند. همچنین، مطالعه حاضر به تأثیرات روانشناختی نظام جدید بر داوران و دانشجویان نپرداخته و مقایسه سیستماتیکی با روشهای سنّتی نمرهدهی انجام نداده است. برای افزایش اعتبار و کارایی این نظام، پیشنهاد میشود مطالعات گستردهتر در سایر حوزهها انجام گیرند، از فنّاوریهای پیشرفته بهره گرفته شود و تأثیرات بلندمدت و روانشناختی آن بررسی گردد.
درنهایت، دستاوردهای این فرایند میتواند بهعنوان یک مدل برای سایر نظامهای آموزشی و آزمونهای علمی در نظر گرفته شود و به بهبود کیفیت آموزش و ارزیابی در حوزههای مختلف کمک کند.
ملاحظات اخلاقی
پیروی از اصول اخلاق پژوهش
در این تحقیق، تمامی مراحل طراحی و اجرای نظام نمرهدهی با رعایت اصول اخلاقی و توجه به عدالت آموزشی انجام شد. همچنین، نظرات و بازخوردهای داوران و دانشجویان بهعنوان منبعی برای بهبود مستمر نظام نمرهدهی در نظر گرفته شدند.
جهت تدوین و خلاصهسازی این مقاله از هوش مصنوعی 3.1 Llama کمک گرفته شده است.
حمایت مالی
این پژوهش هیچگونه کمک مالی از سازمان های دولتی، خصوصی یا غیرانتفاعی دریافت نکرده است.
مشارکت نویسندگان
مفهومسازی و طراحی مطالعه؛ جمع آوری، تحلیل و تفسیر دادهها و تهیه پیشنویس دستنوشته ؛ بازبینی نقادانه دستنوشته برای محتوای فکری مهم: آبتین حیدرزاده ایده دادگران
تعارض منافع
نویسندگان اظهار میدارند که هیچگونه تعارض منافعی در این مقاله وجود ندارد.
استفاده از هوش مصنوعی در فرآیند نگارش
نویسندگان اعلام می دارند که در فرآیند نگارش این مقاله از هیچ گونه فناوری های هوش مصنوعی برای تولید محتوا، ایده، تجزیه و تحلیل و سایر موارد استفاده نشده است.
قدردانی
نویسندگان بر خود لازم میدانند از زحمات مسئولین و برگزارکنندگان آزمون المپیاد علمی دانشجویی و داشجویان شرکت کننده در این فرایند تشکر و قدردانی می گردد.