دوره 16، شماره 4 - ( 1403 )
جلد 16 شماره 4 صفحات 74-68 |
برگشت به فهرست نسخه ها
Download citation:
BibTeX | RIS | EndNote | Medlars | ProCite | Reference Manager | RefWorks
Send citation to:
BibTeX | RIS | EndNote | Medlars | ProCite | Reference Manager | RefWorks
Send citation to:
Heydarzadeh A, Dadgaran I. A Fair Scoring System with Score Calibration to Reduce Evaluator Bias and Question Difficulty in the Student Scientific Olympiad of Health Management. Res Med Edu 2025; 16 (4) :68-74
URL: http://rme.gums.ac.ir/article-1-1493-fa.html
URL: http://rme.gums.ac.ir/article-1-1493-fa.html
حیدرزاده آبتین، دادگران ایده. نظام نمره‌دهی عادلانه با ترازسازی نمرات برای کاهش خطای داوران و سختی سوالات در المپیاد علمی دانشجویی مدیریت نظام سلامت. پژوهش در آموزش علوم پزشکی. 1403; 16 (4) :68-74
مرکز تحقیقات آموزش پزشکی، مرکز مطالعات و توسعه آموزش پزشکی، دانشگاه علوم پزشکی گیلان، رشت، ایران ، i.dadgaran@gmail.com
چکیده: (563 مشاهده)
در دنیای امروز، نظام‌های آموزشی به‌عنوان یکی از ارکان اصلی توسعه اجتماعی و اقتصادی کشورها شناخته می‌شوند. دراین‌راستا، ارزیابی عادلانه و دقیق از توانمندی‌های دانشجویان، به‌ویژه در حوزه‌های علوم‌پزشکی، از اهمیت ویژه‌ای برخوردار است. هدف از این مطالعه تبیین چالش‌ها و ضرورت‌های طراحی نظام نوین نمره‌دهی در المپیاد دانشجویی مدیریت نظام سلامت است و به‌دنبال ارائه راهکارهایی عملی و علمی برای بهبود فرایند نمره‌دهی و تحقّق عدالت آموزشی در این زمینه است.
این فرایند توسعه‌ای بوده و با رویکرد SoTL (Scholarship of Teaching & Learning) انجام شده است. این فرایند در قالب مدل نوآورانه ترازسازی نمرات، تحت‌عنوان مدل نوآورانه ترازسازی چندوجهی نمرات MDSCM (Multi-Dimensional Scores Calibration Model) مشتمل بر ۷ گام تحلیل نیازها و اهداف، طراحی سیستم نمره‌دهی، تعیین نقطه لنگر، آموزش ارزیابان و داوران، اجرای سیستم نمره‌دهی، تحلیل و ارزیابی و بهبود مستمر طراحی و اجرا شد.
نتایج حاصل از اجرای این فرایند بیانگر دستیابی به اهداف آموزشیِ تعیین‌شده بود و طراحی نظام نوین نمره‌دهی براساس ترازسازی نمرات و جابه‌جایی نقطه لنگر، نتایج مثبتی را به همراه داشت و به‌طور مؤثری به کاهش خطای ناشی تفاوت در نمره‌دهی داوران و سختی سؤالات و به بهبود دقت و عدالت در نمره‌دهی منجر شد. از دیگر نتایج مثبت این فرایند می‌توان به توانمندسازی داوران در نمره‌دهی و توسعه نرم‌افزاری برای محاسبه نمرات اشاره کرد.
یافته‌ها نشان می‌دهد که با اتّخاذ رویکردهای نوین و استفاده از تکنیک‌های ترازسازی می‌توان به کاهش سوگیری‌های نمره‌دهی و تحقّق عدالت آموزشی نزدیک‌تر شد. این نظام نه‌تنها می‌تواند به دانشجویان کمک کند تا توانایی‌های واقعی خود را نشان دهند، بلکه می‌تواند به ایجاد یک نظام آموزشی عادلانه‌تر و کارآمدتر کمک کند. دستاوردهای این فرایند می‌تواند به‌عنوان یک مدل برای سایر نظام‌های آموزشی و آزمون‌های علمی در نظر گرفته شود و به بهبود کیفیت آموزش و ارزیابی در حوزه‌های مختلف کمک کند.
این فرایند توسعه‌ای بوده و با رویکرد SoTL (Scholarship of Teaching & Learning) انجام شده است. این فرایند در قالب مدل نوآورانه ترازسازی نمرات، تحت‌عنوان مدل نوآورانه ترازسازی چندوجهی نمرات MDSCM (Multi-Dimensional Scores Calibration Model) مشتمل بر ۷ گام تحلیل نیازها و اهداف، طراحی سیستم نمره‌دهی، تعیین نقطه لنگر، آموزش ارزیابان و داوران، اجرای سیستم نمره‌دهی، تحلیل و ارزیابی و بهبود مستمر طراحی و اجرا شد.
نتایج حاصل از اجرای این فرایند بیانگر دستیابی به اهداف آموزشیِ تعیین‌شده بود و طراحی نظام نوین نمره‌دهی براساس ترازسازی نمرات و جابه‌جایی نقطه لنگر، نتایج مثبتی را به همراه داشت و به‌طور مؤثری به کاهش خطای ناشی تفاوت در نمره‌دهی داوران و سختی سؤالات و به بهبود دقت و عدالت در نمره‌دهی منجر شد. از دیگر نتایج مثبت این فرایند می‌توان به توانمندسازی داوران در نمره‌دهی و توسعه نرم‌افزاری برای محاسبه نمرات اشاره کرد.
یافته‌ها نشان می‌دهد که با اتّخاذ رویکردهای نوین و استفاده از تکنیک‌های ترازسازی می‌توان به کاهش سوگیری‌های نمره‌دهی و تحقّق عدالت آموزشی نزدیک‌تر شد. این نظام نه‌تنها می‌تواند به دانشجویان کمک کند تا توانایی‌های واقعی خود را نشان دهند، بلکه می‌تواند به ایجاد یک نظام آموزشی عادلانه‌تر و کارآمدتر کمک کند. دستاوردهای این فرایند می‌تواند به‌عنوان یک مدل برای سایر نظام‌های آموزشی و آزمون‌های علمی در نظر گرفته شود و به بهبود کیفیت آموزش و ارزیابی در حوزه‌های مختلف کمک کند.
نوع مطالعه: یادداشت فنی |
موضوع مقاله:
سنجش و ارزشيابي
فهرست منابع
1. Education Development Center. Objective of the Student Scientific Olympiad; 2025.[Persian] [Link]
2. Ministry of Health and Medical Education. Regulations of the medical sciences students' scientific olympiad; 2017. [Link]
3. Sadr H, Nazari Soleimandarabi M, Khodaverdian Z. Automatic assessment of short answers based on computational and data mining approaches. J Decisions and Operations Res 2021;6(2):242-255. [DOI:10.22105/dmor.2021.251713.1230]
4. Magirans. Essay questions 2025. [ Link]
5. Barkaoui K. Variability in ESL essay rating processes: the role of the rating scale and rater experience. Lang Assess Quarter 2010;7(1):54-74. [DOI:10.1080/15434300903464418]
6. Moradi E, Didehban H. Scoring in the essay tests questions: methods, challenges and strategeis. Nurs Midwifery J 2015;13(8):692-698. [Link]
7. Alimohammadi m, Farakhi N. Effective factors on composition tests' correction by teachers. Quart Educa Measure 2015;6(20):211-225. [DOI:10.22054/jem.2015.1678]
8. Kolen M, Brennan R. Test equating, scaling, and linking: methods and practices. Springer; 2004. [DOI:10.1007/978-1-4757-4310-4]
9. Asadi V, Moghadamzadeh A, Salehi K. The Effect of the anchor to total test correlation on equating results: a systematic review. Educa Measure Evalua Studies 2023;13(43):7-38. [DOI:10.22034/emes.2023.1971260.2430]
10. Huggins-Manley AC, Qiu Y, Penfield RD. Exploring a source of uneven score equity across the test score range. Int J Test 2018;18(1):50-70. [DOI:10.1080/15305058.2017.1396463]
11. Nabbout M. A study of discrepancies in the assessment of probabilistic tasks: why might teachers grade and evaluate inconsistently a given answer?. Assessing Student Leaning In Statistics IASE Satellite Conference; 2007. [Link]
12. Nikmard F, Tavassoli K. The Impact of Test Length on Raters' Mental Processes During Scoring Test-Takers' Writing Performance. J Lang Horizons 2023;7(1):159-182. [Link]
13. Effatpanah F, Baghaei P. Exploring rater quality in rater-mediated assessment using the non-parametric item characteristic curve estimation. Psychol Test Asses Model 2022;64(3):216-252. [Link]
14. Zolfagharnasab S, Moghadamzadeh A, Sharifi Yeganeh N. Equating and linking scores in national exams. Educa Measure Evalua Studies 2023;13(44):111-132. [DOI: 10.22034/emes.2024.561619.2412]
ارسال پیام به نویسنده مسئول
| بازنشر اطلاعات | |
 |
این مقاله تحت شرایط Creative Commons Attribution-NonCommercial 4.0 International License قابل بازنشر است. |
