هدف آموزش مبتنی بر کسب شایستگی حرفه‌ای، افزایش دانش­ ها و مهارت­ ها و نگرش­ های دانشجویان در رشته پزشکی می­باشد. آموزش مبتنی بر کسب شایستگی حرفه ­ای به دانشجویان کمک می­ نماید تا بتوانند خدمات مناسب حرفه ­ای به جامعه ارائه نمایند (1). اعطای گواهی‌­نامه ­ی  حرفه ­ای و تخصصی به داوطلبان، نشان می­ دهد که داوطلبان پذیرفته شده در حوزه تخصصی خود به سطح دانش، مهارت یا توانایی­های معین و مورد انتظار دست یافته ­اند. به ­طور کلی برای دستیابی به این گواهی­نامه­ ها، آمیزه­ای از دانش­‌ها و مهارت ­های لازم و کسب نمره قبولی در آزمون ضروریست. نمره قبولـی در آزمـون یکی از الزامات مهم و بحث­ برانگیز جهـت حـفظ ارزش و اعتبـار آزمــون­ هـای مـلاک مـرجـــع(Criterion_Reference) محسوب می‌شود. فرایند تعیین حداقل توانمندی و شایستگی­ های لازم داوطلبان براساس نـوع دانش و میزان آن تعیین استاندارد (Standard Setting) و تبدیل آن به نمره­ای واقعی و قابل اندازه­ گیری شامل حداقل نمره قبولی، را نمره برش  (Cut Score)می­ نامند (2،3). سیزک ((Cizek فرآیند تعیین استاندارد را «پیگیری درست سیستم تجویزی و منطقی قوانین یا رویه‌هایی که به تعیین عددی منتهی می‌شوند که دو یا چند سطح یا درجات عملکردی را از هم جدا می‌کند» تعریف می ­نماید (4). در آزمون‌های ارایه گواهی، تعیین منطقی استاندارد امری ضروری ست به عبارت دیگر، استاندارد قبولی باید حداقل میزان شایستگی لازم جهت دریافت گواهی­نامه را مشخص نماید (5،6). برنامه دوره دکتری عمومی شامل دروس عمومی وعلوم پایه، نشانه ­شناسی و فیزیوپاتولوژی، کارآموزی و کارورزی می­ باشد. به دلیل حساسیت بالای این رشته و تاثیر مستقیم توانمندی­های حرفه­ ای دانشجویان این رشته بر سلامت جسمانی و روانی فرد فرد افراد جامعه در طول دوران تحصیل، دانشجویان رشته­ های پزشکی باید بتوانند از سه مقطع و سه آزمون عبور نمایند. پس از سپری شدن دوره عمومی و علوم پایه، دوره نشانه­شناسی و فیزیوپاتولوژی به­عنوان اولین مرحله آموزش بالینی در دوره دکتری عمومی آغاز و آزمون جامع پیش­کارورزی در پایان دوره کارآموزی برگزار می ­گردد. در صورتی که دانشجو بتواند آزمون پیش­ کارورزی را با موفقیت طی نماید می ­تواند وارد دوره کارورزی گردد (7). نکته بسیار مهم در تعیین استاندارد این آزمون تعیین نمره برش به­ گونه­ای است که بتواند استاندارد عملکرد مناسبی را نشان دهد. این نمره باید بتواند بین داوطلبانی که به سطح شایستگی دست یافته­ اند و داوطلبانی که نتوانسته­ اند شایستگی حرفه­ ای لازم را کسب نمایند تمایز قائل شوند (8). فرآیند تعیین استاندارد در دو مرحله رخ می‌دهد. در مرحله نخست مفهوم استاندارد عملکرد تعریف می‌شود. سپس این استاندارد به حداقل نمره یا نمره قبولی تبدیل می‌گردد (3،8). روش­ های تعیین استاندارد و نمره برش متناسب با اهداف آزمون­ ها و نوع آزمون­ ها متنوع هستند. در روش‌های آزمودنی محور  (Candidate_Centered) فرایند داوری براساس بحث و فضاوت عملکرد فرد در آزمون صورت می ­گیرد و در روش‌های آزمون­محور (Test_ Centered) تمرکز بر سوال­ های آزمون می­ باشد (11-9). همچنین در روش های هنجار- مرجع (Norm_Refrenced) مبنای تعیین نمره برش، تعداد یا درصد افراد از پیش تعیین شده برای قبولی بوده ولی در روش ­های ملاک مرجع مبنای تعیین نمره برش، رعایت معیارها و ملاک­ هایی است که از نوع عملکرد سایر آزمودنی‌ها تاثیر نمی‌گیرد (به عبارت دیگر هر فردی که دانش لازم را داشته باشد می‌تواند در این آزمون قبول شود). از روش‌های ملاک مرجع و آزمون محور غالباً در آزمون سرنوشت­ ساز استفاده می‌شود (13-11).
در روش‌های آزمون محور و ملاک مرجع ابتدا گروهی از کارشناسان موضوعی (داوران، ارزیابان یا اعضای هیات مشاوره) گرد هم می­آیند تا داوطلب با حداقل شایستگی را براساس دانش یا توانایی مورد قبول مشخص نمایند. در این میان یک تسهیل­ کننده و راهنما نیز روند مباحثه میان اعضای هیات مشاوره (این افراد فهرستی از علوم، مهارت و توانایی‌هایی را ارایه می‌کنند که برای دستیابی به نمره قبولی باید وجود داشته باشند) را میسر می‌سازد (3،4).
برای تبدیل استاندارد قبولی به حداقل نمره، رویکردهای متعددی وجود دارد. در روش‌های آنگوف (Angoff) و ایبل(Ebel)  کار برآورد تعداد آزمودنی‌های با حداقل توانایی (Minimally Compitent Condidate) که می‌توانند یک سوال را درست پاسخ دهند بر عهده اعضای هیات داوران است. روش نیدلسکی (Nedelsky) اعضای هیات داوران را ملزم می‌سازد تا عوامل خطا را شناسایی کنند که ممکن است سبب شوند MCC)) سوال مربوطه را درست پاسخ ندهند (14،15). زمانی که داده‌های اعضای هیات داوران با هم مطابقت داده می‌شوند، پس از آرایه برخی از اطلاعات دور دوم قضاوت در مورد سوال­ها آغاز می‌شود. این اطلاعات اغلب عبارتند از داده اثر (Impact Data) حاصل از توافق هیات داوران (16،17). گاهی از روش تعیین استانداردی استفاده می‌شود که در آن برای تعیین نمره برش از اطلاعات هنجاری استفاد ه می‌گردد (18،19).
یکی از رایج­ترین روش­های تعیین نمره برش در آزمون­های مـلاک مرجع روش بـوک مـارک (Bookmark) می­بـاشد (22-20). روش بوک مارک یک رویکرد نسبتاً جدید است که در سال 1996 توسط گروه تحقیقاتی CTB / McGraw-Hill برای استفاده در آموزش K-12 ساخته شده است (18،23). روش نقشه سوال (Item_Mappig) برگرفته از روش بوک مارک می­باشد، این روش از نظریه سوال- پاسخ براساس مدل راش (Item_Response Theory: Rasch Model)، برای فرایند تعیین استاندارد و نمره برش استفاده می­نماید. این روش جایگزین مناسبی برای روش آنگوف است که تاکنون در آزمون­ های چندگزینه­ ای و مخصوصاً آزمـون­ هایی که با هدف اعـطاء گواهی­نامه اجرا می­ شوند، مورد استفاده  قرار می­ گرفت (8).
پرکاربردترین روش تعیین نمره برش برای آزمون­های چندگزینه­ای و آزمون­های اعطای گواهی­نامه، روش آنگوف و آنگوف اصلاح شده می­باشد (24). در این روش از داوران خواسته می­شود تا نسبت داوطلبانی با حداقل صلاحیت که به سوال پاسخ درست می­دهند را برآورد نمایند (25). انتقاد عمده به روش آنگوف این است که داوران برآورد صحیحی از دشواری سوالات و نحوه ارتباط آن با داوطلب با حداقل صلاحیت ندارند و برآوردها در بسیاری مواقع ناهمسو و متناقض می­باشد (26،27).  سیزک ((Cizek به نقل از وانگ (Wang) بیان نمود که داوران در تعیین نمره برش به روش آنگوف، قادر به پیش­بینی دقیق عملکرد آزمودنی‌های مرزی در سوال‌های آزمون نیستند. روش نقشه سوال با استفاده از مدل راش روند پیش­بینی را ساده می‌کند و کمبود شناختی روش ­های دیگر را برطرف  می­ نماید از سویی دیگر در روش آنگوف داوران به بررسی عملکرد داوطلبان در تک تک سوالات می­پردازند در حالی­که روش نقشه سوال یک تصویر کلی از همه سوالات براساس پارامتر دشواری برآورد شده را در هیستوگرام ارائه می­نماید. به این ترتیب فرایند تصمیم­گیری برای داوران تسهیل می ­گردد. داوران از طریق روش نقشه سوال‌ می‌توانند سوال­ها را در یک هیستوگرام مشاهده کنند. این سوال­ ها به ترتیب پارامتر دشواری سوال (Rasch Item Difficulty Parameter)، از سوالات با پارامتر دشواری کم شروع و به سمت سوالات با پارامتر دشواری بالا در روی یک هیستوگرام قرار گرفته­اند. در این روش هنگامی که توانایی داوطلب با دشواری سوال برابر باشد احتمال پاسخ صحیح به سوال 50 درصد است و این مزیت عمده روش نقشه سوال می­باشد که کار برآورد را برای داوران آسان می ­نماید. داوران سوال‌ها را هم­زمان مرور می‌کند، اعضاء پس از بررسی هرسوال، مشخص می‌کنند که آیا به احتمال 50 درصد (یا بیشتر) داوطلبان مرزی می‌توانند به سوال مربوطه پاسخ درست بدهند یا خیر؟ این فرآیند آنقدر تکرار می‌شود تا اعضاء به این اتفاق نظر برسند که در چه سوال یا سوال‌هایی داوطلب با حداقل توانایی با احتمال 50 درصد نمی‌توانند به سوال یا سوال­هایی بعدی پاسخ درست بدهند. موقعیت سوال یا سوال‌ها در هیستوگرام با سطح توانایی معینی در انطباق است سپس این سطح توانایی به حداقل نمره در آزمون تبدیل می­گردد که نمره برش آزمون نامیده می­شود (18). آزمون­ های پیش­کارورزی علوم پزشکی با هدف تصمیم­گیری در مورد ارتقاء دانشجویان به مقطع بالاتر تحصیلی طراحی و اجرا می­گردد، دوره­ی انترنی آخرین دوره­ ی آموزش پزشکی عمومی می­باشد و دانشجویان باید بتوانند با کسب شایستگی­ های لازم در زمینه دانش و مهارت­های پزشکی به این دوره وارد شوند (28). به همین دلیل سنجش توانایی ­های مورد نیاز جهت ورود به دوره انترنی و به دنبال آن، تعیین نمره­ای در آزمون که به درستی بتواند آزمودنی­هایی که شایستگی­های لازم را کسب نموده­اند را از سایر آزمودنی­ها، تفکیک نماید از اهمیت بالایی برخوردار است. تعیین حد نصاب قبولی یا نمره برش در آزمون پیش­ کارورزی به شیوه­ای کنونی که داوطلبانی در آزمون قبول اعلام می­گردند که بتوانند 70 درصد میانگین نمرات 5 درصد افرادی که بالاترین نمره را در سطح کشور کسب نموده ­اند؛ را کسب نمایند (7)، برای آزمون­ های ملاک مرجع مناسب نبوده است و بیشتر با هدف مقایسه افراد با یکدیگر کاربرد دارد. لذا با توجه به مزیت­هایی که روش نقشه سوال دارد، در این پژوهش به تعیین استاندارد و نمره برش آزمون براساس روش نقشه سوال پرداخته شد. تحقیق حاضر بر روش‌ تعیین استاندارد و نمره برشی تمرکز دارد که برای آزمون‌های چهارگزینه­ای ملاک مرجع و سرنوشت­ساز همانند آزمون­ های جامع علوم پزشکی مناسب است. این پژوهش به بررسی این سوال می­پردازد که نمره برش مناسب با استفاده از روش نقشه سوال در آزمون جامع پیش­ کارورزی چقدر است؟ و آیا این روش از روایی رویه­ ای مناسبی برخوردار است؟
روش ­ها
پژوهش حاضر در زمره مطالعات توصیفی - مقطعی است. جامعه آماری پژوهش شامل کلیه داوطلبان آزمون پیش­ کارورزی (پره انترنی) شرکت­کننده در آزمون­های جامع  پزشکی شهریور ماه 1395 به تعداد 274 نفر (151نفر زن، 123 نفر مرد) بود. پژوهش حاضر به بررسی نمره برش آزمون جامع پیش­کارورزی (پره انترنی) قطبِ دهِ کشوری می­پردازد. این آزمون هر سال در دو نوبت شهریور و اسفند ماه در رشته‌های پزشکی دانشگاه‌های علوم پزشکی تهران، شهید بهشتی، ایران، بقیه­ الله، ارتش، بهزیستی و توانبخشی اجرا می­ گردد. آزمون شامل 200 سوال چهارگزینه­ای با نمره­گذاری صحیح 1 و غلط 0 در موضوعات داخلی، جراحی، کودکان، زنان، مغز و اعصاب، عفونی، رادیولوژی، آسیب­ شناسی،روان­ پزشکی، پوست، جراحی استخوان و مفاصل، جراحی کلیه و مجاری ادراری تناسلی، چشم پزشکی، گوش و حلق و بینی، آمار و اپیدمولوژی ، فارماکولوژی  و اخلاق پزشکی است. در پژوهش حاضر با توجه به بکارگیری نظریه سوال- پاسخ (نقشه سوال) در برآورد نمره برش آزمون جامع پیش ­کارورزی پزشکی، دستیابی به برآورد پارامترهای سوال و توانایی تنها با استفاده از روش‌های کمی امکان‌پذیر است. لذا در این پژوهش، ابتدا با استفاده از نرم‌افزار Winstep 3.92.1 سوالات آزمون به شیوه کمی و با استفاده از مدل راش مورد تجزیه و تحلیل قرار گرفت.
ضریب اعتبار سوالات آزمون (Item RelibilityCofficience) جامع پیش­کارورزی پزشکی برابر 98/0 برآورد شد که نشان­ دهنده این مطلب است که میزان خطا در پاسخ به سوالات بسیار کم بوده است. همچنین ضریب اعتبار شخص (Person Relibility Cofficience) برابر 93/0بود که نشان می­دهد که واریانس نمونه و طول آزمون مناسب است، از انواع سوالات حوزه­های شانزده­گانه به اندازه­ی کافی نمونه سوال در آزمون استفاده و این­که سوالات متناسب با سطح کاندیداها انتخاب شده، توانسته بین افراد تمایز ایجاد کند (29). شاخص برازش شخص (Person Sepration Index) نیز برابر 52/3 برآورد شد که نشان‌دهنده توانایی آزمون در برش و تمییز آزمودنی‌ها است. همچنین ضریب برازش سوالات(Item sepration Index) 72/7 برآورد گردیده که نشان می ­دهد این آزمون در تمیز سوالات خرده آزمون‌های    شانزده­ گانه توانمند عمل کرده است. همچنین ضریب آلفای آزمون برابر 93/0 بدست آمد که نشان­دهنده پایایی مطلوب آزمون است.

در بررسی برازش سوالات آزمون با استفاده از نرم‌افزار winsteps باید به دو آماره Mnsqو  Zstdتوجه داشت. آماره Mnsq در دامنه‌ای از صفر تا بی‌نهایت است که جهت برازش سوالات آزمون این آماره باید یک باشد. مقادیر بالاتر از یک بیانگر انحراف از تک­بعدی بودن و مقادیر پایین­تر از نیز بیان­گر بیش برازش الگوهای پاسخ با مدل راش است و این به معنای وجود وابستگی در میان پاسخ­ها یا سوالات می­باشد. همان­طور که در جدول شماره یک مشاهده می‌شود مقدار این آماره در Infit و Outfit برابر یک است. همچنین آماره zstd نیز آماره معنی­داری آماری انحراف داده­ها از مدل راش را آزمون می­ کند. این آماره از تبدیل آماره  Mnsqبه آماره  tبه­ دست می ­آید در نمونه­ های بزرگ دارای توزیع  zمی­باشد، این آماره معنی­داری انحراف داده­ها از مدل راش را آزمون می­ کند. این آماره به حجم نمونه بسیار حساس است. برای نمونه­ های با حجم کوچک­تر از 90 نفر هر نوع داده­هایی با مدل برازش   می­یابد، در حالی­که برای نمونه­های بزرگتر از 900 نفر هیچ نوع داده­ای با مدل برازش ندارد (30). که با توجه به جدول شماره یک مقدار مشاهده شده این آماره در هر دو حالت (Infit و Outfit) برابر صفر است. لذا با توجه به مقادیر مشاهده شده هر یک از این آماره‌ها می‌توان گفت که سوالات آزمون پیش­کارورزی با مدل تک ­پارامتری راش (نظریه سوال- پاسخ) برازش دارند. پس از بررسی شاخص­های برازش آزمون و محاسبه پارامترهای دشواری و توانایی سوالات براساس مدل راش، با استفاده از روش‌های کیفی و بهره‌گیری از نظر متخصصان، نمره برش سوالات مشخص شد. بدین منظور با توجه به این­که اجرای آزمون جامع پیش ­کارورزی در شهریور ماه 1395 بر عهده دانشگاه علوم پزشکی تهران بوده است، لذا برای بررسی نمره برش، لیستی شامل13 نفر از اعضاِء هیات علمی دانشگاه علوم پزشکی تهران شناسایی، انتخاب و دعوت به همکاری شدند.
در انتخاب آن­ها تلاش شد تا بیشترین تنوع از نظر تخصص، سابقه آموزشی، سن در نظر گرفته شود. جلسه تعیین استاندارد به صورت کارگاهی نیم‌روزه (6 ساعت) برگزار شد. با توجه به ملاحظات اخلاقی در مورد شرکت­ کنندگان در پژوهش، آن­ها از هدف تحقیق مطلع شده و به­ طور داوطلبانه و اختیاری در پژوهش شرکت داشتند و تمام اطلاعات محرمانه می­باشد. در ابتدای جلسه داوران با مفاهیم تعیین استاندارد و نمره برش و اهمیت آن در آزمون­های پزشکی آشنا شدند، سپس به بررسی توانایی­های داوطلب با حداقل شایستگی پرداختند، پس از آن سوالات آزمون جامع پره انترنی که با استفاده از نرم­افزار تحلیل شده بودند، بر حسب پارامتر دشواری از آسانترین سوال تا دشوارترین سوال در قالب دفترچه جدیدی از سوالات آزمون تنظیم شد و در اختیار داوران قرار گرفت. در گام بعدی داوران به این سوال پاسخ دادند که «کدام صفحه و کدام سوال است که داوطلب با حداقل صلاحیت می­تواند به آن پاسخ داده و به سوالات بعد از آن نمی­ تواند پاسخ درست دهد؟» داوران به بررسی سوالات پرداخته و شماره سوال و صفحه سوال را در کاربرگی که در اختیارشان قرار گرفت وارد نمودند. در شکل شماره یک  نمونه­ای از سوالات آزمون دفترچه جدید ارائه شده است.


همانطور که در شکل شماره یک مشاهده می­ شود، دفترچه سوالات آزمون شامل: شماره سوال در دفترچه آزمون جامع پیش ­کارورزی، شماره صفحه سوال در دفترچه جدیدآزمون جامع پیش­ کارورزی (قطب 10 کشوری) که بر حسب دشواری سوالات مرتب شده­ اند، متن سوال، گزینه­ ها و کلید آن ارائه شده است. داوران در طی سه مرحله به بررسی و انتخاب نمره برش آزمون با روش نقشه سوال پرداختند. در مرحله اول داوری، دفترچه سوالات آزمون که بر جسب پارامتر دشواری مدل راش مرتب شده بود در اختیار داوران قرار گرفت و داوران هر یک از سوالات را از ابتدای دفترچه مطالعه نموده وسپس نمره برش آزمون را در صفحه سوالی قرار دادند که از نظر آن­ها داوطلب با حداقل صلاحیت قادر به پاسخگویی به سوالات بعد از آن نیست. شماره سوال و شماره صفحه دفترچه سوال انتخابی توسط راهنمای جلسه ثبت گردید و سپس انتخاب داوران در جلسه مورد بحث قرار گرفت.
در مرحله بعدی (راند دوم داوری)، جدول سوالات آزمون جامع پیش­کارورزی پزشکی که بر حسب پارامتر دشواری مدل راش از ساده به دشوار مرتب شده و در اختیار داوران قرار گرفت و داوران علاوه بر دفترچه سوالات، جدول مرتب شده سوالات همراه با ویژگی پارامتر دشواری سوالات را دریافت نمودند. داوران مجدداً سوالی را انتخاب نمودند که از نظر آنان داوطلب با حداقل صلاحیت به سوالات تا قبل از آن به درستی پاسخ داده و به سوالات بعد از آن نمی­ تواند پاسخ درست دهد. نتایج دور دوم داوری نیز بر حسب شماره سوال و شماره صفحه انتخابی توسط هر کدام از داوران، توسط راهنمای جلسه ثبت گردید و سپس دلایل انتخاب سوال مربوطه در گروه داوران به بحث گذاشته شد.
در مرحله سوم (راند سوم داوری)، علاوه بر دفترچه سوالات و جدول جایگاه سوالات بر حسب پارامتر دشواری آن­ها، نمودار هیستوگرام سوالات، در اختیار داوران قرار گرفت. در این نمودار، سوالاتی که دارای ضریب دشواری تقریباً یکسانی هستند، بر روی یک محور قر داشت و سپس مجدداً از داوران درخواست گردید که ستونی از سوالات را بر روی هیستوگرام انتخاب نمایند که از نظر آنان داوطلب با حداقل صلاحیت به سوالات قبل آن به درستی پاسخ می­دهد و به سوالات بعد از آن نمی­تواند به درستی پاسخ دهد. در این مرحله داوران با هم فکری با یکدیگر به بررسی ستون­های هیستوگرام پرداخته و سپس یک ستون را انتخاب نمودند. در مرحله سوم نیز راهنمای جلسه پاسخ داوران را ثبت نمود. جهت بررسی روایی تعیین نمره برش از روایی رویه­ای استفاده گردید. روایی رویه ­ای از طریق شواهدی تعیین گردید که مراحل و فرایند تعیین استاندارد و نمره برش را در بر می­گیرد. به این منظور پس از جلسه­ ی تعیین نمره برش و به جهت ارزیابی فرایند اجرا شده، داوران آزمون پیش ­کارورزی در قالب یک فرم ارزیابی به سوالات در دامنه­ای از کاملاً موافقم تا کاملاً مخالفم همانند جدول پاسخ دادند.
یافته­ ها
پس از دریافت پاسخ داوطلبان آزمون پیش­کارورزی شهریور 1395 از دانشگاه علوم پزشکی تهران، داده­ ها توسط نرم­افزار winstep تحلیل و پارامتر دشواری و پارامتر توانایی سوالات محاسبه گردید. آسان­ترین سوال، سوال شماره 102 با پارامتر دشواری 52/3- و دشوارترین سوال، شماره 53 با پارامتر دشواری 63/3 بود. در مرحله اول داوری، داوران دفترچه سوالات را که به ترتیب پارامتر دشواری سوالات از آسان به دشوار مرتب شده بود، دریافت نمودند و نمره برش مورد نظر خود را اعلام کردند. نتایج مرحله اول داوری در جدول شماره دو آمده است. در راند دوم داوری از اعضای هیئت علمی خواسته شد تا با در اختیار داشتن پارامتر دشواری محاسبه شده برای هر سوال که در جدول نشان داده شده است، سوالی را که از نظر آنان داوطلب با حداقل صلاحیت، قادر به     پاسخ­گوی به سوالات بعد از آن نیست، مشخص کنند.

همانطور که در جدول شماره دو مشاهده می­شود، هر یک از 13داور، در مرحله اول داوری در پاسخ به سوال «کدام صفحه و کدام سوال است که داوطلب با حداقل صلاحیت می­تواند به آن پاسخ داده و به سوالات بعد از آن نمی­تواند به درستی پاسخ دهد؟ به­گونه­ای متفاوت عمل نموده­اند و هر کدام از داوران سوالی را متفاوت از دیگری، به­عنوان نقطه برش (استاندارد) مشخص کردند. در مرحله دوم، در کنار دفترچه سوالات جدولی حاوی پارامتر دشواری محاسبه شده براساس مدل راش در اختیار داوران قرار گرفت. در این جدول سوالات براساس پارامتر دشواری مدل تک­پارامتری راش از ساده به دشوار مرتب شده بودند و مجدداً سوال اولیه از داوران پرسیده و داوران سوال مورد نظر را انتخاب نمودند.

همان­گونه که در جدول شماره سه مشاهده می­شود سوالات براساس پارامتر دشواری مدل راش مرتب شده­اند. ساده­ترین سوالات این آزمون به ترتیب سوال شماره 102 با دشواری سوال 52/3-، سوال 72 با دشواری سوال 8/2-، 107 با دشواری سوال 71/2- بود. دشوارترین سوالات آزمون نیز سوال 173 با دشواری سوال 78/2، سوال 77 با دشواری سوال 82/2 و همچنین دشوارترین سوال مربوط به سوال شماره 53 با دشواری سوال 63/3 قرار داشت. جهت راهنمایی بیشتر داوران، دشواری سوالات براساس نظریه کلاسیک اندازه­گیری نیز محاسبه و در اختیار آنان قرار گرفت. 
در دور دوم نقشه سوال آزمون در اختیار داوران قرار گرفت.  نقشه سوال، نمودار هیستوگرامی از سوالات بود که توزیع سوالات آزمون بر حسب پارامتر دشواری نمایش داده شد. سوالاتی که از نظر پارامتر دشواری در یک سطح بودند، بر روی یک محور قرار گرفتند. در این نمودار سوالات با پارامتر دشواری پایین در سمت راست و سوالات با پارامتر دشواری بالا در سمت چپ مرتب شدند. سوال 53 آزمون با پارامتر دشواری (63/3=b) دشوارترین سوال شناسایی شد. از میان 274 داوطلب شرکت­کننده در آزمون تنها 13 نفر معادل 5 درصد داوطلبین به این سوال پاسخ درست داد و پارامتر توانایی معادل این دشواری برابر 78/0 بود. سوال 102 با پارامتر دشواری (52/3-=(b ساده­ترین سوال در این آزمون بود. از میان 274 داوطلب آزمون جامع پیش­کارورزی، 268 نفر معادل 98 درصد داوطلبین به این سوال پاسخ درست دادند. توانایی برآورد شده براساس مدل راش برای این سوال برابر 48/0 بود.
در مرحله­ی سوم داوری، نمودار نقشه سوال در اختیار داوران قرار گرفت و آنان با اکثریت آراء روی ستون 17 از نقشه سوال به توافق رسیدند. در این ستون سوالات (86، 57، 44 و ...، 70 قرار داشتند و میانگین پارامتر دشواری سوالات برابر (46/0b=) بود و نمره خام معادل پارامتر دشواری برابر نمره خام 123و پارامتر توانایی برابر (58/0) بود.  

همان­گونه که در جدول 4 مشاهده می­گردد، نتایج بررسی روایی، رویه­ ای روش تعیین استاندارد و نمره برش نشان داد که داوران در طی جلسه توجیهی روش نقشه سوال، درک روشنی ازمفاهیم تعیین استاندارد، روش نقشه سوال و داوطلب با حداقل صلاحیت کسب نمودند. از نظر داوران، ارائه داده­های واقعی توانسته به آنان در درک نمره برش کمک نماید ولی هنوز در کاربرد نقشه سوال به رضایت بالایی دست نیافته­ اند. 
بحث و نتیجه­ گیری
دانشگاه­ های علوم پزشکی هر سال دو بار اقدام به برگزاری آزمون جامع پیش­کارورزی می­نمایند. نمره قبولی در این آزمون­ ها به روش هنجار مرجع تعیین می­ گردد، در صورتی که آزمون پیش­کارورزی با هدف سنجش توانایی­ها و شایستگی ­های حرفه ­ای دانشجویان رشته­ های پزشکی جهت ورود آنان به دوره انترنی اجرا می­گردد و جزو دسته آزمون­ های ملاک مرجع می­باشد. در اجرای این آزمون­ها تعیین نمره برش از اهمیت خاصی برخوردار بوده و مجوز ورود دانشجویان به دوره انترنی می­ باشد. در این مطالعه پس از آموزش در زمینه مفهوم نمره برش و معرفی روش نقشه سوال، از داوران خواسته شد تا نمره برش را تعیین نمایند. پس از مرحله اول و دوم داوری آن­ها به بحث و در مرحله سوم داوران تبادل نظر به یکدیگر پرداختند و در حین بحث با یکدیگر به تعیین نمره برش اقدام نمودند. توافق بین داوران بعد از بحث و بعد از بررسی پارامتر دشواری سوال و ارائه هیستوگرام پارامتر دشواری سوالات افزایش یافت. این امر، یافته­ های مطالعات دیگر را مبنی بر این که بحث و بررسی در راستای افزایش توافق بین داوران مفید هستند، تأیید می ­کند (3،8،31).
اولین مرحله در نمره برش، تعیین داوطلب با حداقل صلاحیت (MCC) می­باشد. وانگ(Wang) در پژوهش خود بیان داشت که با  این­که روش آنگوف رایج­ترین روش تعیین نمره برش در آزمون­های اعطای گواهی­نامه است اما باتوجه به مشکل شناختی این روش مخصوصاً در تعیین و درک داوطلب با حداقل صلاحیت از روش نقشه سوال استفاده کرده است. وی شواهد رویه­ ای برای استفاده از روش نقشه سوال ارائه می­ دهد و بیان می­ دارد در روش نقشه سوال داوران درک بهتری از داوطلب با حداقل صلاحیت کسب نموده ­اند و برآورد صحیحی از پارامتر دشواری سوال به دست آورده ­اند. اسنابل(Schnabel) نیز با بررسی روایی رویه­ ای روش نقشه سوال بیان می­دارد داوران به خوبی مفهوم داوطلب با حداقل صلاحیت را درک کرده­اند (3،8). در پژوهش حاضر نیز داوران در طی جلسات توجیهی به درک روشنی از داوطلب با حداقل صلاحیت دست یافته­ اند.
از نظر وانگ و اسنابل روش نقشه سوال، تکنیکی را ارائه می­ نماید که به کاهش پیچیدگی شناختی فرایند تصمیم­گیری داوران منجر می­ گردد و فرایند تفکر داوران در تعیین احتمال پاسخ صحیح به سوالات را ساده می­کند. ارائه پاسخ بله/ خیر به این سوال که: آیا (MCC) دارای توانایی در سطح 50 درصد پاسخ صحیح به سوال است؟ در این روش فعالیتی ساده ­تر نسبت به روش ­های رایج دیگر است. به­ کارگیری نقشه سوال مبتنی بر مدل راش تصویر کلی از سوالات بر روی هیستوگرام ارائه می­ نماید. نمره برش با شناسایی نقطه ­ای بر روی هیستوگرام انجام می­گردد که احتمال 50 درصد پاسخ صحیح به سوال وجود دارد. در این روش مقدار احتمال 50 درصد در نقطه­ای بر هیستوگرام قرار دارد که پارامتر توانایی داوطلب با پارامتر دشواری سوال برابر باشد.(8) در پژوهش حاضر نیز داوران از ارائه جدول پارامتر دشواری سوالات و همچنین تصمیم­ گیری براساس نقشه هیستوگرام رضایت داشتند.
بوکندال (Buckendahl) و همکارانش در پژوهش خود به مقایسه دو روش آنگوف و بوک مارک پرداختند و نتایج پژوهش آنان نشان داد که توافق داوران در دور دوم و سوم نسبت به دور اول بیشتر شده بود (32). در پژوهش حاضر نیز در مرحله سوم هم­گام با ارائه نقشه سوال توافق داوران نسبت به تعیین نقطه برش بیشتر از دو مرحله قبل بود. در دیگرمطالعات، محققان به این نتیجه دست یافتند که با استفاده از مدل راش، زمان   تصمیم­ گیری کوتاه­تر می­ گردد(8،32). در پژوهش حاضر نیز داوران از زمان اجرای روش نقشه سوال رضایت داشتند.
یکی از محدودیت ­های این پژوهش اجرای روش نقشه سوال برای اولین بار در دانشگاه­های علوم پزشکی کشور بود و داوران تجربه­ایی در زمینه­ی روش نقشه سوال  نداشتند و در انجام این روش با ابهام روبرو بودند. در پژوهش های مربوط به تعیین نمره برش، روش آنگوف در آزمون­ های جامع دانشگاه­ های علوم پزشکی کشور  مورد استفاده قرار می­ گرفته است (33). محدودیت دیگر مطالعه حاضر، داوران متخصص در رشته­ های پزشکی بود که در جلسه تعیین نمره برش در نقش روان سنج به تعیین داوطلب با حداقل صلاحیت پرداختندو در جایگاه روانسنج قرار گرفتند که در این  مطالعه سعی گردید با اجرای جلسه توجیهی و راهنمایی یک راهنما در رشته سنجش و  اندازه­ گیری ابهامات داوران کاهش یافته و فرایند داوری تسهیل گردد. پیشنهاد می­ گردد در پژوهش­ های آینده به بررسی روایی و پایایی روش تعیین نمره برش به روش نقشه سوال و مقایسه آن با روش­های متداول دیگر همانند آنگوف و بوک مارک پرداخته شود.
قدردانی
این مقاله برگرفته از پایان­ نامه دوره دکتری دانشکده روانشناسی علوم تربیتی دانشگاه علامه طباطبایی تهران در رشته سنجش و اندازه­ گیری است که در تاریخ 01/09/1395 در جلسه شماره 459 شورای پژوهشی دانشکده روانشناسی وعلوم تربیتی دانشگاه علامه طباطبائی به تصویب رسیده است. هم­چنین از دکتر سارا مرتاض هجری که در اجرای پنل داوران، همکاری داشتند کمال تشکر را دارم.