در طول دهه گذشته تعداد زیاد دانشجویان، کاهش منابع و افزایش استفاده از فن‌آوری‌های جدید  منجر به  افزایش استفاده از سؤالات چندگزینه­ای به‌عنوان یک روش ارزیابی برای پذیرش در دوره‌های آموزش عالی تقریباً در هر بخشی از دنیا شده است (۱). در ایران نیز آزمون های چند گزینه ­ای متداول ترین آزمون­ های کتبی در ارزشیابی دانشجویان گروه پزشکی است. آزمون‌های دوره تخصصی در رشته‌های بالینی در ایران در سـه سـطح پذیرش، ارتقاء و گواهینامه برگزار می‌گردد. در آزمون‌های ارتقا دستیاری نیز، سؤالات چندگزینه‌ای به‌عنوان یکی از متداول‌ترین روش‌های ارزشیابی دستیاران مورداستفاده قرار می‌گیرد. آزمون دانشنامه از دو بخش کتبی و شفاهی تشکیل یافته که آزمون کتبی آن را MCQ تشکیل می‌دهد. گرچه استفاده از این نوع آزمون در بررسی سطح دانش گروه­های بزرگی از آزمون‌شوندگان مفید است ولی عدم آشنایی با فنون طراحی آن‌ها به‌طور عمده‌ای از قدرت و عملکرد این نوع آزمون می‌کاهد. سؤالات MCQ اگر به‌خوبی طراحی نشود در تفسیر دقیق و معنی­دار نمرات آزمون اختلال ایجاد کرده و در میزان موفقیت دانشجویان تأثیر منفی می‌گذارد (2). همچنین اگر در طراحی این آزمون‌ها تجربه کافی وجود نداشته باشد نوع سؤال ممکن است هدایت‌کننده دانشجو به پاسخ صحیح باشد (3 لذا آنالیز پس آزمون از اهمیت خاصی برخوردار است. مطالعات Quinn نشان داده که در سال‌های اخیر نمره دهی، نرم‌افزار تجزیه‌وتحلیل کامپیوتر،آنالیز پس‌آزمون و تعیین شاخص دشواری و تمایز سؤالات به بهبود کیفیت سؤالات MCQ کمک کرده است (4).

Hammond و همکاران از دانشگاه‌ هامپتون نشان دادند، درصد قابل توجهی از سؤالات آزمون‌های چهار گزینه‌ای دارای اشکالات ساختاری است (۵). در ایران مطالعات مختلفی در علوم پزشکی به تجزیه ‌و تحلیل آزمون‌های چندگزینه‌ای پرداخته‌اند. مطالعات حاکی از آن است که با انجام مداخلات آموزشی وضعیت طراحی سؤالات، بهبودی قابل‌توجهی می‌یابد. به ‌طور مثال، مطالعه معیاری و همکاران تفاوت آماری معنی‌داری را در ارتقای کیفیت طراحی سؤالات از دو منظر تاکسونومی و ساختار پس از برگزاری کارگاه آموزشی جهت استادان جوان طراح سؤالات در آزمون‌های ارتقای دستیاری دندان‌پزشکی نشان داد (6). وحید شاهی و همکاران نیز نشان دادند که با انجام مداخله آموزشی از نوع ارائه بازخورد و متون تحصیلی و آموزشی به دبیران و اعضای هیئت‌های ممتحنه، می‌توان تأثیر مثبتی بر طراحی سؤالات آزمون‌های ارتقای دستیاری گذاشت (7).

گزارش دبیرخانه شورای آموزش پزشکی و تخصصی وزارت بهداشت از تحلیل نتایج و ساختار آزمون کتبی دانشنامه تخصصی در سال­های 88-1386 بیانگر لزوم تداوم و گسترش برنامه ارتقای کیفیت آزمون­ها جهت بهبود کیفیت ساختاری و ضریب تمایز سوالات بوده است (8). به منظور طراحی و اجرای آزمون‌های استاندارد دستیاری در دانشگاه علوم پزشکی قزوین چندین کارگاه آموزشی طراحی سؤال جهت اعضای هیئت‌علمی بدون تفکیک گروه‌های آموزشی برگزار شده بود. نتایج تحقیقات مرکز مطالعات و توسعه آموزش دانشگاه علوم پزشکی قزوین، وجود نقص در طراحی سؤالات چندگزینه‌ای آزمون‌های ارتقای دستیاری در این دانشگاه را نشان داد (9). لذا برنامه توانمند سازی اساتید متفاوت با دوره های آموزشی گذشته و بر اساس تفکیک گروه های آموزشی صورت پذیرفت. این مطالعه با هدف کلی بررسی تاثیر دوره آموزشی به تفکیک گروه های آموزشی در رعایت اصول ساختاری سوالات آزمون ارتقاء دستیاری تخصصی پزشکی دانشگاه علوم پزشکی قزوین  قبل از برگزاری دوره آموزشی (سال 1391) و بعد از برگزاری دوره آموزشی (سال 1392) انجام گرفت.

روش ­ها  

این پژوهش مطالعه کارآزمایی نیمه تجربیquasi-experimental  از نوع قبل و بعد مداخله است. برنامه توانمندسازی اساتید در سه مرحله صورت پذیرفت. در مرحله نخست، کتاب اصول طراحی و ارزشیابی سؤالات چندگزینه‌ای (MCQ) در ابتدای سال ۹۱ در اختیار کلیه گروه‌های آموزشی قرار گرفت (10). در مرحله دوم، پس از برگزاری آزمون دستیاران در سال ۹۱ کلیه سؤالات آزمون ارتقای دستیاری دانشکده پزشکی دانشگاه علوم پزشکی قزوین، از لحاظ رعایت اصول ساختاری در ساقه و گزینه‌های سؤالات بررسی شد. جهت بررسی رعایت اصول طراحی سوالات از چک لیست میلمن(Milman)  استفاده گردید. چک لیست مزبور مشتمل بر  19 آیتم در خصوص رعایت قواعد ساختاری بود. در چک لیست مقابل هر آیتم، شماره سوالاتی که آن مورد رعایت نشده است، مشخص شد. با توجه به استاندارد بودن چک لیست و بومی سازی آن و استفاده مکرر محققین داخلی، روایی چک لیست مورد تأیید بود (6،7،8 و11). همچنین دو مصحح که دوره کارشناسی ارشد آموزش پزشکی را گذرانده، در ابتدا و در طول مطالعه جلسات هماهنگی بین آنان برگزار شد و توافق نظر در مورد نحوه بررسی سؤالات و تکمیل چک لیست به عمل آمد. با بررسی حدود 57 درصد سوالات (600 سوال) توسط مصححین، میزان همخوانی نتایج بین ارزیابی کننده ها  86/5 درصد بدست آمد. موارد مبهم بین کارشناسان دوباره مطرح و توافق حاصل می­ گردید. این سوالات چهارگزینه­ ای مربوط به کلیه آزمون­های کتبی دستیاری تخصصی پزشکی دانشگاه علوم پزشکی قزوین در 7 رشته (اطفال، بیهوشی، جراحی، داخلی، روان پزشکی، زنان و زایمان و قلب) بود. هر گروه آموزشی در هر سال 150 سوال طرح کرده بود. بدین طریق صد و پنجاه سؤال از هر رشته و جمعاً هزار و پنجاه سؤال آزمون ارتقا سال 91 در مرحله دوم بررسی گردید. پس از تجزیه ‌و تحلیل مجموعه سؤالات و مشخص شدن نقاط قوت و ضعف آزمون مزبور، بررسی سؤالات هر رشته بر اساس شاخص‌های کیفی در اختیار گروه‌ها قرار گرفت و بازخورد به گروه‌ها داده شد. در مرحله سوم کارگاه‌های آموزشی به تفکیک گروه‌های آموزشی جهت بررسی سؤالات آن گروه، متفاوت از کارگاه‌های آموزشی که تاکنون داشته‌اند با عنوان "چگونگی طراحی سؤالات چهارگزینه‌ای بهتر" قبل از برگزاری آزمون ارتقای سال ۹۲ تشکیل گردید. به‌این‌ترتیب که از ۷ رشته تخصصی به جز گروه بیهوشی و روان پزشکی برای ۵ گروه دیگر، ۵ کارگاه آموزشی اختصاصی آن گروه برگزار شد و در هر کارگاه سؤالات آزمون ارتقاء سال ۹۱ مربوط به آن گروه آموزشی (تعداد صد و پنجاه سؤال) مورد نقد و بررسی قرار گرفت. در کارگاه‌های مزبور در مورد آزمون‌های چندگزینه‌ای، ویژگی‌ها و شرایط یک آزمون چندگزینه‌ای استاندارد بحث گردید همچنین به بحث اصول میلمن پرداخته شد و با مشارکت طراحان سؤال به تعیین نقاط ضعف و قوت سؤالات آن گروه پرداخته شد. پس از برگزاری آزمون ارتقای سال ۹۲، سؤالات آزمون و در مجموع 2100سوال چهارگزینه ای یک پاسخ درست (single best answer) مربوط به آزمون کتبی ارتقا دستیاران تخصصی مورد تجزیه و تحلیل قرار گرفت. لازم به ذکر است آزمون کتبی رشته تخصصی عفونی که در سال 1391 وجود نداشت از دور مطالعه خارج شد. اطلاعات مربوط به اشکالات ساختاری سوالات به تفکیک گروه­های آموزشی وارد برنامهExcel  گردید. سپس نتایج حاصله وارد نرم افزار آماریSPSS.Ver.19  گردید. ابتدا اطلاعات توصیفی(جداول توزیع فراوانی، شاخص­های آمار توصیفی و نمودار) محاسبه تا برآورد کلی از داده­ها در مرحله بعد حاصل گردد. مقایسه بین داده های کمی با استفاده از آزمون t زوجی و ANOVA و در مورد متغیرهای کیفی از آزمون مجذور کای استفاده شد. سطح معنادار آزمون 0/05در نظر گرفته شد.

یافته ­ها

1050سوال مربوط به سال 91 و 1050 سوال مربوط به سال 92 در 7 رشته تخصصی اطفال، جراحی، داخلی، قلب، روانپزشکی، زنان، بیهوشی در دانشگاه علوم پزشکی قزوین مورد تجزیه و تحلیل قرار گرفت. یافته­ ها نشان داد در مجموع دو سال برگزاری آزمون ارتقاء بهترین گروه‌های آموزشی در رعایت اصول ساختاری سؤالات، گروه‌های زنان و داخلی به ترتیب با 86/7درصد و 72/3 درصد و ضعیف‌ترین گروه‌ها­ی قلب و بیهوشی به ترتیب با 45/7 درصد و ۳۷ درصد بودند.

در بررسی میزان رعایت اصول ساختاری سؤالات بر اساس چک‌لیست میلمن به تفکیک گزینه‌ها نتایج مطابق جدول شماره یک به دست آمد. اشکالات ساختاری در 9 آیتم(آیتم های 1، 5 ،6، 7، 13،12،15،16و 18بر اساس چک لیست) به طرز معنی­ داری کاهش یافته بود (0/05 P<).

ارتباط معنی­ دار آماری در افزایش رعایت اصول میلمن در گروه ­های آموزشی اطفال، داخلی، قلب در سال های 91و 92 وجود داشت (0/001>P). در گروه‌های آموزشی بیهوشی و روان­پزشکی سال 92 در مقایسه با سال قبل میزان رعایت اصول میلمن در سؤالات افزایش و گروه جراحی کاهش داشته ولی در هیچ‌یک از گروه‌ها اختلاف آماری معنی­داری وجود ندارد. همچنین نتایج نشان داد گروه زنان در مقایسه با سایر گروه‌ها از بالاترین میزان رعایت اصول میلمن برخوردار بوده اما تغییری قبل و بعد از مداخله آموزشی مشاهده نشد.

بحث و نتیجه ­گیری

در زمینه شاخص کیفی رعایت اصول طراحی سؤالات، مطالعه حاضر افزایش معنی­دار رعایت اصول طراحی در ساختار سؤالات به ‌عنوان یک شاخص کیفی در آزمون ارتقای دستیاری را در سال 92 به نسبت سال 91 نشان ‌داد که مؤید تأثیر برنامه ارتقای توانمندسازی اساتید بر این شاخص بود. مطالعه حاضر با تحقیقات خوشرنگ و همکاران در دانشکده پزشکی گیلان طی سال­های 89 تا 90 که تاثیر کارگاه آموزشی طراحی سوالات چندگزینه ­ای بر روی 3600 سوال آزمون ارتقا دستیاری را بررسی کرد مطابقت دارد تحقیقات آنان نشان داد از نظر مراعات اصول میلمن بین کیفیت سوالات آزمون سال­های 89 و 90 تفاوت معنی­ دار وجود داشت (11). همچنین مطالعات معیاری که در آن تأثیر ارائه بازخورد بر روی کیفیت سؤالات آزمون ارتقاء دستیاری دانشکده دندان‌پزشکی در سال 87 و سؤالات آزمون ارتقاء دستیاری پزشکی در سال 88 در دانشگاه علوم پزشکی همدان را بررسی نموده بود نیز موید این نکته هست (6 ، 12). وحیدشاهی و همکاران  مطالعه ­ای بر روی برخی شاخص ­های کیفیت پرسش ­های چند گزینه ­ای آزمون کتبی دانشنامه تخصصی در سال­های 87-1386 انجام دادندکه تحقیقات آنان نیز نشان داد برنامه ارتقای کیفیت آزمون دانشنامه باعث بهبود معنی ­دار رعایت اصول ساختاری در سوالات شده است (7). در پژوهشی که با هدف تاثیر اجرای برنامه ارتقای دانش اعضای هیات علمی طراح این سؤالات بر نتایج آنالیز این آزمون­ ها انجام شد نتایج نشان دهنده افزایش دانش طراحان سؤال با استفاده از پمفلت­های آموزشی و ارائه بازخورد در مورد نتایج آزمون‌های دوره های گذشته بود (13). نتایج تحقیقات ذکر شده با مطالعه حاضر همخوانی دارد.

نتایج مطالعه حاضر حاکی از آن بود که گروه زنان با این­که بالاترین درصد رعایت اصول میلمن را در بین گروه‌های آموزشی در هر دو سال داشته (86/7 درصد) ولی قبل و بعد از دوره آموزشی تغییری در رعایت اصول ساختاری سؤالات نداشته است. این امر می‌تواند مؤید این نکته باشد که در گروه‌هایی وضعیت طراحی سوالات به حد مطلوب نزدیک بود می­ بایست به منظور افزایش کیفیت طراحی سؤالات از شیوه‌های آموزشی تخصصی و دقیق‌تر استفاده نمود.

در مطالعه حاضرگروه بیهوشی در هر دو سال پایین‌ترین میزان رعایت اصول طراحی سؤالات را داشته است. 63 درصد سؤالات این گروه دارای اشکال ساختاری بود. یکی از دلایل آن می‌تواند طراحی سؤالات محدود به یک دوره آزمون دستیاری باشد. درصورتی‌که دیگر گروه‌ها در طول سال سؤالات چندگزینه‌ای بیشتری طرح می‌کنند و تمامی سؤالات پایان‌ترم آن‌ها توسط دفتر توسعه آموزش دانشکده، مورد بازنگری قرار می‌گیرد و به گروه‌ها بازخورد داده می‌شود که این مسئله می‌تواند در بهبود سؤالات گروه‌های دیگر نسبت به گروه بیهوشی مؤثر باشد، به‌عبارت‌دیگر عدم بازخورد سؤالات در حین سال تحصیلی و عدم برگزاری دوره آموزشی برای گروه بیهوشی، می‌تواند ازجمله عواملی باشد که ضعیف بودن نتایج به‌ دست‌آمده در گروه مذبور را باعث شده است.

گروه‌های قلب و روان‌پزشکی در مقایسه با گروه‌های دیگر، تجربه کمتری در طراحی سؤال آزمون ارتقاء داشته و جزء ضعیف‌ترین گروه‌های آموزشی در زمینه طراحی ساختار سؤالات بودند. اما گروه قلب در مقایسه با گروه روان­پزشکی که دوره آموزشی را طی نکردند ازلحاظ آماری پیشرفت معنی­دار در استانداردسازی سؤالات این گروه داشتند.

نتایج مطالعه حاضر نشان داد که در 50 درصد آیتم‌ها بعد از کارگاه‌های آموزشی اشکالات ساختاری به طرز معنی­داری کاهش‌یافته است. با این­که مطالعه حاضر پیشرفت معنی­دار رعایت اصول طراحی در ساختار سؤالات به‌عنوان یک شاخص کیفی در آزمون ارتقای دستیاری را در دو سال تأیید می‌نماید، هنوز نیمی از سؤالات آزمون دارای اشکال ساختاری است. مطالعات داخل و خارج کشور درزمینه رعایت اصول ساختاری سؤالات نیز نشان می‌دهد که ضعف در طراحی ساختار سؤالات وجود دارد. در مطالعه‌ای که Tarrant بر روی 2770 سؤال از دانشگاه هنگ‌کنگ انجام داد تقریباً نیمی از سؤالات (46/2 درصد) دارای اشکالات ساختاری بودند (14). مطالعات دیگر در داخل کشور نیز نشان داد که هنوز در طراحی سؤالات، اشکالات ساختاری در بسیاری از سؤالات آزمون‌های چندگزینه‌ای مشاهده می­گردد (15-17).

بر اساس چک‌لیست میلمن، تعداد اشکالات گزینه «در سؤال، واحد اندازه‌گیری ذکرشده است» در سال 92 نسبت به سال 91 افزایش‌یافته است که با بررسی‌های دقیق‌تر مشخص گردید افزایش تعداد این آیتم در سال 92 مربوط به گروه بیهوشی بوده که کارگاه آموزشی نداشته است.

یکی از مواردی که جزء اشکالات ساختاری سوالات است طراحی سوالات منفی است. تحقیق حاضر نشان داد ارتباط معنی­داری بین تعداد خطاها در سوالاتی که منفی طراحی می­ شوند نسبت به سوالاتی که تنه سوال مثبت است وجود دارد که با  مطالعه  Haladyna و همکاران مطابقت دارد. مطالعه مذکور نشان داد سوالاتی که کلمات منفی دارند معمولاً سریع­تر و آسان تر طراحی می شوند در نتیجه احتمال بروز خطا در طراحی سوالات با تنه منفی بیشتر است(18). لذا پیشنهاد می­شود طراحان سوال در طراحی سوالات به این مسئله توجه بیشتری نمایند و از سوالاتی که تنه سوال مثبت است استفاده نمایند.

 نتایج مطالعه حاضر بیانگر آن بود که برگزاری کارگاه‌های آموزشی در رعایت طراحی سؤالات آزمون مؤثر بوده است. نتایج مداخله آموزشی که در دانشگاه علوم پزشکی گرگان در سال‌های 91 و 92 انجام‌شده بود نیز نشان داد سؤالات آزمون دستیاری پیشرفت معنی­داری در رعایت اصول ساختاری میلمن داشته است که با نتیجه ما همخوانی دارد (16).

با توجه به نتایج این مطالعه، برگزاری برنامه‌های توانمندسازی اساتید به‌شرط آن‌که به صورتی هدفمند بوده و بر اساس اصول فنی مربوطه تمرکز بر تقویت نقاط قوت و رفع نقاط ضعف آزمون‌های قبلی همان طراحان مدنظر قرار گیرد، می‌تواند باعث کاهش تعداد اشکالات ساختاری سوالات گردد و در ارتقای کیفیت طراحی آزمون‌های دستیاری مؤثر باشد. لذا پیشنهاد می‌شود طراحان سؤال پس از اجرای هر آزمون سؤال‌های آن را تحلیل کنند و با استفاده از نتایج حاصل به تجدیدنظر در آزمون و بهبود کیفیت آن اقدام نمایند.

پیشنهاد می ­گردد با توجه به این که بررسی تاکسونومی سوالات آزمون نیز همانند ساختار سوالات از اهمیت بالایی برخوردار است، موضوع تاکسونومی نیز در مطالعات بعدی مورد توجه قرار گیرد.