نمودارهای ۴-۱۰ تا ۴-۱۲، نمودارهای مربوط به درصدهای مواجهه سؤال در هر یک از سطوح توانایی را نشان میدهد. در هر سه خزانهی بهینه، سؤالات خیلی آسان و خیلی دشوار که به ترتیب در سطوح پایین و بالای توانایی ارائه میشوند، دارای نرخهای مواجهه کوچکتری هستند. بخصوص در خزانهی MRP (ROP_2) سؤالات خیلی دشوار نرخ مواجهه کمتری دارند، که البته یک دلیل آن میتواند این نتیجه باشد که تعداد بیشتری سؤال با ضریب تشخیص بالا در این سطوح ساخته شده است. نتایج نشان میدهد که در هر سه خزانهی بهینه، سؤالاتی با سطوح دشواری متوسط بیشترین قابلیت استفاده را داشته اند.
نمودار ۴-۱۰: درصد سؤالات بیش مواجهه شده در مدل R (ROP_1) بدون S-H b-bin: 0.2
نمودار ۴-۱۱: درصد سؤالات بیش مواجهه شده در مدل MRP (ROP_2) بدون S-H (b-bin: 0.2)
نمودار ۴-۱۲: درصد سؤالات بیش مواجهه شده در مدل MTI (ROP_3) بدون S-H (b-bin: 0.2)
نمودار ۴-۱۳: متوسط آگاهی تست مشروط به توانایی واقعی در خزانههای سؤال بدون S-H (b-bin: 0.2)
همچنان که در نمودار ۴-۱۳ ملاحظه میکنید، میانگین آگاهی خزانههای سؤال به شیوهی متفاوتی در سطوح ثابت توانایی عمل میکند. امّا هم خزانهی عملیاتی و هم سه خزانهی بهینه با مقادیر متفاوت، در میانگین توانایی به اوج خود میرسند. خزانهی سؤال R (ROP_1) و خزانهی عملیاتی مشابه با هم عمل میکنند. خزانهی سؤال عملیاتی، در برخی از سطوح توانایی به خصوص در سطوح ۵/۱- تا ۵/۱ نسبت به سه خزانهی دیگر دارای بیشترین مقدار آگاهی است. البته میزان آگاهی آن با خزانهی MRP (ROP_2) بسیار مشابه است و تفاوت آن با خزانهی R (ROP_1) بسیار ناچیز است. در کل، خزانهی MRP (ROP_2) آگاهی بیشتری در اغلب سطوح دشواری و توانایی ایجاد میکند. امّا، خزانهی سؤال MTI (ROP_3) در کل دامنهی سطوح توانایی، به طور معناداری آگاهی کوچکتری را ایجاد میکند، البته این نتیجه به دلیل ماهیت روشی است که سؤالات ایجاد میشود. امّا میزان آگاهی که در طول دامنهی سطوح توانایی ایجاد میکند، فراتر از آگاهی هدف میباشد.
نمودار ۴-۱۴ تا ۴-۱۶ خطای استاندارد شرطی اندازهگیری (CSEM)، اریب شرطی و میانگین مجذور خطا (CMSE) را در هر چهار خزانهی سؤال نشان میدهد. خطای استاندارد اندازه گیری در هر سه خزانهی سؤال بهینه در سطوح توانایی زیر ۲- دارای حداکثر مقادیر است. ولی در سطوح دیگر توانایی این مقدار کاهش مییابد در سطوح متوسط توانایی این مقدار به حداقل خود میرسد، ولی در سطوح بالای توانایی در هر یک خزانهها به صورت متفاوت عمل میکند. در هر سه خزانهی بهینه میزان خطای استاندارد اندازه گیری در همهی سطوح توانایی کمتر از خزانهی عملیاتی است، بخصوص در خزانهی MRP (ROP_2) که مقدار خطای اندازه گیری به حداقل مقدار خود، یعنی صفر میرسد، دلیل این امر این است که این خزانه برای تواناییهای بالای ۷۲/۱ سؤالاتی با ضریب تشخیص بالاتر ایجاد میکند. نمودار ۴-۱۵ نشان میدهد که در خزانهی عملیاتی میزان اریب در اغلب سطوح توانایی بیشتر از خزانههای بهینه میباشد. همچنین، در سطوح توانایی پایین و بالای توانایی خزانهی سؤال MTI (ROP_3) از میزان اریب بالاتری نسبت به خزانههای بهینهی دیگر برخوردار است. دلیل این نتیجه آن است که در این سطوح توانایی حداقل مقدار آگاهی مورد نیاز برابر با ۴/۱۵ بود، که این قضیه باعث میشود که سؤالاتی با ضریب تشخیص پایینتر در این سطوح ساخته شود که با توجه به طول تست کوتاه این اریب مثبت بوجود میآید. ولی در بقیهی سطوح توانایی تفاوت معنادار زیادی بین سه خزانهی بهینه وجود ندارد. همچنین، نمودار ۴-۱۶ میانگین مجذور خطا را در سطوح متفاوت توانایی نشان میدهد. نتایج این نمودار نشان میدهد که MSE هر سه خزانهی بهینه کوچکتر از خزانه سؤال عملیاتی است.
نمودار ۴-۱۴: خطای استاندارد اندازهگیری (CSEM) در خزانههای سؤال بدون S-H (b-bin: 0.2)
نمودار ۴-۱۵: اریب شرطی (conditional-Bias) در خزانههای سؤال بدون S-H (b-bin: 0.2)
نمودار ۴-۱۶: میانگین مجذور خطا (CMSE) در خزانههای سؤال بدون S-H (b-bin: 0.2)
ساخت خزانههای سؤال با b-bin=0.4
در این مرحله به منظور مقایسهی نتایج مربوط به پهناهای b-bin متفاوت، که میزان دقت های متفاوتی در بیشینهی آگاهی ایجاد میکنند، خزانههای سؤال بهینه با پهنای b-bin =0.4 ایجاد شدند. نمودار ۵، ۶ و ۷ و در ضمیمهی (ب) و همچنین، جداول ۵، ۶ و ۷ در ضمیمهی (الف) توزیعهای سه خزانهی بهینه که از طریق روش R، MRP، MTI با فرض اینکه هیچ روش کنترل مواجههای روی سؤالات اعمال نشده است را نشان میدهد. جدول ۴-۹، اندازهها و خلاصهی آمارههای مربوط به پارامترهای سؤال در خزانهها را ارائه میکند. نتایج نشان میدهد که همانند مرحلهی قبل خزانهها سؤال بهینه شامل حداقل تعداد سؤال میباشند. نتایج نشان میدهد که هر سه خزانهی بهینه دارای سؤالاتی با دامنهی وسیعی از سطوح دشواری هستند. با این وجود، در این مرحله نیز سؤالات در خزانههای بهینه، نسبت به خزانههای عملیاتی، دارای دامنهی تقریباً بزرگتری از ضریب دشواری هستند، امّا، نسبت به خزانههای بهینه با پهنای ۲/۰ نیز دارای پراکندگی کمتری در ضریب دشواری هستند. خزانههای بهینهای که با این پهنای bin ایجاد شدند، نسبت به خزانههایی که با پهنای ۲/۰ ایجاد شدند، داری سؤالات کمتری هستند. میانگین پارامتر a سؤالات نسبت به خزانههای بهینه با پهنای ۲/۰ کوچکتر است. همچنین، پراکندگی در پارامتر b در این خزانهها کمتر از خزانههای بهینه با پهنای ۲/۰ میباشد. سؤالات دشوار در خزانهی ROP_5 دارای پارامتر ضریب تشخیص بالاتری هستند، و سؤالات آسان دارای پارامترهای ضریب تشخیص متوسط یا پایینتری هستند. بررسی نتایج عملکرد این خزانهها در جدول ۴-۱۰ آورده شده است. برآورد توانایی در هر سه خزانهی بهینه با پهنای ۴/۰، دارای سطح معینی از اریب مثبت میباشد، با این وجود، مقدار این اریبها ناچیز است. میانگین مجذور خطا (MSE) در خزانههای سؤال بهینه کوچکتر از خزانهی سؤال عملیاتی است. و در میان خزانههای سؤال بهینه، MRP (ROP_5) عملکرد بهتری در این شاخص نشان میدهد. همچنین نتایج نشان میدهد که خزانههای سؤال بهینه با پهنای برابر با ۴/۰ با وجود اینکه دارای سؤالات خیلی کمتری نسبت به خزانهی عملیاتی میباشند، دارای نرخ همپوشی پایینتری هستند. امّا نسبت به خزانههایی که با پهنای ۲/۰ ایجاد شدند، دارای نرخ همپوشی تست بالاتری هستند. این نتیجه تعجب برانگیز نیست زیرا این خزانهها شامل سؤالات کمتری هستند.
جدول ۴-۹: اندازهی خزانهی سؤال و آمارههای پارامتر سؤال، بدون S-H (b-bin=0.4)
خزانه سؤال | اندازه خزانه |
||||||||||||
میانگین | انحراف استاندارد | حداکثر | حداقل | میانگین | انحراف استاندارد | حداکثر | حداقل | میانگین | انحراف استاندارد | حداکثر | حداقل | ||
OP | ۴۵۵ | ۰۸۹/۱ | ۲۸۴۴/۰ | ۰۴۵/۳ | ۱۶۶/۰ | ۰۳۹/۰- | ۷۷۹/۰ | ۹۸۱/۳ | ۵۹۶/۳- |