پذیری مطلق
۵۳/۰
نتایج مطالعهی G ارائه شده در جدول ۴-۱۶ نشان میدهد، هر دو واریانس خطای نسبی و مطلق در مجموع، ۸۷/۶۰% از واریانس کل را به خود اختصاص دادهاند. همچنین، ضرایب تعمیمپذیری به دست آمده برای اندازهگیری نسبی و مطلق، کمتر از ۷۰/۰ است و حاکی از عدم اعتبار نمرهگذاری مصححان است. پایین بودن ضرایب تعمیمپذیری را میتوان این گونه تبیین کرد؛ انحراف استاندارد مرتبط با رویهی تفکیکی (۰۰۹/۰) خیلی پایین است. یعنی، تفاوتهای نمرهگذاری بین مصححان خیلی کوچک است، یا به این دلیل است که بیشتر مصححان در نمرهگذاریهایشان مشابه هستند یا به دلیل خطای اندازهگیری بالا، تفاوتها ظاهر نشدهاند. علاوه بر این، عاملی که به طور منفی بر روی مقدار ضرایب تاثیر میگذارد، اندازهی اثر دانشآموز است که سهم چشمگیری در واریانس خطای نسبی و مطلق دارد و منبع اصلی بیدقتی در اندازهگیری است. همچنین، عامل سوال با ۹/۲۶% سهم قابل توجهی در واریانس خطای مطلق دارد.
با تغییر تعداد سطوح رویهها، چه تغییری در اندازه ی ضرایب تعمیمپذیری بوجود میآید؟
پاسخگویی به این سوال، مستلزم انجام مطالعهی D (طرح بهینهسازی) است که برای هر طرح اندازهگیری و به دنبال مطالعهی G انجام گرفته است.
در طرح اندازهگیری SGR/I با کاهش سطوح رویهی ابزاری(سوالات) به یک دوم،یک سوم و یک چهارم، اندازهی ضریب تعمیمپذیری نسبی در مطالعهی G (97/0) به ترتیب به ۹۳/۰، ۹۱/۰ و ۸۸/۰ میرسد و همچنین اندازهی ضریب تعمیمپذیری مطلق در مطالعهی G (96/0) بهترتیب به ۹۲/۰، ۸۹/۰ و ۸۶/۰ کاهش پیدا میکند. با وجود کاهش تعداد سوالات از ۷۸ به ۱۵ باز ضرایب تعمیمپذیری بالاتر از حداقل حد مطلوب پذیرفته شده(۸۰/۰) میباشند.
در طرح اندازهگیری I/SGR، اگر تعداد مصححان از ۷ به ۳ و همزمان تعداد دانشآموزان نیز از ۳۰ به ۱۵ برسد، هر دو ضرایب تعمیمپذیری با وجود کاهش در اندازه، همچنان ۹۰/۰ به بالا هستند. علاوه بر این، اگر در سطوح رویهی دانشآموزان تغییری ایجاد نشود و سطوح مصححان به دو نفر کاهش پیدا کند، اندازهی ضریب تعمیمپذیری نسبی از ۹۸/۰ به ۹۴/۰ و ضریب تعمیمپذیری مطلق از ۹۷/۰ به ۹۰/۰ میرسد.
در طرح اندازهگیری R/SGI، با کاهش همزمان تعداد سطوح رویههای ابزاری به یک چهارم ، میزان ضرایب تعمیمپذیری به اندازهی ۱۰/۰ کاهش مییابد. همچنین با کاهش یک سومی سطوح، ضرایب تعمیمپذیری به یک دوم مقدار فعلیشان کاهش پیدا میکنند. اگر تعداد سطوح سوالات ثابت نگه داشته شود و تعداد دانشآموزان به دو برابر افزیش یابد، ضریب تعمیمپذیری نسبی از ۶۱/۰ به ۷۵/۰ و ضریب تعمیمپذیری مطلق از ۵۳/۰ به ۶۴/۰ میرسد که همچنان پایینتر از حداقل حد مطلوب پذیرفته شده است. اگر تعداد سطوح دانشآموزان به سه برابر افزایش یابد اندازهی ضریب تعمیمپذیری نسبی به حد قابل قبول میرسد ولی ضریب مطلق همچنان در سطح نامطلوب و ناکافی قرار میگیرد.
سوال : آیا سوالات امتحانات نهایی بر اساس نظریه کلاسیک از ویژگیهای روانسنجی مطلوب برخوردارند؟
در پاسخ به این سوال بعد از محاسبه اعتبار آزمون، آن را با استفاده از روش لوپ مورد بررسی قرار داده و سپس به شاخصهای آماری سوالات که شامل درجه دشواری و ضریب تمیز سوال است، براساس دادههای خام و کد گذاری شده اشاره میشود.
تحلیل سوالات آزمون ادبیات فارسی بر اساس مدل کلاسیک
الف) اعتبار بر اساس روش لوپ
این تحلیل ما را در شناسایی سوالاتی که نقش مهمی در هماهنگی با کل آزمون ایفا می کنند و سوالاتی که اثری بر اعتبار آزمون ندارند کمک می کند. ضریب اعتبار کل آزمون با استفاده از فرمول آلفای کرونباخ، (۹۵۶/۰ = α) بدست آمد. سپس بعد از حذف هر سوال میزان اعتبار آزمون مجدداً مورد بررسی قرار گرفت که نتایج آن در جدول زیر آمده است.
جدول۴-۱۷: میزان اعتبار به روش لوپ در آزمون ادبیات فارسی
سوال حذف شده
میزان اعتبار
سوال حذف شده
میزان اعتبار
سوال حذف شده
میزان اعتبار
سوال حذف شده
میزان اعتبار
۱
۹۵۶/۰
۱۶
۹۵۵/۰
۳۰
۹۵۵/۰
۴۳ الف
۹۵۵/۰
۲
۹۵۶/۰
۱۷
۹۵۵/۰
۳۱
۹۵۵/۰
۴۳ ب
۹۵۵/۰
۳
۹۵۶/۰
۱۸
۹۵۵/۰
۳۲
۹۵۵/۰
۴۴ الف
۹۵۵/۰
۴
۹۵۶/۰
۱۹
۹۵۵/۰
۳۳
۹۵۵/۰
۴۴ ب
۹۵۵/۰
۵
۹۵۵/۰
۲۰
۹۵۶/۰
۳۴
۹۵۵/۰
a45
۹۵۵/۰
۶
۹۵۵/۰
۲۱
۹۵۵/۰
۳۵
۹۵۵/۰
b45
۹۵۵/۰
۷
۹۵۵/۰
۲۲
۹۵۵/۰
۳۶
۹۵۶/۰
۴۶
۹۵۵/۰
۸
۹۵۵/۰
۲۳
۹۵۵/۰
a37
۹۵۵/۰
۴۷ الف
۹۵۵/۰
۹
۹۵۵/۰
۲۴
۹۵۵/۰
b37
۹۵۵/۰
۴۷ ب
۹۵۵/۰
۱۰
۹۵۵/۰
۲۵
۹۵۶/۰
۳۸ الف
۹۵۵/۰
۴۷ پ
۹۵۵/۰
۱۱
۹۵۵/۰
۲۶
۹۵۵/۰
۳۸ ب
۹۵۵/۰
۴۸
۹۵۵/۰
۱۲
۹۵۶/۰
۲۷
۹۵۵/۰
۳۹
۹۵۵/۰
۴۹
۹۵۵/۰
۱۳
۹۵۵/۰
a28
۹۵۵/۰
۴۰
۹۵۵/۰
۵۰
۹۵۵/۰
۱۴
۹۵۶/۰
b28
۹۵۵/۰
۴۱
۹۵۶/۰
۵۱
۹۵۵/۰
۱۵
۹۵۵/۰
۲۹
۹۵۵/۰
۴۲
۹۵۶/۰
۵۲
۹۵۴/۰
۵۳
۹۵۵/۰
همانطور که در جدول فوق ملاحظه می گردد، با حذف سوالات ۱، ۲، ۳، ۴، ۱۲، ۱۴،۲۰ ،۲۵، ۳۶ ،۴۱ ،۴۲ میزان اعتبار تغییر نکرده است که می توانند جهت ترغیب آزمودنی برای پاسخگویی به سایر سوالات مفید باشند. با حذف باقی سوالات، میزان اعتبار آزمون کاهش یافته که نشان می دهد این سوالات با کل آزمون هماهنگی دارند و نقش موثری را در اعتبار آزمون ایفا می کنند. این آزمون فاقد سوالاتی بوده است که با حذفشان، اعتبار افزایش می یابد.
ب) تجزیه و تحلیل شاخص های سوال در مدل کلاسیک بر اساس داده های خام
جدول ۴-۱۸ : تجزیه و تحلیل شاخص های سوال در مدل کلاسیک بر اساس داده های خام
سوال
ضریب دشواری
ضریب تمیز
سوال
ضریب دشواری
ضریب تمیز
۱
۶۸/۰
۳۷/۰
۳۰
۷۷/۰
۴۶/۰
۲
۹۱/۰
۲۲/۰
۳۱
۶۰/۰
۵۵/۰
۳
۸۴/۰
۲۳/۰
۳۲
۳۴/۰
۶۴/۰
۴
۵۸/۰
۵۵/۰
۳۳
۴۳/۰
۷۵/۰
۵
۷۱/۰
۷۰/۰
۳۴
۶۷/۰
۶۲/۰
۶
۶۵/۰
۶۵/۰
۳۵
۷۱/۰
۶۱/۰
۷
۶۱/۰
۶۲/۰
۳۶
۵۵/۰
۴۴/۰
۸
۷۵/۰
۶۰/۰
a37
۴۱/۰
۶۶/۰
۹
۸۰/۰
۳۷/۰
b37
۴۰/۰
۶۹/۰
۱۰
۶۵/۰
۸۰/۰
۳۸ الف
۶۴/۰
۶۰/۰
۱۱
۸۰/۰
۵۰/۰
۳۸ ب
۵۵/۰
۶۱/۰
۱۲
۷۳/۰
۴۴/۰
۳۹
۵۸/۰
۶۵/۰
۱۳
۶۸/۰
۶۲/۰
۴۰
۵۵/۰
۷۴/۰
۱۴
۹۰/۰
۲۲/۰
۴۱
۳۱/۰
۴۲/۰
۱۵
۳۳/۰
۷۰/۰
۴۲
۷۶/۰
۳۸/۰
۱۶
۶۴/۰
۶۶/۰
۴۳ الف
۷۹/۰
۴۱/۰
۱۷
۶۸/۰
۶۲/۰
۴۳ ب
۷۴/۰
۴۷/۰
۱۸
۷۲/۰
۵۶/۰
۴۴ الف
۷۳/۰
۶۰/۰
۱۹
۶۹/۰
۵۹/۰
۴۴ ب
۷۰/۰
۵۳/۰
۲۰
۸۴/۰
۳۳/۰
a45
۶۸/۰
۶۷/۰
۲۱
۶۶/۰
۵۹/۰
b45
۷۵/۰
۵۹/۰
۲۲
۶۷/۰
۶۶/۰
۴۶
۴۱/۰
۰۷/۰
۲۳
۷۸/۰
۵۲/۰
۴۷ الف
۴۲/۰
۷۸/۰
۲۴
۸۵/۰
۳۶/۰
۴۷ ب
۵۵/۰
۸۴/۰
۲۵
۸۷/۰
۲۸/۰
۴۷ پ
۳۸/۰
۷۶/۰
۲۶
۵۰/۰
۷۱/۰
۴۸
۷۶/۰
۶۵/۰
۲۷
۷۸/۰
۴۷/۰
۴۹
۶۶/۰
۷۵/۰
a28
۶۴/۰
۶۴/۰
۵۰
۶۳/۰
۸۳/۰
b28
۶۶/۰
۶۸/۰
۵۱
۵۹/۰
۸۰/۰
۲۹
۷۷/۰
۵۴/۰
۵۲
۵۴/۰
۸۵/۰
تعداد سوالات : ۶۱
۵۳
۷۱/۰
۷۱/۰
در جدول بالا، ضرایب دشواری و تمیز سوالات با استفاده از روش نیتکو و از داده های خام محاسبه شده است. همان طور که مشاهده می شود، یک سوال دارای ضریب تمیز کمتر از ۲/۰ و ۴ سوال دارای ضریب تمیز بین ۲/۰ تا ۳/۰ می باشد. باقی سوالات، ضریب تمیز بیش از ۳/۰ دارند که از این تعداد ۴۴ سوال معادل ۱۳/۷۲ درصد از سوالات دارای ضریب تمیز ۵/۰ و بالاتر از ۵/۰ هستند. بیشترین و کمترین ضریب تمیز نیز به ترتیب متعلق به سوالات ۵۲ و ۴۶ (۸۵/۰، ۰۷/۰) است.
از نظر شاخص دشواری، ۳۷ سوال معادل (۶۵/۶۰ ) درصد از سوالات در دامنه دشواری ۳/۰ تا ۷/۰ قرار دارد و باقی سوالات دارای دشواری بیشتر از ۷/۰ هستند. سوال ۲ با ضریب دشواری (۹۱/۰) و سوال ۴۱ با ضریب دشواری (۳۱/۰) به ترتیب ساده ترین و دشوارترین سوالات آزمون ادبیات فارسی هستند.
ج) تجزیه و تحلیل شاخص های سوال در مدل کلاسیک بر اساس داده های کدگذاری شده
جدول ۴-۱۹ : تجزیه و تحلیل شاخص های سوال در مدل کلاسیک بر اساس داده های کدگذاری شده
سوال
ضریب دشواری
ضریب تمیز
سوال
ضریب دشواری
ضریب تمیز
۱
۶۸/۰
۳۴/۰
۳۰
۷۷/۰
۴۳/۰
۲
۹۱/۰
۳۵/۰
۳۱
۶۰/۰
۴۲/۰
۳
۸۴/۰
۲۸/۰
۳۲
۳۴/۰
۴۹/۰
۴
۵۸/۰
۴۱/۰
۳۳
۴۳/۰
۵۵/۰
۵
۷۹/۰
۵۳/۰
۳۴
۶۷/۰
۵۱/۰
۶
۶۹/۰
۵۶/۰
۳۵
۷۱/۰
۵۵/۰
۷
۷۴/۰
۵۲/۰
۳۶
۵۵/۰
۳۱/۰
۸
۷۸/۰
۵۶/۰
a37
۴۱/۰
۵۱/۰
۹
۸۶/۰
۴۰/۰
b37
۴۰/۰
۵۰/۰
۱۰
۷۱/۰
۶۳/۰
۳۸ الف
۶۴/۰
۴۹/۰
۱۱
۸۸/۰
۵۱/۰
۳۸ ب
۵۵/۰
۴۴/۰
۱۲
۷۳/۰
۳۹/۰
۳۹
۵۸/۰
۵۰/۰
۱۳
۶۸/۰
۵۲/۰
۴۰
۵۵/۰
۵۶/۰
۱۴
۹۰/۰
۳۲/۰
۴۱
۳۱/۰
۳۶/۰
۱۵
۳۳/۰
۵۴/۰
۴۲
۸۴/۰
۳۸/۰
۱۶
۶۴/۰
۵۳/۰
۴۳ الف
۷۹/۰
۴۵/۰
۱۷
۶۸/۰
۵۱/۰
۴۳ ب
۷۴/۰
۴۵/۰
۱۸
۷۱/۰
۵۲/۰
۴۴ الف
۷۳/۰
۵۶/۰
۱۹
۶۸/۰
۴۹/۰
۴۴ ب
۷۰/۰
۴۸/۰
۲۰
۸۴/۰
۳۷/۰
a45
۶۸/۰
۵۷/۰
۲۱
۶۶/۰
۴۹/۰
b45
۷۵/۰
۵۲/۰
۲۲
۶۷/۰
۵۴/۰
۴۶
۴۲/۰
۵۹/۰
۲۳
۷۸/۰
۵۱/۰
۴۷ الف
۴۲/۰
۵۹/۰
۲۴
۸۵/۰
۴۱/۰
۴۷ ب
۵۵/۰
۶۴/۰
۲۵
۸۷/۰
۳۸/۰
۴۷ پ
۳۸/۰
۵۷/۰
۲۶
۶۳/۰
۵۴/۰
۴۸
۷۶/۰
۶۱/۰
۲۷
۸۱/۰
۴۷/۰
۴۹
۶۶/۰
۶۱/۰
a28
۶۴/۰
۵۳/۰
۵۰
۶۳/۰
۶۳/۰
b28
۶۶/۰
۵۸/۰
۵۱
۵۸/۰
۶۳/۰
۲۹
۷۶/۰
۴۷/۰
۵۲
۵۵/۰
۶۵/۰
تعداد سوالات : ۶۱
۵۳
۷۲/۰
۶۱/۰
براساس اطلاعات مندرج در جدول، تمام ضریب های تمیز سوال های آزمون مثبت هستند و تنها یک سوال در دامنه ضریب تمیز۲/۰ تا ۳/۰ قرار دارد و ضریب تمیز باقی سوالات بیشتر از ۳/۰ است. به طوریکه از این میان ۳۶ سوال معادل ۰۲/۵۹ درصد از سوالات دارای ضریب تمیز ۵/۰ و بالاتر از ۵/۰ هستند. بیشترین و کمترین ضریب تمیز نیز به ترتیب متعلق به سوالات ۵۲ و ۳ (۶۵/۰، ۲۸/۰) است.
از نظر شاخص دشواری، ۳۵ سوال معادل (۳۸/۵۷ ) درصد از سوالات در دامنه دشواری ۳/۰ تا ۷/۰ قرار دارد و باقی سوالات دارای دشواری بیشتر از ۷/۰ هستند. ساده ترین و دشوارترین سوالات آزمون ادبیات فارسی همانند تحلیل قسمت پیشین، به ترتیب سوال ۲ با ضریب دشواری (۹۱/۰) و سوال ۴۱ با ضریب دشواری (۳۱/۰) هستند.
توزیع فراوانی و درصد سوالات آزمون برحسب ضرایب دشواری و تمیز بدست آمده از مدل کلاسیک اندازه گیری برای داده های خام و کدگذاری شده، در جداول زیر نشان داده شده است.
جدول ۴-۲۰ : توزیع سوالات بر اساس ضرایب دشواری و تمیز کلاسیک برای داده های خام
شاخص
ضریب دشواری
کمتر از ۳/۰
بین ۳/۰ تا ۷/۰
بیشتر از ۷/۰
ضریب تمیز
کمتر از ۲/۰

۱ ( ۶۴/۱% )

بین ۲/۰ تا ۳/۰


۴ ( ۵۶/۶% )
بیشتر از ۳/۰

۳۶ (۰۲/۵۹ %)
۲۰ (۷۹/۳۲ %)
جدول ۴-۲۱ : توزیع سوالات بر اساس ضرایب دشواری و تمیز کلاسیک برای داده های کدگذاری شده
شاخص
ضریب دشواری
کمتر از ۳/۰
بین ۳/۰ تا ۷/۰
بیشتر از ۷/۰
ضریب تمیز
کمتر از

مطلب مشابه :  منابع پایان نامه دربارهمیانگین مجذورات، تحلیل واریانس، روش نمونهگیری، نظریه مجموعه
دسته بندی : No category

دیدگاهتان را بنویسید