تحلیل و ۵/۱۲% سوالات به سطح کاربستن اختصاص یافته است.
آیا سوالات امتحاناتنهایی، تمام فصلهای کتاب را به طور منطقی تحت پوشش قرار داده
است؟
برای پاسخگویی به این سوال میبایست، تعداد و درصد سوالاتی که طراحان آزمون به هدفها و محتوای فصلهای مختلف کتاب اختصاص دادهاند، بررسی شود. قابل ذکر است که به منظور چگونگی توزیع سوالات به فصلهای مختلف ، ملاک های مختلفی را باید در نظر گرفت، ازجمله؛ میزان اهمیت هر فصل و اهداف مربوط به آن، حجم مطالب و ساعات صرف شده برای تدریس. از آن جا که از نظر معلمان، قسمتهای مختلف کتاب و اهداف مربوطه از اهمیت نسبی برخوردار است در این تحقیق برای بررسی توزیع سوالات، تعداد صفحات هر فصل در نظر گرفته شده است.
جدول۴-۶ : چگونگی توزیع سوالات به فصل های مختلف به تفکیک دروس
شماره فصل
ادبیات فارسی
زیست شناسی
تعداد صفحات هر فصل
تعداد سوال بر اساس حجم فصل
تعداد سوالات طرح شده
تعداد صفحات هر فصل
تعداد سوال بر اساس حجم فصل
تعداد سوالات طرح شده
۱
۲۲
۸
۷
۲۱
۵
۶
۲
۲۴
۹
۸
۲۸
۷
۷
۳
۱۳
۵
۸
۲۰
۵
۶
۴
۲۱
۸
۸
۲۱
۵
۳
۵
۱۲
۴
۲
۱۷
۴
۶
۶
۱۲
۴
۶
۲۴
۶
۵
۷
۱۳
۵
۶
۱۴
۴
۶
۸
۱۲
۴
۵
۳۴
۹
۸
۹
۱۷
۶
۳
۲۶
۷
۶
۱۰
۱۱
۴
۴
۲۶
۷
۶
۱۱



۲۱
۵
۵
جمع
۱۵۷
۵۷
۵۷
۲۵۲
۶۴
۶۴
در درس ادبیاتفارسی، تعداد سوالات طرح شدهی متعلق به فصلهای ۴ و ۱۰ کاملاً متناسب و سوالات طرح شده در فصل های ۳، ۵ و ۹ نامتناسب با حجم فصلهاست. در درس زیستشناسی، تعداد سوالات طرح شدهی متعلق به فصلهای ۲ و ۱۱ کاملاً متناسب با حجم فصلهاست. همچنین، تعداد سوالات طرح شده در سایر فصلها (به غیر از فصل ۴) به اندازهی یک سوال، کمتر یا بیشتر از سوالات در نظر گرفته شده بر اساس حجم فصلهاست.
سوال: اعتبار نمرات امتحاناتنهایی دروس ادبیاتفارسی و زیستشناسی رشته تجربی سال سوم متوسطه چگونه است؟
درس ادبیات فارسی
اطلاعات کلی مربوط به طرح برآورد و مشاهده این مطالعه، در جدول زیر ارائه شده است.
جدول ۴-۷ : طرح برآورد و مشاهده مطالعه اندازه گیری برای درس ادبیات فارسی
رویه
برچسب
سطوح
جهان
مصححان
R
۹
INF
جنسیت
G:R
۲
۲
دانش آموزان
S:G:R
۳۰
INF
سوالات
I
۶۱
INF
براساس طرح برآورد و مشاهده در جدول بالا، ۹ مصحح، هر کدام اوراق امتحانی ۳۰ دانشآموز دختر و ۳۰ دانشآموز پسر را در درس ادبیاتفارسی که دارای ۶۱ سوال بوده است، تصحیح کردهاند. لازم به ذکر است که مصححان به دانشآموزان متفاوتی نمره دادهاند. در این بین؛ رویههای مصححان، دانشآموزان و سوالات به عنوان رویههای تصادفی با جهانهای نامحدود و جنسیت دانشآموزان به عنوان رویهی ثابت در نظر گرفته شدهاند. هر کدام از رویههای مذکور، به عنوان منبع تغییر در نظر گرفته میشوند. بنابراین برآورد واریانس آنها در مطالعهی اندازهگیری اهمیت دارد. در جدول زیر، واریانس رویههای مورد مطالعه ارائه گردیده است.
جدول ۴-۸ : جدول منابع تغییر درس ادبیات فارسی برای طرح های اندازه گیری SGR/I، I/SGR، R/SGI
منبع تغییرات
مجموع مجذورات
درجه آزادی
میانگین مجذورات
مؤلفه ها
درصد
خطای استاندارد
تصادفی
مختلط
تصحیح شده
R
۲۴/۲۸
۸
۵۳/۳
۰۰۰۲۷/۰-
۰۰۰۸۹/۰
۰۰۰۸۹/۰
۱/۲
۰۰۰۶۸/۰
G:R
۶۶/۴۰
۹
۵۲/۴
۰۰۲۳۱/۰
۰۰۲۳۱/۰
۰۰۱۱۶/۰
۷/۲
۰۰۱۰۵/۰
S:G:R
۷۱/۱۲۱
۵۲۲
۲۳/۰
۰۰۳۵۵/۰
۰۰۳۵۵/۰
۰۰۳۵۵/۰
۳/۸
۰۰۰۲۴/۰
I
۸۰/۶۰۷
۶۰
۱۳/۱۰
۰۱۸۶۵/۰
۰۱۸۶۵/۰
۰۱۸۶۵/۰
۸/۴۳
۰۰۳۳۷/۰
RI
۳۹/۲۸
۴۸۰
۰۶/۰
۰۰۰۱۹/۰-
۰۰۰۷۱/۰
۰۰۰۷۱/۰
۷/۱
۰۰۰۱۰/۰
GI:R
۰۷/۳۸
۵۴۰
۰۷/۰
۰۰۱۷۹/۰
۰۰۱۷۹/۰
۰۰۰۹۰/۰
۱/۲
۰۰۰۱۴/۰
SI:G:R
۰۸/۵۲۴
۳۱۳۲۰
۰۲/۰
۰۱۶۷۳/۰
۰۱۶۷۳/۰
۰۱۶۷۳/۰
۳/۳۹
۰۰۰۱۳/۰
Total
۹۵/۱۳۸۸
۳۲۹۳۹
۱۰۰
سهم درصدی هر مولفهی واریانس از واریانس نمرهی کل (مجموع مؤلفههای تصحیح شده واریانس) در جدول بالا نشان داده شده است. بزرگترین سهم(۸/۴۳%) از واریانس نمرهی کل به واریانس بین سوالات (I) تعلق دارد. به این معناست که سوالات از نظر سطح دشواری متفاوت هستند. در مرتبهی دوم، بزرگترین سهم(۳/۳۹ %) اثر تعاملی سوالات با دانشآموزان است که در جدول با نماد SI:G:R نشان داده شده است. سهم این مولفه با دیگر منابع ناشناختهی واریانس و خطای تصادفی آمیخته است. بیانگر این مطلب است که دشواری نسبی سوال از دانشآموزی به دانشآموز دیگر متفاوت است. همچنین رویهی دانشآموزان، ۳/۸ درصد از واریانس نمره کل را به خود تخصیص داده است. دیگر مؤلفههای واریانس برآورد شده، سهم ناچیزی از واریانس نمرهی کل دارند.
آیا امکان مقایسه نمرات دانشآموزان به صورت معتبر وجود دارد؟
برای پاسخگویی به این سوال، دانشآموزان (درون جنسیت)، جنسیت (درون مصححان) و مصححان به عنوان رویه‏های تفکیکی و رویه سوالات به عنوان رویهی ابزاری (رویه خطا) در نظر گرفته شدند.
جدول ۴-۹ : مطالعه G برای طرح اندازه گیری SGR/I
منبع واریانس
واریانس تفکیکی
منبع واریانس
واریانس خطای نسبی
درصد
نسبی
واریانس خطای مطلق
درصد مطلق
R
۰۰۰۸۹/۰


G:R
۰۰۱۱۶/۰


S:G:R
۰۰۳۵۵/۰



I

۰۰۰۳۱/۰
۴/۵۰

RI
۰۰۰۰۱/۰
۹/۳
۰۰۰۰۱/۰
۹/۱

GI:R
۰۰۰۰۱/۰
۹/۴
۰۰۰۰۱/۰
۴/۲

SI:G:R
۰۰۰۲۷/۰
۳/۹۱
۰۰۰۲۷/۰
۲/۴۵
مجموع واریانس
۰۰۵۵۹/۰
۰۰۰۳۰/۰
۱۰۰
۰۰۰۶۱/۰
۱۰۰
انحراف استاندارد
۰۷۴۷۹/۰
خطای استاندارد نسبی ۰۱۷۳۴/۰
خطای استاندارد مطلق ۰۲۴۶۲/۰
ضریب تعمیم پذیری نسبی
۹۵/۰
ضریب تعمیم پذیری مطلق
۹۰/۰
رویهی سوالات با ۴/۵۰% بزرگترین اثر منفی را در دقت اندازهگیری مطلق نمرات دانشآموزان دارد. و اثر تعاملی سوالات با دانشآموزان (درون جنسیت) در هر دو نوع خطای اندازهگیری نسبی و مطلق، سهم بزرگی را به خود اختصاص داده است. همچنین، واریانس تفکیکی بیش از ۱۸ برابر واریانس نسبی و بیش از ۹ برابر واریانس مطلق است. در ادامه، دو شاخص کلی از دقت روش اندازهگیری در قالب ضرایب تعمیمپذیری برای اندازهگیری نسبی(۹۵/۰) و برای اندازهگیری مطلق (۹۰/۰) بدست آمده است که نشان میدهد اعتبار اندازهگیری نمرات دانشآموزان بالا بوده است.
براساس نتایج جدول، اگر هدف مقایسهی نمرات دانشآموزان در درس ادبیاتفارسی با یکدیگر باشد، ضریب تعمیمپذیری نسبی نشان میدهد که با ضریب اعتبار بالا (۹۵/۰)، امکان تفکیک نمرات ادبیاتفارسی دانشآموزان وجود دارد. حتی اگر هدف مشخص کردن جایگاه یک دانشآموز در مقیاس نمره ادبیاتفارسی باشد، مقدار ضریب مطلق (۹۰/۰) نشان میدهد که با شرایط حاضر به صورت معتبری امکان مشخص کردن جایگاه فرد در مقیاس نمره ادبیاتفارسی وجود دارد.
آیا میتوان دشواری سوالات ادبیاتفارسی را به طور معتبری اندازهگیری کرد؟
به منظور تحلیل این سوال، طرح اندازهگیری I/SGR آزمون شد که در آن، سوالات به عنوان رویه‏ی تفکیکی و رویههای دیگر؛ مصححان، دانش آموزان و جنسیت آنها به عنوان رویههای ابزاری در نظر گرفته شدند. در جدول ۴-۱۰، نتایج مربوط به مطالعهی G نشان داده شده است.
جدول۴-۱۰ : مطالعه G برای طرح اندازه گیری I/SGR
منبع واریانس
واریانس تفکیکی
منبع واریانس
واریانس خطای نسبی
درصد
نسبی
واریانس خطای مطلق
درصد مطلق

R

۰۰۰۱۰/۰
۴۶

G:R

(۰۰۰۰۰/۰)
۰

S:G:R

۰۰۰۰۱/۰
۱/۳
I
۰۱۸۶۵/۰



RI
۰۰۰۰۸/۰
۷/۷۱
۰۰۰۰۸/۰
۵/۳۶

GI:R
(۰۰۰۰۰/۰)
۰
(۰۰۰۰۰/۰)
۰

SI:G:R
۰۰۰۰۳/۰
۳/۲۸
۰۰۰۰۳/۰
۴/۱۴
مجموع واریانس
۰۱۸۶۵/۰
۰۰۰۱۱/۰
۱۰۰
۰۰۰۲۱/۰
۱۰۰
انحراف استاندارد
۱۳۶۵۶/۰
خطای استاندارد نسبی
۰۱۰۴۷/۰
خطای استاندارد مطلق
۰۱۴۶۶/۰
ضریب تعمیم پذیری نسبی
۹۹/۰
ضریب تعمیم پذیری مطلق
۹۹/۰
اگر قصد داشته باشیم بررسی کنیم سوالات درس ادبیاتفارسی چقدر خوب میتوانند نسبت به یکدیگر در مقیاس دشواری قرار بگیرند آنگاه تنها دو منبع بالقوه از واریانس خطا وجود دارد. تعاملات سوالات با مصححان و سوالات با دانشآموزان. یعنی RI و SI:G:R. در این صورت ضریب تعمیمپذیری نسبی مدنظر است و اگر هدف از بررسی این باشد که میتوان اندازهگیری دقیقی از دشواری سوال را برای سوالات مختلف ادبیاتفارسی فراهم کرد یا خیر، در این صورت تفسیر نتایج متمرکز بر ضریب تعمیمپذیری مطلق خواهد بود. در این طرح اندازهگیری، ضرایب تعمیمپذیری بدست آمده مشابه و خیلی نزدیک به یک است. دلیل مشابه بودن ضرایب تعمیمپذیری در این وضعیت اندازهگیری این است که، دو منبع واریانس S:G:R (00001/0) و R (0001/0) که تنها در ضریب تعمیم پذیری مطلق سهیم هستند و در ضریب تعمیم پذیری نسبی تاثیر ندارند، نسبتاً ناچیز هستند. به طوریکه این دو منبع تنها در حدود ۶/۰% از وایانس کل را به خود اختصاص دادهاند. همچنین، رویهی G نیز یک رویهی ثابت است و در ضریب سهمی ندارد.
کاردینت و همکاران (۲۰۱۰) بیان میکنند؛ رویهی ثابت که قسمتی از رویه ابزاری را تشکیل میدهد، تحت تاثیر نوسانات نمونهگیری قرار نمیگیرد، در نتیجه نمیتواند بر دقت اندازهگیری تاثیری داشته باشد. از این رو در جدول بالا، واریانس مربوط به جنسیت و اثرات تعاملی آن با دیگر رویهها با مقادیر صفر در داخل پرانتز نشان داده شده است.
آیا نمرات اختصاص داده شده توسط مصححان، اعتبار لازم را دارد؟
جهت پاسخگویی به این سوال، طرح اندازهگیری R/SGI آزمون شد. در این طرح، مصححان به عنوان رویهی تفکیکی و هدف مطالعه اندازهگیری هستند. سایر رویهها بهعنوان رویههای ابزاری محسوب میشوند.
جدول۴-۱۱ : ضرایب تعمیم پذیری برای طرح R/SGI
منبع واریانس
واریانس تفکیکی
منبع واریانس
واریانس خطای نسبی
درصد
نسبی
واریانس خطای مطلق
درصد مطلق
R
۰۰۰۸۹/۰



G:R
(۰۰۰۰۰/۰)
۰
(۰۰۰۰۰/۰)
۰

S:G:R
۰۰۰۰۶/۰
۵/۷۸
۰۰۰۰۶/۰
۵/۱۵

I

۰۰۰۳۱/۰
۲/۸۰

RI
۰۰۰۰۱/۰
۴/۱۵
۰۰۰۰۱/۰
۳

GI:R
(۰۰۰۰۰/۰)
۰
(۰۰۰۰۰/۰)
۰

SI:G:R
۰۰۰۰۰/۰
۱/۶
۰۰۰۰۰/۰
۲/۱
مجموع واریانس
۰۰۰۸۹/۰
۰۰۰۰۸/۰
۱۰۰
۰۰۰۳۸/۰
۱۰۰
انحراف استاندارد
۰۲۹۸۲/۰
خطای استاندارد نسبی
۰۰۸۶۸/۰
خطای استاندارد مطلق
۰۱۹۵۲/۰
ضریب تعمیم پذیری نسبی
۹۲/۰
ضریب تعمیم پذیری مطلق
۷۰/۰
منابع اصلی خطا که اعتبار تفکیک مصححان از یکدیگر را متاثر میکند، در ستون واریانس خطای نسبی جدول

مطلب مشابه :  منابع پایان نامه دربارهمبانی نظری، اندازه گیری، علوم اجتماعی، سیستم واحد
دسته بندی : No category

دیدگاهتان را بنویسید