۴-۱۱ ظاهر شدهاند که عبارتند از: دانش آموزان، تعاملات مصححان با سوالات و دانشآموزان. رویهی دانش آموزان با ۵/۷۸ درصد، بزرگترین بخش آن را تشکیل میدهد. تعامل مصححان با سوالات با سهم ۴/۱۵ درصدی دومین عامل بزرگ تشکیلدهندهی خطای نسبی است که به این معناست؛ مصححان در نمرهگذاری سوالات مختلف آزمون متفاوت عمل کردهاند. با توجه به بالا بودن ضریب تعمیمپذیری نسبی بدست آمده (۹۲/۰) میتوان گفت که مصححان به طور معتبری (در یک مقیاس سختگیری- سهل گیری) یا (برحسب میانگین نمرهگذاری هایشان ) از هم قابل تفکیک هستند و روند تصحیح مشابهای نداشته اند.
بزرگترین اثر منفی در دقت اندازهگیری مطلق نمرهگذاری مصححان، متعلق به رویهی سوالات است که ۲/۸۰ درصد از خطا را شامل میشود. ضریب تعمیمپذیری برای اندازهگیری مطلق، ۷۰/۰ است که نشان دهندهی نامطلوب بودن نمرهگذاری مطلق مصححان است.
با تغییر تعداد سطوح رویهها، چه تغییری در اندازه ی ضرایب تعمیمپذیری بوجود میآید؟
در طرح اندازهگیری SGR/I با کاهش سطوح رویهی ابزاری(سوالات) به یک دوم، یک سوم و یک چهارم، اندازهی ضریب تعمیمپذیری نسبی در مطالعهی G (95/0) به ترتیب به ۹۰/۰، ۸۶/۰ و ۸۲/۰ میرسد و همچنین اندازهی ضریب تعمیمپذیری مطلق در مطالعهی G (90/0) بهترتیب به ۸۲/۰، ۷۵/۰ و ۶۹/۰ کاهش پیدا میکند. برای رسیدن به سطح قابل قبولی از هر دو ضرایب و در نظر گرفتن زمان پاسخگویی دانشآموزان بهتر است تعداد سوالات از ۶۱ به ۳۰ برسد. البته به شرطی که این کاهش، روایی سوالات را به مخاطره نیندازد.
در طرح اندازهگیری I/SGR، اگر تعداد مصححان از ۹ به ۵ و همزمان تعداد دانشآموزان نیز از ۳۰ به ۱۵ برسد، تغییری در اندازهی ضریب تعمیمپذیری نسبی بوجود نمیآید و و اندازهی ضریب مطلق فقط ۰۱/۰ کاهش می یابد. علاوه بر این، اگر در سطوح رویهی دانشآموزان تغییری ایجاد نشود و سطوح مصححان به دو نفر کاهش پیدا کند، اندازهی ضریب تعمیمپذیری نسبی(۹۹/۰) و ضریب تعمیمپذیری مطلق(۹۹/۰) به ترتیب ۰۲/۰ و ۰۴/۰ کاهش مییابد که همچنان در سطح بسیار مطلوبی قرار میگیرند. در صورتیکه تعداد سطوح رویههای ابزاری طرح مذکور به یک سوم فعلی کاهش یابد، میتوان همچنان به ضرایب تعمیمپذیری بالای ۹۵/۰ دست پیدا کرد.
در طرح اندازهگیری R/SGI، با کاهش همزمان تعداد سطوح رویههای ابزاری به یک چهارم و همچنین به یک سوم، اندازهی ضرایب تعمیمپذیری کاهش یافته و در سطح نامطلوبی قرار میگیرند. اگر تعداد سطوح سوالات ثابت نگه داشته شود و تعداد دانش آموزان به دو برابر افزیش یابد ضرایب تعمیمپذیری به افزایش ناچیزی حدوداً به اندازهی ۰۲/۰ دست مییابند و اگر تعداد سطوح دانشآموزان به سه برابر افزایش یابد تنها ۰۴/۰ به ضریب تعمیمپذیری نسبی افزوده میشود و ضریب مطلق همچنان در سطح نامطلوب و ناکافی قرار میگیرد. با دو برابر کردن تعداد سوالات و همان سطوح استفاده شده از رویهی دانشآموزان در مطالعهی G میتوان به به اعتبار قابل قبولی در هر دو نوع اندازهگیری دست یافت. در این مورد باید توجه داشت که افزایش سوالات، زمان زیادی جهت پاسخگویی را میطلبد که با خستگی و از بین رفتن تمرکز دانشآموزان همراه خواهد بود.
درس زیست شناسی
آیا امکان مقایسه نمرات زیستشناسی دانشآموزان به صورت معتبر وجود دارد؟
اطلاعات کلی مربوط به طرح مشاهده و برآورد این مطالعه، در جدول زیر ارائه شده است.
جدول ۴-۱۲ : طرح مشاهده و برآورد مطالعه اندازهگیری برای درس زیست شناسی
رویه
برچسب
سطوح
جهان
مصححان
R
۷
INF
جنسیت
G:R
۲
۲
دانش آموزان
S:G:R
۳۰
INF
سوالات
I
۷۸
INF
همانطور که در جدول بالا آمده است، هر کدام از ۷ مصحح، به ۳۰ دانشآموز دختر و ۳۰ دانشآموز پسر برای درس زیستشناسی که دارای ۷۸ سوال بوده است، نمره دادهاند. در این بین؛ رویههای مصححان، دانشآموزان و سوالات به عنوان رویههای تصادفی با جهانهایی نامحدود و جنسیت دانشآموزان به عنوان رویهی ثابت در نظر گرفته شدهاند. واریانس هر کدام از رویههای مورد مطالعه برآورد و در جدول زیر ارائه گردیده است.
جدول ۴-۱۳ : منابع تغییر درس زیست شناسی برای طرحهای اندازه گیری SGR/I، I/SGR، R/SGI
منبع تغییرات
مجموع مجذورات
درجه آزادی
میانگین مجذورات
مؤلفه ها
درصد
خطای استاندارد
تصادفی
مختلط
تصحیح شده
R
۳۷/۴
۶
۷۳/۰
۰۰۰۱۳/۰-
۰۰۰۰۹/۰
۰۰۰۰۹/۰
۶/۰
۰۰۰۱۶/۰
G:R
۴۸/۹
۷
۳۵/۱
۰۰۰۴۶/۰
۰۰۰۴۶/۰
۰۰۰۲۳/۰
۴/۱
۰۰۰۲۷/۰
S:G:R
۰۷/۱۱۵
۴۰۶
۲۸/۰
۰۰۳۵۰/۰
۰۰۳۵۰/۰
۰۰۳۵۰/۰
۹/۲۱
۰۰۰۲۵/۰
I
۶۷/۵۷
۷۷
۷۵/۰
۰۰۱۷۵/۰
۰۰۱۷۵/۰
۰۰۱۷۵/۰
۹/۱۰
۰۰۰۲۸/۰
RI
۹۷/۵
۴۶۲
۰۱/۰
۰۰۰۰۳/۰-
۰۰۰۰۴/۰
۰۰۰۰۴/۰
۳/۰
۰۰۰۰۲/۰
GI:R
۰۳/۸
۵۳۹
۰۱/۰
۰۰۰۱۵/۰
۰۰۰۱۵/۰
۰۰۰۰۸/۰
۵/۰
۰۰۰۰۳/۰
SI:G:R
۲۷/۳۲۲
۳۱۲۶۲
۰۱/۰
۰۱۰۳۱/۰
۰۱۰۳۱/۰
۰۱۰۳۱/۰
۴/۶۴
۰۰۰۰۸/۰
Total
۸۷/۵۲۲
۳۲۷۵۹




۱۰۰

همانطور که نتایج تحلیل واریانس نشان میدهد، بزرگترین سهم از واریانس نمره کل ۴/۶۴ درصد است که در نتیجهی تعامل سوالات با دانشآموزان (SI:G:R) است. این مولفه با دیگر منابع واریانس ناشناخته و خطای تصادفی آمیخته است. در مرتبهی دوم، واریانس بین دانشآموزان S:G:R با ۹/۲۱ درصد و در مرتبهی سوم، واریانس بین سوالات I با ۹/۱۰ درصد قرار دارند. مولفههای واریانس مرتبط با مصححان، جنسیت دانشآموزان و تعاملات این دو با سوالات، کوچک است و سهم اندکی در واریانس نمره کل دارند به طوریکه در مجموع کمتر از ۳ درصد واریانس کل را به خود اختصاص دادهاند.
آیا امکان مقایسه نمرات دانشآموزان به صورت معتبر وجود دارد؟
برای پاسخگویی به این سوال، رویهی دانشآموزان (درون جنسیت)، جنسیت (درون مصححان) و مصححان به عنوان رویه‏های تفکیکی محسوب میشوند.
جدول۴-۱۴ : مطالعه G برای طرح اندازه گیری SGR/I
منبع واریانس
واریانس تفکیکی
منبع واریانس
واریانس خطای نسبی
درصد
نسبی
واریانس خطای مطلق
درصد مطلق
R
۰۰۰۰۹/۰


G:R
۰۰۰۲۳/۰


S:G:R
۰۰۳۵۰/۰



I

۰۰۰۰۲/۰
۴/۱۴

RI
۰۰۰۰۰/۰
۴/۰
۰۰۰۰۰/۰
۴/۰

GI:R
۰۰۰۰۰/۰
۷/۰
۰۰۰۰۰/۰
۶/۰

SI:G:R
۰۰۰۱۳/۰
۸/۹۸
۰۰۰۱۳/۰
۶/۸۴
مجموع واریانس
۰۰۳۸۲/۰
۰۰۰۱۳/۰
۱۰۰
۰۰۰۱۶/۰
۱۰۰
انحراف استاندارد
۰۶۱۸۴/۰
خطای استاندارد نسبی ۰۱۱۵۶/۰
خطای استاندارد مطلق ۰۱۲۵۰/۰
ضریب تعمیم پذیری نسبی
۹۷/۰
ضریب تعمیم پذیری مطلق
۹۶/۰
اثر تعاملی سوالات با دانشآموزان بزرگترین اثر منفی را در دقت اندازهگیری مطلق و نسبی نمرات دانشآموزان دارد. این مولفه ۸/۹۸% از واریانس خطای نسبی و ۶/۸۴% از واریانس خطای مطلق را به خود اختصاص داده است. همچنین، سهم رویهی سوالات از واریانس خطای مطلق ۴/۱۴% است.
واریانس تفکیکی بیش از ۲۹ برابر واریانس نسبی و بیش از ۲۳ برابر واریانس مطلق است. در ادامه، نتایج مطالعهی G نشان میدهد که اندازهی هر دو نوع ضریب تعمیمپذیری برای اندازهگیری نسبی و مطلق، بیش از ۹۵/۰ است که میتوان نتیجه گرفت؛ اندازهگیری نمرات دانشآموزان از اعتبار بالایی برخوردار است. اگر هدف مقایسهی نمرات دانشآموزان در درس زیستشناسی با یکدیگر باشد، ضریب تعمیمپذیری نسبی نشان میدهد که با ضریب اعتبار (۹۷/۰) بالا، امکان تفکیک نمرات زیستشناسی دانشآموزان وجود دارد. حتی اگر هدف مشخص کردن جایگاه یک دانشآموز در مقیاس نمره زیستشناسی باشد، مقدار ضریب مطلق (۹۶/۰) نشان میدهد که به صورت معتبری امکانپذیر است.
آیا میتوان دشواری سوالات زیستشناسی را به طور معتبری اندازهگیری کرد؟
برای پاسخگویی به این سوال، میتوان طرح اندازهگیری I/SGR را آزمون کرد که رویهی سوالات به عنوان رویهی تفکیکی در نظر گرفته شده است. جدول ۴-۱۵، نتایج مطالعهی G مربوط به این طرح را نشان میدهد.
جدول ۴-۱۵ : مطالعه G برای طرح اندازه گیری I/SGR
منبع واریانس
واریانس تفکیکی
منبع واریانس
واریانس خطای نسبی
درصد
نسبی
واریانس خطای مطلق
درصد مطلق

R

۰۰۰۰۱/۰
۷/۲۵

G:R

(۰۰۰۰۰/۰)
۰/۰

S:G:R

۰۰۰۰۱/۰
۸/۱۵
I
۰۰۱۷۵/۰



RI
۰۰۰۰۱/۰
۲/۲۰
۰۰۰۰۱/۰
۸/۱۱

GI:R
(۰۰۰۰۰/۰)
۰
(۰۰۰۰۰/۰)
۰

SI:G:R
۰۰۰۰۲/۰
۸/۷۹
۰۰۰۰۲/۰
۶/۴۶
مجموع واریانس
۰۰۱۷۵/۰
۰۰۰۰۳/۰
۱۰۰
۰۰۰۰۵/۰
۱۰۰
انحراف استاندارد
۰۴۱۸۶/۰
خطای استاندارد نسبی
۰۰۵۵۵/۰
خطای استاندارد مطلق
۰۰۷۲۵/۰
ضریب تعمیم پذیری نسبی
۹۸/۰
ضریب تعمیم پذیری مطلق
۹۷/۰
در این روش اندازهگیری، منابع تشکیل دهندهی واریانس خطای مطلق عبارتند از: اثر تعاملی سوالات با دانشآموزان(۶/۴۶%)، مصححان(۷/۲۵%)، دانشآموزان(۸/۱۵%) و اثر تعاملی سوال با مصححان(۸/۱۱%). همچنین اثر تعاملی سوالات با دانشآموزان با ۸/۷۹ %، بزرگترین اثر منفی را در دقت اندازهگیری نسبی دشواری سوالات دارد. اثر تعاملی سوالات و مصححان نیز با ۲/۲۰% سهم قابل توجهی در واریانس خطای نسبی دارد. با این وجود، هر دو واریانس خطای نسبی و مطلق در در مجموع، کمتر از ۵ درصد از واریانس کل را به خود اختصاص دادهاند. همانطور که نتایج مطالعه ی G در جدول ۴-۱۵ نشان میدهد، هر دو ضرایب تعمیمپذیری بدست آمده برای اندازهگیری نسبی و مطلق سوال اختلاف ناچیزی با هم داشته و خیلی نزدیک به یک است. بنابراین میتوان نتیجه گرفت که نه تنها قرار دادن سوالات زیستشناسی بهطور معتبری در مراتب دشواری (از آسانترین به مشکلترین- اندازهگیری نسبی) امکانپذیر است بلکه به طور رضایتبخشی و با دقت بالا میتوان دشواری سوال را برای سوالات مختلف زیستشناسی فراهم کرد.
آیا نمرات اختصاص داده شده توسط مصححان، اعتبار لازم را دارد؟
برای پاسخ به این سوال، مصححان به عنوان رویه تفکیکی در نظر گرفته شدهاند.
جدول۴-۱۶ : مطالعه G برای طرح اندازه گیری R/SGI
منبع واریانس
واریانس تفکیکی
منبع واریانس
واریانس خطای نسبی
درصد
نسبی
واریانس خطای مطلق
درصد مطلق
R
۰۰۰۰۹/۰



G:R
(۰۰۰۰۰/۰)
۰
(۰۰۰۰۰/۰)
۰

S:G:R
۰۰۰۰۶/۰
۵/۹۵
۰۰۰۰۶/۰
۸/۶۹

I

۰۰۰۰۲/۰
۹/۲۶

RI
۰
۹/۰
۰
۷/۰

GI:R
(۰۰۰۰۰/۰)
۰
(۰۰۰۰۰/۰)
۰

SI:G:R
۰
۶/۳
۰
۶/۲
مجموع واریانس
۰۰۰۰۹/۰
۰۰۰۰۶/۰
۱۰۰
۰۰۰۰۸/۰
۱۰۰
انحراف استاندارد
۰۰۹۷۳/۰
خطای استاندارد نسبی
۰۰۷۸۲/۰
خطای استاندارد مطلق
۰۰۹۱۴/۰
ضریب تعمیم پذیری نسبی
۶۱/۰
ضریب تعمیم

مطلب مشابه :  منابع پایان نامه دربارهادبیات فارسی، زیست شناسی، اندازه گیری، دانشجویان
دسته بندی : No category

دیدگاهتان را بنویسید