نتایج نشان از برقراری مفروضات داشت، با استفاده از نرم افزار BILOGMG3 مقادیر پارامترهای سوال به همراه آزمون خی دو و سطح معناداری در مدلهای یک پارامتری و دو پارامتری برآورد گردید. لازم به ذکر است که با توجه به نامعلوم بودن پارامترهای سوال و توانایی، جهت برآورد همزمان آنها از روش بیشینهی درستنمایی حاشیهای استفاده گردیده است. در این روش با مشخص کردن یک توزیع برای پارامترهای توانایی، آنها را از تابع درست نمایی خارج ساخته و پارامترهای سوال برآورد میگردند. در مرحلهی بعد با پارامترهای برآورد شدهی سوال به عنوان معلوم برخورد شده و توانایی آزمودنیها برآورد میگردد. روش بیشینهی درستنمایی حاشیهای یک روش از سرگیرانه است. سپس میزان برازندگی تک تک سوالات با مدلهای یک پارامتری و دو پارامتری در سطوح آلفای ۰۱/۰ و ۰۵/۰ بررسی شد. چنانچه در مدلی، سطح معناداری سوال از مقدار آلفای مورد نظر بیشتر باشد، گفته میشود سوال با آن مدل برازش دارد؛ در غیر این صورت نشان دهندهی عدم برازش سوال با مدل است. بر اساس ملاکهای توصیف و تفسیر، مقادیر برآوردشدهی پارامترها به تفکیک مدل تحلیل شدند. همچنین، منحنی ویژگی سوالات به تفکیک مدلها، منحنی ویژگی و تابع آگاهی یک سوال نمونه ترسیم و مقادیر بیشینه آگاهی و تتای ماکسیمم سوالات برآورد گردید.
به منظور تحلیل وضعیت کلی آزمون؛ مقادیر آگاهی آزمون و خطای استاندارد اندازهگیری آزمون در سطوح مختلف توانایی و هیستوگرام توزیع توانایی آزمودنیها محاسبه و ترسیم شد.
در هر دو آزمون مورد مطالعه، پس از اطمینان از برقراری مفروضههای اصلی نظریهIRT، برای قضاوت در مورد برازش کلی مدل از شاخصی به نام RMS استفاده شد که مقدار آن نباید بیشتر از دو باشد. همچنین، به منظور بررسی اینکه کدام مدل بهترین برازش را با داده ها دارد، با بکارگیری آزمون خیدو به طریقهی زیر عمل گردید:
با توجه به اینکه سوالات دو آزمون ادبیاتفارسی و زیستشناسی بیشتر از نوع تشریحی(کوتاه پاسخ) بوده، لذا عامل حدس به عنوان یک راهبرد در پاسخگویی به سوالات نقشی نداشته است. بدینمنظور بعد از اینکه تحلیل سوالات با دو مدل یک پارامتری و دو پارامتری انجام گرفت، در هر یک از این تحلیلها مقدار ۲ LOG LIKELIHOOD- به دست آمده در آخرین چرخش را در هر دو مدل یادداشت، سپس آن را در فرمول زیر جایگزین میکنند.
χ^۲= 〖-۲ LOG LIKELIHOOD〗_۱pl-(〖-۲ LOG LIKELIHOOD〗_۲pl )
خی دو به دست آمده از فرمول بالا با خی دو بحرانی با درجه آزادی برابر با تعداد سوالات مقایسه میشود. چنانچه خی دو مشاهده شده بزرگتر یا مساوی خی دو بحرانی باشد، نتیجه گرفته میشود؛ مدل دو پارامتری با دادهها برازش بهتری دارد. در صورتی که خی دو مشاهده شده کوچکتر از خی دو بحرانی باشد، این مطلب را میرساند که از نظر آماری بین برازش مدل ها تفاوت معنی داری وجود ندارد و میتوان هر یک از آنها را گزارش کرد. البته بر اساس اصل امساک بهتر است مدل با پارامترهای کمتر را برگزید.
جهت بررسی میزان توافق دو مدل کلاسیک و IRT در تشخیص سوالات مناسب و نامناسب، از پارامتر تشخیص استفاده شد. بر این اساس سوالاتی که قدرت تشخیص کمتر از ۲/۰ در کلاسیک (بر اساس دادههای خام) و کمتر از ۵/۰ در IRT( بر اساس مدل دو پارامتری) داشته اند به عنوان سوالات نامناسب تعیین شدند.
به منظور بررسی وضعیت قبولی آزمودنیها و مقایسه عملکرد آنها، توزیع فراوانی (فراوانی و درصد) وضعیت قبولی آزمودنیها، شاخصهای توصیفی (کمینه نمره، بیشینه نمره، میانگین، واریانس و انحراف معیار) توزیع نمرات آزمودنیها، شاخصهای توصیفی (کجی و کشیدگی) شکل توزیع نمرات به تفکیک درس و جنسیت ارائه گردید. همچنین، منحنی توزیع نمرات هر یک از دروس نشان داده شد. جهت آزمون نرمال بودن توزیع نمرات، در کنار شاخصهای کجی و کشیدگی، آزمون کولموگروف – اسمیرنوف نیز به تفکیک درس و جنسیت انجام گرفت. از آزمون t مستقل جهت مقایسه عملکرد آزمودنیهای پسر و دختر استفاده گردید.
.
فصل چهارم
تجزیه و تحلیل داده ها
در این فصل از تحقیق؛ به منظور پاسخگویی به سوالات، داده های بدست آمده از ۶۰۰ برگه امتحان نهایی سال سوم متوسطه در دو درس ادبیات فارسی و زیست شناسی مورد تحلیل قرار گرفت. لازم به یادآوری است که آزمون ادبیات فارسی و زیست شناسی خرداد ماه ۹۰، به ترتیب حاوی ۵۳ و ۳۰ سوال است که با احتساب ریز سوالات، این تعداد به ۶۱ و ۷۸ سوال می رسد.
سوال: روایی امتحانات نهایی دروس ادبیات فارسی و زیست شناسی رشته تجربی سال سوم متوسطه چگونه است؟
برای پاسخگویی به این سوال نیاز است تا به چند سوالی که در ادامه مطرح می گردد، پاسخ داده شود که در این زمینه، اطلاعات متخصصان موضوعی در قالب پرسشنامه های محقق ساخته بکار گرفته شده است. دروس ادبیات فارسی و زیست شناسی با احتساب ریز سوالات، مطابق با ورقه ی امتحانی (سوالات بر اساس ریز بارم مطابق با راهنمای تصحیح در نظر گرفته نشده اند) به ترتیب حاوی ۵۷ و ۶۴ سوال می باشند که برای این بخش از تحلیل، تعداد مذکور در نظر گرفته شده است.
آیا سوالات امتحانات نهایی از لحاظ ساختاری از مطلوبیت کافی برخوردار است؟
توزیع فراوانی و درصد سوالات دارای اشکال ساختاری در دروس ادبیات فارسی و زیست شناسی در هر یک از ویژگی های مورد ارزیابی در جدول زیر ارائه گردیده است.
جدول۴-۱ : توزیع فراوانی و درصد سوالات دارای اشکال ساختاری در دروس ادبیات فارسی و زیست شناسی
سوال
ویژگی های مورد ارزیابی
ادبیات فارسی
زیست شناسی
تعداد
درصد
تعداد
درصد
۱
آیا شکل/ نمودار در صورت وجود از وضوح برخوردار است؟


۱
۵۶/۱
۲
آیا قواعد دستوری در نوشتن سوال، رعایت شده است؟
۰
۰
۰
۰
۳
آیا قواعد نگارش در نوشتن سوال، رعایت شده است؟
۰
۰
۰
۰
۴
آیا عبارت سوال، بدون غلط املایی است؟
۰
۰
۰
۰
۵
آیا از واژه پردازی غیرضروری در سوال اجتناب شده است؟
۰
۰
۰
۰
۶
آیا سوال به روشنی موضوع مورد نظر را بیان می کند؟
۰
۰
۱
۵۶/۱
۷
آیا این سوال مستقل از دیگر سوالات است؟
۰
۰
۲
۱۲/۳
۸
آیا سوال از متن یا چهارچوب محتوای کتاب درسی طرح شده است؟
۰
۰
۲
۱۲/۳
۹
آیا سوال یک موضوع مهم یا یک هدف آموزشی را اندازه می گیرد؟
۳
۲۶/۵
۷
۹۴/۱۰
۱۰
آیا نوع سوال تهیه شده برای اندازه گیری هدف مورد نظر مناسب است؟
۰
۰
۸
۵/۱۲
۱۱
آیا بارم سوال متناسب با میزان اهمیت سوال است؟
۰
۰
۱۲
۷۵/۱۸
۱۲
آیا بارم سوال متناسب با میزان دشواری سوال است؟
۰
۰
۱۳
۳۱/۲۰
۱۳
آیا می توان بارم هر سوال را به طور منطقی به هر بخش از پاسخ اختصاص داد؟
۰
۰
۷
۹۴/۱۰
آیا سوالات امتحاناتنهایی از نسبت روایی محتوایی مطلوب برخوردارند؟
به منظور ارزیابی محتوایی سوالات آزمون، نسبت روایی محتوایی تکتک سوالات در دو درس ادبیاتفارسی و زیستشناسی محاسبه و با توجه به دو ملاک ۶/۰ و ارزشهای بحرانی CVR ( ویلسون، پان و چامسکی، ۲۰۱۲) بررسی گردید که اطلاعات آن در جداول زیر ارائه گردیده است.
جدول۴-۲: نسبت روایی محتوایی بدست آمده برای سوالات ادبیات فارسی
سوال
CVR
سوال
CVR
سوال
CVR
سوال
CVR
سوال
CVR
۱
۲/۰
۱۳
۲/۰
۲۵
۲/۰
۳۷
۶/۰-
۴۷الف
۶/۰
۲
۲/۰-
۱۴
۲/۰
۲۶
۲/۰
۳۸
۱-
۴۷ب
۶/۰
۳
۲/۰
۱۵
۶/۰
۲۷
۲/۰-
۳۹
۲/۰-
۴۷پ
۲/۰
۴
۲/۰-
۱۶
۲/۰
۲۸
۶/۰
۴۰
۲/۰
۴۸
۶/۰-
۵
۲/۰
۱۷
۲/۰
۲۹
۶/۰
۴۱
۲/۰
۴۹
۶/۰-
۶
۲/۰-
۱۸
۲/۰
۳۰
۶/۰
۴۲
۲/۰
۵۰
۶/۰-
۷
۲/۰-
۱۹
۲/۰
۳۱
۶/۰-
۴۳الف
۲/۰-
۵۱
۶/۰-
۸
۲/۰-
۲۰
۲/۰
۳۲
۲/۰-
۴۳ب
۶/۰
۵۲
۶/۰-
۹
۲/۰-
۲۱
۲/۰-
۳۳
۶//۰-
۴۴الف
۶/۰
۵۳
۶/۰-
۱۰
۲/۰
۲۲
۲/۰-
۳۴
۶/۰
۴۴ب
۶/۰
۱۱
۲/۰-
۲۳
۶/۰
۳۵
۶/۰
۴۵
۶/۰
۱۲
۶/۰
۲۴
۲/۰
۳۶
۶/۰-
۴۶
۶/۰
جدول۴-۳: نسبت روایی محتوایی بدست آمده برای سوالات زیست شناسی
سوال
CVR
سوال
CVR
سوال
CVR
سوال
CVR
سوال
CVR
۱الف
۶/۰
۶الف
۲/۰
۱۲
۶/۰
۱۹الف
۶/۰
۲۵الف
۶/۰
۱ب
۲/۰
۶ب
۶/۰
۱۳
۶/۰
۱۹ب
۶/۰
۲۵ب
۶/۰
۱ج
۱
۷الف
۲/۰
۱۴الف
۶/۰
۱۹ج
۶/۰
۲۵ج
۶/۰
۱د
۶/۰
۷ب
۲/۰
۱۴ب
۶/۰
۱۹د
۱
۲۶الف
۶/۰
۲الف
۱
۸الف
۱
۱۵الف
۲/۰
۲۰ الف
۶/۰
۲۶ب
۲/۰
۲ب
۲/۰-
۸ب
۱
۱۵ب
۶/۰
۲۰ب
۲/۰-
۲۶ج
۲/۰
۲ج
۶/۰
۸ج
۲/۰
۱۵ج
۶/۰
۲۱
۱
۲۷الف
۲/۰
۲د
۱
۹الف
۲/۰
۱۵د
۱
۲۲الف
۱
۲۷ب
۲/۰-
۳
۶/۰
۹ ب
۲/۰-
۱۶
۱
۲۲ب
۱
۲۸
۲/۰
۴الف
۱
۹ج
۶/۰-
۱۷الف
۲/۰
۲۲ج
۶/۰
۲۹
۶/۰
۴ب
۶/۰
۱۰الف
۲/۰
۱۷ب
۶/۰
۲۳الف
۱
۳۰الف
۱
۴ج
۲/۰
۱۰ب
۲/۰ –
۱۸الف
۶/۰
۲۳ب
۶/۰
۳۰ ب
۱
۵
۶/۰
۱۱
۱
۱۸ب
۶/۰
۲۴
۲/۰
جدول۴-۴: تعداد و درصد سوالات ضروری برحسب شاخص CVR به تفکیک دروس
آزمون
CVR
۶/۰ ≥
بحرانی
ادبیات فارسی
۱۵
(۳۱/۲۶%)

زیست شناسی
۴۳
(۱۹/۶۷%)
۱۶
(۲۵%)
در درس ادبیاتفارسی، بر اساس ملاک ۶/۰ فقط (۳۱/۲۶%) سوالات ضروری تشخیص داده شدند و براساس ارزش بحرانی CVR، هیچ سوالی از طرف متخصصان موضوعی ضروری تشخیص داده نشد. همچنین در این درس، (۱۰/۴۲%) سوالات دارای CVR منفی هستند. در درس زیستشناسی، بر اساس ملاک ۶/۰، (۱۹/۶۷%) و بر اساس ارزش بحرانی CVR، (۲۵%) سوالات ضروری تشخیص داده شدهاند. (۴۴/۲۳%) سوالات دارای CVR مثبت و کمتر از ۵/۰ میباشند. (۳۷/۹%) سوالات نیز از CVR منفی برخوردارند.
توزیع طبقهبندی سوالات امتحاناتنهایی بر اساس سطوح یادگیری چگونه است؟
تعداد و درصد سوالات متعلق به هر کدام از طبقات حیطه شناختی به تفکیک دروس در جدول زیر آمده است.
جدول۴-۵: توزیع طبقه بندی سوالات به تفکیک دروس
آزمون
سطوح یادگیری (حیطه شناختی)
دانش
فهمیدن
کاربستن
تحلیل
ترکیب
ارزشیابی
مجموع
ادبیات فارسی
۳۶
(۱۶/۶۳%)
۱۶
(۰۷/۲۸%)
۵
(۷۷/۸%)



۵۷
(۱۰۰%)
زیست شناسی
۳۸
(۳۷/۵۹%)
۱۴
(۸۷/۲۱%)
۸
(۵/۱۲%)
۴
(۲۵/۶%)


۶۴
(۱۰۰%)
جدول بالا، توزیع۵۷ سوال ادبیات فارسی و ۶۴ سوال زیست شناسی را بر اساس سطوح شناختی نشان
میدهد. در درس ادبیات فارسی، تمام سوالات متعلق به سطوح پایین شناختی است که ۱۶/۶۳، ۰۷/۲۸ و ۷۷/۸ درصد سوالات به ترتیب متعلق به سطوح دانش، فهمیدن و کاربستن می باشد. در درس زیستشناسی، از سطوح بالای شناختی(ترکیب، ارزشیابی) سوالی طرح نشده است. از سوی دیگر، ۲۴/۸۱% سوالات متعلق به سطوح پایین شناختی(دانش، فهمیدن) میباشد. همچنین، تنها ۲۵/۶% سوالات به سطح

مطلب مشابه :  تحقیق رایگان درموردفرسایش بادی، محصولات زراعی، مواد غذایی، مرور زمان
دسته بندی : No category

دیدگاهتان را بنویسید