منبع خطا برای هر استفادهی خاص از آزمون مهم در نظر گرفته میشود.
اگر چه روشهای کمی امکان تحلیل جامع و دقیق سوالات آزمون را میسر میسازند؛ با این وجود از عهدهی تحلیل ساختاری و محتوایی سوالات بر نیامده و نیاز به بررسیهای کیفی به عنوان مکمل روشهای کمی کاملاً احساس میشود. در این تحقیق به منظور بررسی شکلی، ساختاری و محتوایی سوالات آزمون از نظرات دبیران متخصص ماده امتحانی و آشنا به اصول روانسنجی، در قالب پرسشنامههای محقق ساخته استفاده شد. اگر چه این روش قضاوتی و ذهنی است؛ با این وجود، تنها روشی است که به وسیله بنگاههای آزمونسازی و پژوهشگران، جهت بررسی روایی محتوایی آزمونها به طور گسترده مورد استفاده قرار میگیرد.
جامعه آماری
جامعه در این پژوهش، تمام سوالات امتحانات نهایی رشتهی علوم تجربی سال سوم مقطع متوسطه در خرداد ماه ۱۳۹۰ بوده است. جهت بررسی ویژگیهای روانسنجی این سوالات، عملکرد ۶۰۰ نفر از دانشآموزان رشته تجربی سال سوم مقطع متوسطه ناحیه یک شهرستان خرمآباد در دو درس ادبیاتفارسی و زیستشناسی مورد تجزیه و تحلیل قرار گرفت. تعداد سوالات دروس مذکور به شرح زیر است؛
جدول ۳-۱: دروس انتخاب شده و تعداد سوالات
خرداد ۱۳۹۰
درس
تعداد سوال
بدون احتساب ریز سوال
با احتساب ریز سوال
ادبیات فارسی
۵۳
۶۱
زیست شناسی
۳۰
۷۸
آزمون ادبیات فارسی و زیستشناسی خرداد ماه ۹۰، به ترتیب حاوی ۵۳ و ۳۰ سوال است که با احتساب ریز سوالات، این تعداد به ۶۱ و ۷۸ سوال میرسد. به عنوان نمونه، سوال ۴۷ آزمون ادبیات فارسی دارای سه
قسمت الف، ب، پ و سوال ۱۵ آزمون زیستشناسی شامل ۴ قسمت الف، ب، ج، د میباشد که با توجه به اینکه هر کدام از آنها مفاهیم مستقلی را میسنجند، به عنوان یک سوال جداگانه در نظر گرفته شدهاند. همچنین در تعداد کمی از سولات، هر بخش از سوال که به آن ریز بارم تعلق گرفته بود، خود به عنوان یک سوال جداگانه در نظر گرفته شد.
همچنین تعداد دانشآموزان سال سوم مقطع متوسطه شاخه نظری در سال تحصیلی ۹۰-۸۹ در ناحیه یک شهرستان خرم آباد ۳۳۰۶ نفر بود که از بین آنها ۱۴۸۸ نفر معادل ۴۵ درصد، در رشتهی علوم تجربی مشغول به تحصیل بودهاند. از بین ۱۴۸۸ دانشآموز رشته علوم تجربی، ۵۹۴ نفر معادل ۹۲/۳۹ درصد را دانشآموزان پسر و ۸۹۴ نفر معادل ۰۸/۶۰درصد را دانشآموزان دختر تشکیل دادهاند.
گروه نمونه و شیوه گزینش آن
از میان رشتههای تحصیلی شاخهی نظری، رشتهی علوم تجربی به دلیل وجود نمرات گره نسبتاً زیاد انتخاب گردید و از آنجا که در میان دروس عمومی و اختصاصی این رشته، دو درس زیست شناسی و ادبیات فارسی دارای ضرایب بالایی میباشند در بین سایر دروس انتخاب شدند. با توجه به عملی بودن بررسی یکایک سوالات دو درس مذکور، ضرورتی برای نمونهگیری از سوالات آنها وجود ندارد و کلیه سوالات این دو درس مورد تحلیل قرار میگیرد. بدینمنظور از بستههای اوراق امتحانی دروس ادبیاتفارسی و زیستشناسی موجود در انبار امتحانات که متعلق به تمام دبیرستانهای ناحیه یک شهرستان خرمآباد؛ اعم از استعدادهای درخشان، عادی – دولتی، نمونه دولتی، غیرانتفاعی و بزرگسالان بود، استفاده گردید. با توجه به اینکه نظریههای روانسنجی، نظریههای نمونههای بزرگ هستند و با در نظرگرفتن ملاحظات نظری و عملی این نظریهها و برای تحقق برآورد باثبات پارامترها، نمونهای با حجم ۶۰۰ ورقهی امتحانی در دو درس مذکور به منظور بررسی ویژگیهای روانسنجی سوالات به طور تصادفی انتخاب شد. از این میان ۳۰۰ ورقه امتحانی متعلق به دانشآموزان دختر و ۳۰۰ ورقه امتحانی دیگر متعلق به دانشآموزان پسر میباشد.
در بررسی اعتبار دروس مورد مطالعه، با توجه به اینکه تعداد سطوح رویهی آشیانه شده برای هر سطح از رویهای که در آن آشیانه کرده است، باید برابر باشد، لذا تعداد اوراق مصححی که کمتر از اوراق سایر مصححان بود، به عنوان ملاک در نظر گرفته شد. به طوریکه از ۶۰۰ اوراق امتحانی که به طور تصادفی انتخاب شده بود، ۶۰ ورقهی امتحانی (۳۰ ورقه برای هر جنسیت) برای هر مصحح به طور تصادفی (در صورت زیاد بودن اوراق هر مصحح) انتخاب گردید که در نهایت تعداد اوراق برای درس ادبیاتفارسی۵۴۰ و برای درس زیستشناسی ۴۲۰ ورقه بود. لازم به ذکر است که در مجموع، درس ادبیاتفارسی توسط ۱۳ مصحح و درس زیستشناسی توسط ۷ مصحح تصحیح شده بود که در درس ادبیاتفارسی، اوراق تصحیح شده ۴ مصحح به دلیل کمی تعداد، کنار گذاشته شد.
در جدول زیر توزیع فراوانی جنسیت در جامعه و نمونهی دانشآموزان برحسب تحلیلها نشان داده شده است.
جدول۳-۲: توزیع فراوانی جنسیت در جامعه و نمونهی دانش آموزان رشته ی علوم تجربی
توزیع فراوانی جامعه
توزیع فراوانی نمونه
برای تحلیل CTTو IRT
در هر دو درس
تعیین اعتبار با GT
فراوانی
درصد
فراوانی
درصد
فراوانی
ادبیاتفارسی
فراوانی
زیستشناسی
درصد
جنسیت
پسر
۵۹۴
۹۲/۳۹
۳۰۰
۵۰
۲۷۰
۲۱۰
۵۰
دختر
۸۹۴
۰۸/۶۰
۳۰۰
۵۰
۲۷۰
۲۱۰
۵۰
کل
۱۴۸۸
۱۰۰
۶۰۰
۱۰۰
۵۴۰
۴۲۰
۱۰۰
علاوه بر این، به منظور بررسی روایی دروس مورد مطالعه، برای هر درس از ۵ متخصص موضوعی که با اصول سنجش و اندازهگیری آشنایی داشتند، استفاده گردید. متخصصان در شهرهای(تهران، خرمآباد، شیراز، کرمانشاه، خوزستان، ارومیه) مشغول به تدریس بودند.
روش گردآوری اطلاعات
در تحقیقات علوم رفتاری از آزمونهای روانی و تربیتی به عنوان یکی از ابزارهای جمعآوری دادهها استفاده میشود. این آزمونها را بر اساس خصیصهی اندازهگیری شده به سه گروه بزرگ تقسیم میکنند:
آزمونهای هوش و استعداد
آزمونهای پیشرفت تحصیلی
آزمونهای رغبت، نگرش و شخصیت
در این میان آزمونهای پیشرفت تحصیلی، آزمونهایی هستند که میزان تسلط فرد بر یک محتوای درس یا آموختههای وی را در زمینههای مختلف اندازهگیری میکند( سرمد، ۱۳۹۱، ص ۱۶۵).
در این تحقیق یکی از ابزارهای جمعآوری اطلاعات، سوالات مطرح شده از دو درس ادبیات فارسی و
زیستشناسی در امتحاناتنهایی رشتهی علوم تجربی سال سوم مقطع متوسطه خرداد ۹۰ بود که به طور همزمان در سراسر کشور برگزار شده بود. تعداد سوالات این دروس به ترتیب ۵۳ و ۳۰ سوال بوده که بیشتر از نوع سوالهای کوتاه پاسخ بود.
دادههای مورد نیاز این تحقیق، از اوراق امتحانات نهایی رشته تجربی مربوط به دو درس مذکور در ناحیه یک شهرستان خرمآباد استخراج گردید که نحوه جمعآوری این دادهها به شرح زیر است:
کلیه اوراق امتحانی دانشآموزان پس از اتمام کار حوزه تصحیح، بستهبندی و در داخل کیسههایی پلمب سربی شده و به مدت سه سال نگهداری میشوند. از این رو، جمعآوری دادههای این پژوهش پس از کسب مجوزهای لازم در انبار حوزه تصحیح امتحانات آموزش و پرورش ناحیه یک شهرستان خرمآباد صورت گرفت.برای این کار اوراق امتحانی ۶۰۰ دانشآموز در دروس زیستشناسی و ادبیاتفارسی جهت استخراج دادهها انتخاب شد. در درس زیست شناسی از میان ۶۰۰ ورقهی امتحانی انتخاب شده، ۳۰۰ ورقه (۱۵۰ ورقه متعلق به دانش آموزان دختر و ۱۵۰ ورقه متعلق به دانش آموزان پسر) را که توسط سه مصحح تصحیح شده بود، جدا کرده و محقق به عنوان مصحح چهارم این ۳۰۰ ورقه را مطابق راهنمای تصحیح نمرهگذاری نمود. ۳۰۰ ورقه دیگر نیز توسط دو مصحح نمرهگذاری شده بود. همچنین اوراق امتحانی درس ادبیات فارسی همین دانش آموزان را جدا نموده و گفتنی است این اوراق توسط دو مصحح تصحیح شده بود که ۳۰۰ ورقه آن توسط محقق به عنوان مصحح سوم نمرهگذاری شد. لازم به ذکر است که بیشتر اوراق امتحانی موجود این درس (به دلیل عدم اعتراض دانش آموزان و یا توافق مصححان) توسط دو مصحح نمرهگذاری شده بود.
در این تحقیق برای هر دانشآموز و در هر امتحان، نمرهی تک تک سوالات و همچنین ریزبارم هر سوال (در صورت موجود بودن) که توسط مصححان مختلف داده شده بود به عنوان دادههای پژوهش در فرمهای مخصوص محقق ساخته ثبت شد. برای درک بهتر، خلاصهی مطالب گفته شده در قسمت بالا در جدول زیر نشان داده میشود.
جدول ۳-۳: خلاصه اطلاعات جمع آوری شده
درس
تعداد سوال
(با احتساب ریز سوالات)
جنسیت
اوراق امتحانی
مصححان
اول
دوم
سوم
محقق
زیست
۳۰
(۷۸)
پسر
۱۵۰ – ۱
*
*
*
*
۳۰۰ – ۱۵۱
*
*
دختر
۴۵۰ – ۳۰۱
*
*
*
*
۶۰۰ – ۴۵۱
*
*
ادبیات
۵۳
(۶۱)
پسر
۱۵۰ – ۱
*
*
*
۳۰۰ – ۱۵۱
*
*
دختر
۴۵۰ – ۳۰۱
*
*
*
۶۰۰ – ۴۵۱
*
*
یکی دیگر از ابزارهای جمعآوری اطلاعات، پرسشنامه های محقق ساختهای بود که به منظور بررسی روایی امتحانات، به چند نفر از دبیران متخصص و با تجربه به صورت ایمیل و حضوری تحویل داده شد. علاوه بر این، از طریق مصاحبه تلفنی و پرسشنامه از دبیران مصحح اوراق امتحانی دربارهی وضعیت تصحیح اوراق امتحانی نظرخواهی شد.
روش اجرای تحقیق
ابتدا از دانشگاه معرفینامهای برای اداره کل آموزش و پرورش استان لرستان جهت همکاری گرفته شد که با توجه به مسائل حفاظتی اوراق نهایی، از طرف اداره مذکور به مرکز سنجش وزارت آموزش و پرورش ارجاع داده شد. سپس از طرف این مرکز به حراست مرکزی وزارت آموزش و پرورش معرفی و با اعلام بلامانع بودن این کار از طرف مرکز نامبرده، جهت موافقت نهایی به مرکز سنجش وزارت آموزش و پرورش ارجاع گردید. بعد از دریافت مجوز از سوی این مرکز با مراجعه به اداره کل آموزش و پرورش استان لرستان و مرکز سنجش آن، هماهنگیهای لازم صورت گرفت. سپس به نواحی یک و دو آموزش و پرورش شهرستان خرمآباد معرفی گردیده که به دلیل عدم موافقت ناحیه دو، کار جمعآوری دادهها پس از طی مراحل اداری در حوزه تصحیح ناحیه یک صورت گرفت. بدینمنظور اطلاعات اوراق امتحانی ۶۰۰ دانشآموز رشتهی تجربی در دروس ادبیات فارسی و زیستشناسی خرداد ماه ۹۰ استخراج گردید. این اطلاعات در فرمهای محقق ساخته ثبت و سپس در نرم افزار spss وارد شدند.
برای آمادهسازی دادهها جهت انجام تحلیل کلاسیک، میانگین نمراتی که ارزیابان مختلف به هر سوال داده بودند، محاسبه و جایگزین نمرهی فرد در هر سوال شد. همچنین، برای آمادهسازی دادهها جهت انجام تحلیل IRT، مراحل زیر صورت گرفت؛
ابتدا دادهها بر اساس قرارداد زیر به ۰ و ۱ تبدیل شدند.
به پاسخ صحیح سوال، ۱ و به پاسخ غلط، ۰ تعلق گرفت.
برای سوالی که بارم یا ریز بارم آن ۵/ ۰ بود، نمرهی ۲۵/۰ و بالاتر به یک تبدیل شد.
برای سوالی که بارم یا ریز بارم آن ۷۵/۰ بود، نمرهی ۵/۰ و بالاتر از آن به یک تبدیل شد.
برای سوالی که بارم یا ریز بارم آن ۱ بود، نمرهی ۵/۰ و بالاتر از آن به یک تبدیل شد.

مطلب مشابه :  منابع پایان نامه دربارهروانسنجی، ادبیات فارسی، استاندارد، آموزش و پرورش
دسته بندی : No category

دیدگاهتان را بنویسید