در کل واریانس خطای نسبی کمتر از واریانس خطای مطلق است زیرا شامل مؤلفه­ های واریانس کمتری است. این نشان می­دهد که تفسیر­های نسبی ‌در مورد نمرات افراد نسبت به تفسیرهای مطلق کمتر مستعد خطا هستند. در شکل زیر، تفاوت میان خطای مطلق و خطای نسبی طرح P×I نشان داده شده است. قسمت­ های هاشور خورده، سهم واریانس خطا تحت سطوح مختلف است.

خطای مطلق خطای نسبی

نمودار ۲-۴: سهم واریانس خطای نسبی و مطلق در طرح یک رویه ­ای متقاطع

واریانس خطا برای این طرح در صورتی که تصمیم نسبی باشد :

همچنین، واریانس خطا برای تصمیم­های مطلق به صورت زیر تعریف می­ شود:

اگر رویه موجود در طرح، رویه سوال باشد؛ تعداد سوالات تعریف شده در مطالعه D است (برنان، a 2010؛ وب و شیولسون، ۲۰۰۵؛ فن و سان، ۲۰۱۳).

انواع ضرایب

هنگامی که ‌در مورد مفهوم­سازی خطا (نسبی در مقابل مطلق) تصمیم گرفته شد، سطوح اندازه ­گیری مختلفی در سنجش اعتبار به کار می­رود. ضریب اعتبار و محاسبه آن بستگی به مفهوم­سازی خطای از پیش تعیین شده به عنوان مطلق یا نسبی دارد. به بیان دیگر، GT میان دو نوع ضریب اعتبار تمایز می­ گذارد:

اولین، ضریب تعمیم­پذیری (ضریب G) است و زمانی به کار می­رود که تصمیم­ها نسبی هستند. این ضریب، همه منابع خطایی که جایگاه نسبی افراد را تحت تأثیر قرار می­دهد (تعاملات هر رویه با هدف اندازه ­گیری) را در بر ‌می‌گیرد. ضریب G را با علائم یا نمایش می­ دهند و فرمول آن به صورت زیر ‌می‌باشد:

دومین، شاخص اتکاپذیری () است و برای تصمیم­های مطلق به کار می­رود. این شاخص، همه مؤلفه­ های واریانس به غیر از هدف اندازه ­گیری را در بر ‌می‌گیرد و به صورت زیر فرمول­بندی می­ شود:

تفاوت ضریب تعمیم پذیری و شاخص اتکاپذیری در این است که اولی شامل واریانس خطای نسبی و دومی شامل واریانس خطای مطلق است. ‌بنابرین‏ شاخص اتکاپذیری عموماً کمتر از ضریب تعمیم­پذیری است(همان منبع).

در قسمت زیر، به نظریه پرسش – پاسخ(IRT)، به همراه مفروضات، مفاهیم اساسی و مدل­های آن اشاره می­ شود. مطالب آن از منابع جزوه کلاسی فلسفی نژاد (۱۳۹۱)؛ همبلتون و همکاران (ترجمه­ی فلسفی­نژاد، ۱۳۸۹)؛ امبرتسون و رایس (ترجمه­ی شریفی و همکاران، ۱۳۸۸)؛ ستاری (۱۳۸۲) و بیکر (ترجمه­ی هومن و عسگری، ۱۳۸۱) گرفته شده است.

نظریه پرسش – پاسخ(IRT)

نارسایی­های نظریه کلاسیک موجب شد از سال ۱۹۸۰ به بعد به طور چشمگیری از نظریه پرسش – پاسخ (IRT) استفاده شود. به­ طوری که این نظریه به سرعت به صورت خطوط فکری پایه­ های نظری اندازه ­گیری درآمده است. نظریه پرسش – پاسخ چارچوب مفیدی را برای حل مسائل متنوع و گسترده اندازه ­گیری فراهم ‌می‌آورد. نظریه پرسش – پاسخ که به عنوان نظریه صفت مکنون نیز معروف است، اندازه ­گیری مبتنی بر مدل است که بر اساس آن سطح توانایی آزمودنی از روی پاسخ­های او به سوالات آزمون برآورد می­ شود. این نظریه مجموعه ­ای از مدل­های ریاضی و آماری است که برای تبیین رابطه تابعی میان صفت زیربنایی مورد سنجش که غالباً توانایی^[۸۶] است و احتمال پاسخ صحیح به سوال به کار می رود. این نظریه توانسته است برای طراحی و تحلیل آزمون­های روانی و تربیتی مفید واقع شود و مواردی از قبیل سنجش انطباقی^[۸۷]، کنش افتراقی سوال^[۸۸]، همترازسازی^[۸۹] نمرات آزمون­ها و ایجاد بانک سوال از کاربردهای با ارزش این نظریه محسوب می­شوند.

مفروضات نظریه پرسش – پاسخ

از آنجا که نظریه پرسش – پاسخ مبتنی بر مدل است، ‌بنابرین‏ پیش فرض­های مدل باید برقرار باشد تا بتوان از آن استفاده کرد. اگر پیش­فرض­ها برقرار نباشند،CTT بهتر از IRT است اما در صورت برقراری مفروضات، IRT ابزار قدرتمندی است که به نتایج معتبر و دقیق­تری منجر می­ شود که از نظریه کلاسیک با مفروضات ضعیف بر نمی­آید. در اینجا به دو مفروضه زیربنایی این نظریه اشاره می­ شود.

تک بعدی بودن^[۹۰]

تک بعدی بودن یک آزمون اشاره دارد به اینکه سوالات آزمون فقط یک توانایی را اندازه بگیرد. هر چند این مفروضه نمی­تواند به طور کامل رعایت شود و آزمونی ساخته شود که صد در صد خالص باشد و فقط یک ویژگی را بسنجد، زیرا عواملی همچون؛ دانش فهم سوال، پیدا کردن سرنخ ها، انگیزش، اضطراب و خستگی آزمودنی عملکرد آزمودنی را متأثر می­سازد. با این وصف آنچه در این میان اهمیت دارد، این است که هر آزمون یک توانایی غالب را بسنجد. برای آزمودن تک بعدی بودن یک آزمون از تحلیل عاملی استفاده می­ شود.

استقلال موضعی^[۹۱]

معنی استقلال موضعی آن است که با ثابت نگه داشتن توانایی­هایی که عملکرد در آزمون را تحت­تاثیر

قرار می­ دهند، پاسخ­های آزمودنی­ها به هر زوجی از سوالات به لحاظ آماری ناهمبسته­اند. به طور ساده این بدان معنی است که توانایی‌های مشخص شده در مدل، تنها عواملی هستند که عملکرد آزمودنی در تست را تحت­تأثیر قرار می­دهد. این مجموعه توانایی­ ها، فضای مکنون کامل^[۹۲] را معرفی ‌می‌کنند. وقتی مفروضه تک بعدی بودن برقرار است فضای مکنون کامل، تنها عبارت از یک توانایی است. طبق این مفروضه، عملکرد فرد در یک سوال نباید تحت­تأثیر عملکرد فرد در سوالات دیگر باشد. هر تک بعدی بودن، بیانگر استقلال موضعی است ولی عکس آن صادق نیست. با این وصف، استقلال موضعی می ­تواند ‌در مورد داده ­های چند بعدی نیز به کار رود. در شرایطی که فضای مکنون کامل (تک بعدی یا چند بعدی) معین باشد، استقلال موضعی می ­تواند برقرار باشد.

معرفی مفاهیم اساسی در نظریه پرسش – پاسخ

خم ویژه سوال^[۹۳] (ICC)

برای هر سطح از توانایی، با بهره گرفتن از معادلات ریاضی می توان احتمال پاسخ صحیح به سوال (احتمال موفقیت) را محاسبه کرد که آن را با نماد نشان می‌دهند. خم ویژه سوال که مبنای زیر­بنایی نظریه پرسش – پاسخ است، منحنی Sشکلی است که در یک پیوستار عمودی و افقی، رابطه ی تابعی احتمال موفقیت در سوال () و تواناییرا به تصویر می­کشد. هر یک از سوالات آزمون، دارای یک خم ویژه سوال است. ناگفته نماند که هر آزمون نیز دارای یک خم ویژه آزمون^[۹۴] است که به آن (TCC) گفته می­ شود. بنا به مدل به کار رفته، خم ویژه سوال دارای ویژگی­هایی است که برای توصیف آن به کار می­رود. این ویژگی­ها در قالب پارامترهای سوال و پارامترآزمودنی شرح داده می­ شود.

پارامتر­های سوال