К вопросу о компьютерных программах учебного контроля знаний (стр. 3 из 5)
Ш1/Ш2= s1 / s2.
Для сравнения знаний двух испытуемых им нужно выполнить одни и те же наборы, содержащие упражнения одинаковой трудности (т.е. полученных выборками из одной однородной генеральной совокупности). Далее сравнить шансы двух учащихся, т.е. вычислить отношение Ш1/Ш2. Тогда станет известным искомое отношение знаний s1 / s2
Отсюда следует первый важный вывод: при выполнении заданий одинаковой трудности отношение шансов зависит только от отношения знаний, но не зависит от абсолютного значения трудностей выполняемых заданий. Следовательно, сравнивать знания двух испытуемых можно, предложив им упражнения одинаковой трудности, причем абсолютная трудность не имеет значения: лишь бы задания имели одинаковую трудность. Подчеркну, что генеральные совокупности, из которых делаются выборки, должны быть однородными, хотя сами по себе совокупности могут различаться по трудности.
Итак, последнее отношение отвечает различию в уровне знаний, которое оценивается путем сравнения вероятностей при предъявлении двух одинаковых серий равнотрудных заданий (теста) каждому испытуемому. Попарным сопоставлением можно сравнивать знания нескольких (всех) участников теста, т.е. выполнить ранжирование в группе. Это первый вывод.
Из того же отношения шансов Ш1/Ш2=P1 Q2/P2 Q1=s1 t2 / s2 t1 следует второй важный вывод. Если знания двух испытуемых одинаковы, т.е. s1 = s2, то отношение шансов Ш1/Ш2= t2/ t1, т.е. обратно пропорционально трудностям этих заданий. Значит, чтобы сравнить между собой два задания по трудности нужно предложить выполнить их о дному и тому же лицу (или двум лицам с одинаковыми знаниями). Таким образом, получен рецепт сравнения знаний по трудности. Она одинакова, если отношение шансов для одного испытуемого равно единице. И их отношение равно отношению шансов, найденных из описанного выше мысленного статистического эксперимента.
Однако практические следствия полученных выводов не столь значительны, как это представляется с первого взгляда. Если стоит задача сравнить знания двух учащихся или трудности двух заданий, то нужно знать отношение шансов. А их можно определить только после описанного выше мысленного эксперимента, связанного с вычислением вероятностей успеха или неуспеха. Такие эксперименты должны проводиться с наборами упражнений одинаковой трудности, т.е. требуется предварительный отбор упражнений с одинаковой трудностью или составление однородных (равнотрудных) генеральных совокупностей. Получается нечто вроде замкнутого круга. Это во многом обесценивает важность полученных выводов. Тем не менее, они остаются значимыми, а вместе с тем имеется некоторая практическая ценность модели Раша. Это станет ясным из следующих рассуждений.
Обсудим второй вывод более подробно. Будем считать, что генеральные совокупности, из которых производятся выборки, однородны, т.е. содержат задания одинаковых трудностей. Полученные результаты показывают, что модель Раша может быть использована для сравнения этих трудностей.
Предположим, есть две однородные выборки трудностей tА и tВ. Подвергнем испытаниям на этих выборках одного испытуемого, в результате которого получит шансы ША=РА/QА, и ШВ=РВ/QВ, где частоты отождествлены с вероятностями, т.е. отношениями числа успехов и неуспехов к полному числу выполненных упражнений в каждой выборке. Теперь вычислим отношение ША/ШВ = tВ /tА, поскольку знания одного и того же испытуемого одинаковы (т.е. sА = sВ). Выполнив такой эксперимент со многими испытуемыми или многими выборками из двух генеральных совокупностей, получим ряд значений отношения tВ /tА. Поскольку каждый испытуемый выполняет один и тот же набор одинаковых по трудности упражнений, это отношение должно быть близким к единице, и различия от одного испытуемого к другому могут объясняться случайными ошибками или неоднородностью генеральных совокупностей. Иначе говоря, разброс величин объективно характеризует однородность двух выборок по трудности. Более того, если испытуемых достаточно много, то можно вычислить статистические характеристики неоднородности отношений в выборках по трудности: среднеквадратическое отклонение и даже (при большом числе испытаний) распределение вероятностей. Замечу, что «равнотрудность» упражнений в работе Ю.М.Неймана специально не оговаривается, вследствие чего может быть неправильно понят сделанный там вывод «Она (имеется в виду модель Раша) позволяет объективно измерять соотношения между испытуемым и тестовыми заданиями произвольных уровней трудности» (с. 45 работы [Королев М.Ф., Пашков В.А., 1991]).
Повторюсь: можно для оценки однородности генеральной совокупности провести эксперимент с одним испытуемым, но многими выборками из одной и той же генеральной совокупности. Поскольку знания одинаковы, то отличие отношения трудностей от единицы, характеризует неоднородность совокупности. И здесь можно вычислить различные статистические характеристики неоднородности.
Это важный результат . Если упражнения взяты из одной и той же почти однородной по трудности генеральной совокупности, то получен инструмент, позволяющий устанавливать, насколько эта совокупность действительно однородна. Тем не менее, выполнять отбор однородности с помощью модели Раша трудно, поскольку подсчет шансов требует проведения довольно громоздких статистических испытаний, которые трудно (если не сказать невозможно) провести в сходных условиях. Для выбраковки (чистки) наборов упражнений с целью придания им однородности, следует использовать рассмотренные выше методы традиционного подхода. Еще раз: нельзя с определенностью утверждать, что эксперименты обладают статистической устойчивостью. Впрочем, этим грешат практически все психолого-педагогические эксперименты.
Если стоит задача сравнения шансов участников некоторой группы испытуемых, то модель Раша должна давать одинаковый результат для испытаний независимо от того, какой трудности задания им предъявляются, лишь бы каждый раз они были выборками из однородных по трудности генеральных совокупностей. Иначе говоря, он должен быть одинаков как для упражнений одной трудности, так и любой другой. Но каждый раз всем участникам следует предъявлять задания одинаковых трудностей. Это следует из того, что в сравнительные данные шансов испытуемых трудность не входит.
Практика и интуиция преподавателей подсказывает, что если предложить двум учащимся одинаковое число упражнений вначале простых (легких), а затем трудных, то отношение шансов выполнить их не будет одинаковым : знающий во втором случае покажет лучший результат, чем мало знающий. Однако модель Раша говорит об обратном. Видимо, она дает «разумный» результат, если трудности упражнений, равно как и знаний учащихся различаются не очень сильно. Получен несколько парадоксальный вывод, поскольку почти очевидно (и это показывает практика), что результат сравнения не может не зависеть от того, наборы трудных или легких заданий предлагаются для выполнения. Но это вывод есть следствие самой модели Раша.
Формула шансов означает измерение в шкале отношений . Удобно преобразовать переменные так чтобы перейти к интервальной шкале.
Это делается заменой отношений их логарифмами, причем предпочтительно натуральными. Тогда отношения преобразуются в разность, т.е. ln s/t = lns – ln t.
Вводится в рассмотрение единица измерений на этой шкале. Пусть отношение s/t=e (основанию натуральных логарифмов). Тогда разность lns – ln t= ln s/t= ln e=1. Такая единица называется логитом. При отношении двух величин, равном е, их различие составит 1 логит. Таким образом, получается шкала, в которой можно говорить, что знания двух испытуемых или трудности двух упражнений различаются на столько-то логит (а не во столько-то раз).
Для рассматриваемого случая модели Раша переход к новой интервальной шкале производится введением новых переменных формулами:
= ln s, 
=ln t или s=exp( ), t=exp( ). Далее все приведенные выше формулы шансов могут быть записаны в переменных и (как это и сделано в статье [Нейман Ю.М., 2001] и в работе [Аванесов В.С., 1989]), но ни к каким новым выводам это не приведет.Поскольку модель Раша направлена на попарное сравнение шансов, удобно ввести сравнение всех с некоторым гипотетическим «эталонным» проверяемым. В качестве такового целесообразно выбрать того, у которого шанс равен 0,5, т.е. вероятность успеха равна половине. Действительно, нелогично сравнивать всех с теми, у кого шансы очень велики и малы. По сравнению с этим проверяемым
Ш/Шэт=(t/s):0,5=2 (t/s).
В соотношении Ш=P/Q=P/(1-P)=s/t введем новую переменную
=s/t.Тогда
P(s,t)=s/(s+t)=
/(1+ ).Это зависимость вероятности выполнения заданий испытуемым от отношения знаний к трудности
=s/t. Она показана на рис. 1. Сравнение производится с испытуемым, для которого Р=0,5 или =1 т.е. когда уровень его знаний равен трудности s=t.