Кроме того, условность результатов опытно-экспери-ментальной работы в педагогических исследованиях вызы-вается еще и тем, что как бы ни выравнивались начальные условия в контрольных и экспериментальных группах учащихся, как бы ни подбирался «одинаковый» состав педа- гогов, учащихся, допустим, в эксперименте, педагогиче- ский процесс все равно будет иметь личностную обуслов-ленность. Учитель или сам исследователь, преподающий в контрольном и экспериментальном классе, как бы ни стре-мился быть объективным, все равно будет иметь внутрен- ние, часто неосознаваемые симпатии или антипатии как к тому или иному методу обучения, так и к тому или иному ученическому классу. Ведь каждый школьный класс имеет свое неповторимое индивидуальное «лицо» — все, кто рабо-тал в школе, в каком-либо другом учебном заведении, это хорошо знают. Поэтому для получения действительно достоверных результатов исследования, строго говоря, необходи- мо привлечение огромных контингентов учащихся и педагогов. А возможности исследователя, как правило, ограничены.
Поэтому надо быть предельно осторожным в интерпре-тации полученных результатов. Когда автор одной диссер-тации, проведя эксперимент по одному разделу курса фи- зики, допустим, в X классе, утверждает, что за счет этого повысилась эффективность формирования у учащихся на-учного мировоззрения, или, в другом случае, после изуче- ния всего трех тем специального предмета у учащихся ПТУ было сформировано умение самостоятельно определять стратегические цели своей трудовой деятельности — такие утверждения вызывают, по меньшей мере, недоумение. И уж совсем нелепым выглядит утверждение, которое встре- тил автор в одной диссертации о том, что после проведения эксперимента уровень общей культуры студентов повы- сился на 17% (?!).
О применении статистических методов обработки результатов исследования. В большинстве педагогиче- ских исследований, как правило, применение методов ма-тематической статистики бывает вызвано необходимостью установления достоверности различий между результата- ми обучения, каких-то воспитательных воздействий в контрольных и экспериментальных группах, классах и т.п. До последнего времени для применения статистических кри-териев исследователю необходимо было подробно изучить пособия по математической статистике, использовать сложные формулы, подставлять в них полученные массивы данных и выполнять длительные трудные вычисления. В последние годы появились специфические компьютерные программы, которые значительно, в десятки раз сократили объем этой работы. Достаточно ввести в компьютер мас- сивы чисел, и он сам автоматически выдаст результат. По-этому мы здесь приведем лишь следующий «рецепт» с уче- том данной выше информации о шкалах измерений:
1. Если использована шкала отношений или интервалов, если применяются точно и объективно измеряемые оценки, то для проверки статистической достоверности дифференци-ации (разности) двух средних показателей (среднее значение по одной и по другой группе) применяются t-критерий Стьюдента или F-критерий Фишера. При этом необходимо убе-диться в том, что распределение близко к нормальному (распределению Гаусса). В этом можно убедиться, сопоставив значения среднего, моды и медианы. Если среднее, мода и медиана* приблизительно совпадают, то распределение мож-но считать нормальным и можно применять t- или F-критерии.
2. Если при использовании шкалы отношений, данные выборок распределены не по нормальному, а какому-либо иному закону распределения, или в тех случаях, когда нет уверенности в распределении данных по нормальному за- кону, применяется менее чувствительный метод c2 (хи-квадрат метод).
3. Если была использована шкала порядка, то, строго говоря, могут быть использованы только непараметриче- ские критерии: критерий знаков, критерий Уилкоксона—Мана—Уитни, Колмогорова—Смирнова и другие. Но по сравнению с F-, t-критериями, методом c2 эти критерии очень малочувствительны, для установления достоверности различий по ним необходимы большие объемы выборок.
Соответствующие формулы и таблицы для оценки до-стоверности различий достаточно просты. Они приводятся во всех пособиях по математической статистике (см., на-пример, [121]. Там же, также достаточно просто сформу-лированы правила, формулы вычисления среднего, моды и медианы распределения, дисперсии, о нем говорилось выше. Более того, сейчас широко распространены компь-ютерные программы — «статистика» и др., — которые вы-полняют эти вычисления автоматически — в них надо лишь подбавить имеющиеся экспериментальные данные. Обычно в педагогических исследованиях принимается до-статочным 95% уровень достоверности различий.
О векторных («многопараметрических») оценках. Нередко встречаются случаи, когда какое-либо изучаемое явление, процесс характеризуется несколькими независи-мыми величинами — параметрами, показателями. В таких случаях часто возникает вопрос о возможности однознач- ной оценки этого явления, процесса или изучаемых их свойств одной величиной — «комплексной» оценкой или, в математическом смысле, некоторым вектором, составны- ми компонентами которого будут входить все отдельные параметры. Так, во многих спортивных состязаниях побе-дитель выявляется по сумме очков, баллов, набранных на отдельных этапах состязания или в отдельных играх. Или же другой пример из образовательной практики — когда категория учебного заведения для установления заработ- ной платы его руководителей по Единой тарифной сетке устанавливается по сумме баллов, которые выставляются отдельно: по числу учащихся, числу учителей, наличию спортивных сооружений, мастерских и т.д.
На практике такие векторные оценки встречаются доволь-но часто и, очевидно, без них не обойтись, хотя способы их определения нередко и вызывают множество недоуменных вопросов. Но в любом случае такие векторные оценки, при-меняемые в повседневной жизни, являются либо результатом определенных общественных соглашений, которые призна-ются всеми участниками, либо установлены каким-либо нормативным актом определенного директивного органа — правительства, министерства, ведомства и т.д. — и в силу этого также признаются всеми заинтересованными лицами.
Другое дело — применение таких «многопараметриче-ских», векторных оценок в научном исследовании. Здесь сразу на первое место встает вопрос о научной, в том числе математической строгости применяемой оценки. В частно- сти, не вызывает сомнений возможность использования та- кой векторной оценки, как суммарные затраты времени на выполнение школьниками отдельных заданий, или суммар- ное количество ошибок, допущенных учащимися при вы-полнении отдельных, относительно однородных заданий. Здесь суммируются однородные величины, заданные шка-лами отношений. Но как только начинают суммироваться «баллы», вставляемые разным учащимся или одному и тому же учащемуся за выполнение, допустим, разных за-даний, — исследование сразу выходит за рамки научной строгости. Как уже говорилось, операция суммы для шка- лы рангов не определяется. Если 5 + 2 = 4 + 3, то «5» и «2» балла — это не одно и то же, что «4» и «3» балла!
Между тем суммирование баллов довольно часто встречается в диссертациях по педагогике. Так, в одной работе диссертант для оценки деятельности учителей использовал большое количество показателей, оцениваемых по пяти-балльной шкале:
— структура знаний учителя (общенаучные, специальные);
— педагогические умения (проективные, конструктивные, организаторские, коммуникативные, гностические);
— нравственно-психологическая направленность педаго-га (внимательность к людям, справедливость, гуманизм, ув-леченность делом, ответственность, самоорганизованность);
— общая одаренность (качества ума, качества речи, ка-чества воли, характера, эмоциональные и другие качества личности);
— и так далее.
Общая же оценка учителю в этой работе давалась по сумме набранных баллов. Но в данном случае диссертант должен был бы задаться большой серией вопросов. Во-первых, любой учи-тель — личность, он осуществляет сложнейшую деятель- ность — насколько правомерно оценивать его однозначно каким-то числом баллов и утверждать, что учитель Иванов, допустим, хуже учителя Петрова на 5 баллов?! Во-вторых, насколько выделенные качества равнозначны, что, к примеру, специальные знания «стоят» сколько же, сколько гуманизм?! И так далее, эту череду недоуменных вопросов можно было бы продолжать долго. И если бы диссертант над ними задумался, вряд ли бы он так легко вводил подобные «оценки».
В педагогических диссертациях, к сожалению, встреча-ются и другие, самые разнообразные неудачные попытки введения векторных оценок, вплоть до полных курьезов. Так, в одной публикации для оценки эффективности деловой игры была использована следующая «формула»:
Р = 50 – К – (В – 40),
где Р — «комплексная» оценка в баллах, 50 — максимально возможное количество баллов, К — количество замеча- ний, сделанных ведущим, В — время в минутах. Как видим, здесь уж, что называется, «смешались в кучу кони, люди...». Под знак суммы (разности) поставлены совершенно раз-нородные величины: баллы, количество замечаний, время, безразмерные числа.
В некоторое оправдание подобным неверным построениям оценок следует отметить, что проблема векторных оценок для разнородных величин в теории разработана пока слабо.* Но в любом случае, исследователь должен быть предельно вни-мательным и осторожным в построении векторных оценок. Кстати, нередко можно обойтись и без них. Допустим, по-лучены количественные результаты по отдельным показа-телям (параметрам), можно ограничиться их качественной интерпретацией, не «загоняя их под общий знаменатель». И пусть по каким-то показателям результаты эксперимен-тальных групп будут лучше контрольных, а по каким-то хуже — от этого исследование только обогатится, станет достовернее. А если все же используется какая-либо век-торная оценка — то операции проводятся только с одно-родными величинами и только в шкалах отношений, ин-тервалов.