Методические рекомендации по организации и проведению внешнего контроля (государственной и общественной аккредитации) (стр. 26 из 31)

Рисунок 5. Кривая нормального распределения с параметрами 50 и 17 на стобалльной шкале стандартизированных тестовых баллов.

Если установлена нижняя граница оценки «отлично» в точке 70 баллов на этой шкале, то оценку «отлично» получают не 30, а лишь 11 процентов участников тестирования.

В целом по стране 50

17 баллов (или от 33 до 67) получают около 68% сдававших. Именно они и есть то «большинство», о котором говорилось[28].

Чем больше средний балл по ОУ отличается в ту или иную сторону от «федерального» (приблизительно равного 50) или «регионального», тем выше (ниже) качество обучения в ОУ на фоне страны и региона. Чем выше стандартное отклонение - показатель разброса результатов - тем больше разница между «сильными» и «слабыми» выпускниками.

Возможности и ограничения использования данных показателей

При интерпретации результатов необходимо учитывать характер экзамена (обязательный или по выбору), поскольку это влияет на характер выборки. Близкими к генеральной совокупности выпускников в настоящее время являются выборки школьников, сдававших русский язык и математику. Если в регионе данные экзамены обязательны, то результаты образовательных учреждений можно сравнивать с общерегиональными, понимая, что погрешность в данном случае незначительна. Если они являлись экзаменами по выбору – сравнение недостаточно корректно.

Таким образом, для обязательных экзаменов информация о среднем тестовом балле / распределении учащихся по интервалам шкалы результатов независимого оценивания позволяет проводить как внутри, так и межуровневое сравнение качества подготовки по отдельным предметам на школьном, муниципальном, региональном, федеральном уровне системы образования в данном учебном году.

Для экзаменов по выбору сравнение качества образования на различных уровнях системы (школьном, муниципальном, региональном, федеральном) невозможно в связи с нерепрезентативностью выборок.

Кроме этого, существует следующее ограничение на использование интегральных показателей качества образования по результатам ЕГЭ: в отличие от результатов независимого оценивания выпускников 9-х классов результаты ЕГЭ нельзя использовать для оценки динамики качества подготовки, т.к. шкалирование (нормирование) осуществляется на выборке выпускников данного года. Для сравнимости результатов необходимо решить вопрос о переходе от псевдометрической шкалы, например, к ранговой. В этом случае сравнение результатов разных лет возможно при условии дополнительного исследования по определению фактического соответствия шкал. Сегодня результаты ЕГЭ представляют не абсолютные показатели качества обученности, а относительные. По ним можно судить о месте, которое занимает оцениваемый субъект в ряду себе подобных: на фоне общего роста (падения) уровня качества оно может оставаться неизменным.

Тесты для выпускников 9-х классов, являются критериально ориентированным, что дает возможность сравнения уровня подготовленности в динамике при условии обеспечения одинаковых критериев оценки в разные годы, а также равной трудности и сложности вариантов и заданий. Поскольку КИМы в условиях эксперимента постоянно корректируются, их содержание и сложность от года к году изменяются для обязательных экзаменов в качестве паллиатива в настоящее время можно отслеживать отношение средних результатов по РФ (региону, муниципальному образованию) к среднему результату в образовательном учреждении. Данные показатели интересны в долгосрочной динамике.

В. Показатели, характеризующие достижение минимальных требований к качеству образования

1. Показатели освоения дидактических единиц, предусмотренных требованиями ГОС по предмету: доля учащихся верно / не верно выполнивших и не приступивших к выполнению задания, проверяющего освоение данного элемента содержания (дидактической единицы) на базовом уровне (для большинства предметов за исключением языков).

При определении данных показателей на основе результатов ЕГЭ необходимо обратить внимание, что по большинству предметов задания базового уровня включены в часть А, однако к ним относится также несколько заданий части В. В то же время в части А есть задания повышенного уровня. Распределение заданий по уровню сложности приведено в спецификации экзаменационной работы.

Возможно определение наиболее и наименее трудных для освоения дидактических единиц, типичных ошибок, и далее, корректировка содержания, методов и форм организации обучения. Кроме «поэлементного» полезно проводить «укрупненный» анализ по блокам содержания, включающим несколько дидактических единиц.

2. Средняя решаемость заданий базового уровня по предмету: средний процент выполнения заданий базового уровня

Определение показателя проводится на основе предварительно рассчитанных показателей освоения дидактических единиц, предусмотренных требованиями ГОС по предмету (см. предыдущий показатель), по отношению к которым он выступает как более обобщенный.

Г. Показатели, характеризующие уровень освоения содержания изучаемых предметов

Для 11 класса

1. Показатели, характеризующие выполнение заданий, дифференцированных по уровню сложности (базовый, повышенный, высокий уровень сложности заданий) и / или видам познавательной деятельности (воспроизведение знаний, применение знаний и умений в знакомой, измененной и новой ситуации):

- среднее число баллов за выполнение заданий соответствующей группы (абсолютные показатели);

- доля правильно выполненных заданий и / или доля баллов, набранных при выполнении заданий соответствующей группы, от максимально возможного балла (относительные показатели).

2. Показатели, характеризующие освоение каждой из проверяемых дидактических единиц при выполнении заданий повышенного и высокого уровня сложности и / или заданий, требующих применения знаний и умений в измененной и новой ситуации: доля учащихся, справившихся с заданием и / или доля баллов, набранных учащимися при выполнении задания, от максимально возможного балла.

3. Показатели качества профильной / углубленной подготовки:

- число выпускников, набравших более 90-95 балов по профильному предмету / предмету углубленного изучения;

- число приступивших к выполнению заданий группы С;

- средний балл за часть С.

Показатели первой группы имеют более обобщенный характер, свидетельствуют о качестве подготовленности по предмету в целом. Для оценки качества профильной / углубленной подготовки по предмету интересны такие показатели как средний балл за часть С и число приступивших к выполнению данных заданий, а также число выпускников, набравших более 90-95 балов (третья группа показателей). Показатели второй группы дают детальную характеристику качества освоения предмета по отдельным дидактическим единицам. Для их получения необходимо проводить позадачный и тематический анализ решаемости КИМов. При интерпретации необходимо учитывать, что уровень трудности заданий, исходно заложенный в КИМах, а, следовательно, и процент их верного выполнения различается не только по группам, но и внутри групп. Существуют предполагаемые (расчетные) и реальные показатели трудности. Предполагаемые показатели трудности рассчитываются на основании статистики решаемости задания на протяжении нескольких предшествующих лет. Реальные показатели рассчитываются на основе данных текущего года. [29] Они изменяются в зависимости от ряда факторов, в частности, от той методической работы, которая проводится в школе под влиянием содержания экзамена. Поэтому реальное распределение заданий по уровням всегда несколько отклоняется от планируемого: некоторые типы заданий, по результатам прошлых лет отнесенные к трудным, для данной категории школьников переходят в разряд средних и т.д. Таким образом, анализ качества освоения содержания изучаемых предметов должен включать в себя сравнение расчетных показателей трудности заданий и реально полученных оцениваемым субъектом индивидуальным (выпускник) или коллективным (класс, ОУ, совокупность ОУ муниципалитета, региона). Такое сравнение позволяет оценить влияние на результаты данного года и их динамику различных факторов: изменения методики обучения, его содержания и организации, кадрового состава, состава учеников и т.д., что особенно значимо для процедуры общественной аккредитации. Вторым направлением анализа является сравнение результатов оцениваемого субъекта с результатами субъектов того же или вышележащего уровня системы образования. Как и для многих других показателей, сравнение имеет смысл для близких по характеристикам образовательных учреждений.

При этом результаты независимого оценивания могут служить одним из наиболее значимых оснований для изменения статуса ОУ.

Рассмотрим пример кластеризации по виду общеобразовательного учреждения и предъявляемым в связи с ним требованиям к качеству обучения.

Статус школы (гимназия, лицей, ОУ с углубленным изучением предметов, средняя общеобразовательная школа), наличие профильного обучения в ней определяют характеристики «входа», процесса и условий обучения. В настоящее время на основе Закона Российской Федерации «Об образовании» и Типового положения об общеобразовательном учреждении, утвержденного Постановлением Правительства Российской Федерации от 19 марта 2001 г. № 196. большинством регионов разработаны требования, предъявляемые к общеобразовательным учреждениям, и критерии, применяемые при установлении их видов в ходе проведения государственной аккредитации.[30]