После выдачи экзаменационного материала и окончания инструктажа организатор в аудитории отмечает время начала Единого государственного экзамена.
При проведении ЕГЭ выпускники, пришедшие на экзамен, обязаны выполнять указания организаторов. Запрещаются разговоры, вставания с мест, пересаживания без разрешения организаторов, обмен тестами и бланками ответов. Категорически запрещено пользование мобильными телефонами или иными средствами связи. При нарушении этих требований организаторы вправе удалить нарушителя с экзамена.
В ходе экзамена паспорт (удостоверение личности) должен находиться в раскрытом виде перед выпускником рядом с бланками ответов. Организаторы в аудитории, проходя по рядам, проверяют соответствие данных в удостоверении личности с аналогичными данными в бланке регистрации.
Выполнив задания, каждый выпускник должен сдать все бланки ответов, тесты и черновики.
При сдаче бланков учащиеся предъявляют организаторам свой пропуск, на котором делается отметка о прохождении экзамена (ставится печать образовательного учреждения или штамп «Бланки ЕГЭ сданы»). Организатор в аудитории должен поставить в специальные поля пропуска спою подпись, если учащийся не сдал на проверку какой-либо бланк.
ЕГЭ в различных системах оценивания. Шкала оценки результатов ЕГЭ
Все варианты Единого экзамена состоят из двух частей: базовой и конкурсной. Более трудные задания (например, почти все задания типа «С») собраны во второй части. Для получения «тройки» достаточно успешно выполнить только первую часть. При этом достаточно примерно 60% решенных заданий из первой части.
Результаты сдачи ЕГЭ учащимися оцениваются баллами (по стобалльной системе) и отметками (по пятибалльной системе).
Проблема шкалирования является одной из центральных в системе методического обеспечения ЕГЭ.
В 2001-2003 гг. результаты ЕГЭ обрабатывались в соответствии с моделью шкалирования, разработанной в Центре тестирования Минобразования России (ЦТМО) — организации, ответственной за технологию проведения ЕГЭ (Нейман, 2002). В едином методическом центре в Москве из регионов собираются все протоколы экзамена по каждому предмету и для каждого протокола (ответов одного учащегося) подсчитываются так называемые «первичные» (или «сырые») баллы ЕГЭ.
После подсчета первичных баллов производится пересчет в стандартизированные, так называемые «тестовые баллы», которые измеряются по 100-балльной шкале. При этом применяется однопараметрическая модель Раша в модификации Ю.М. Неймана, которая позволяет сохранить монотонность преобразования первичных баллов в стандартизированные, несмотря на взвешивание эмпирической трудности заданий. Такая калибровка дает эффект нормализации распределения баллов.
Для стобалльной шкалы тестовых баллов предметная комиссия Минобразования разрабатывает рекомендации по переводу в пятибалльные отметки. Наиболее ценным следствием этого подхода для практиков явился тот факт, что определенным отрезкам шкалы тестовых баллов фактически поставлены в соответствие определенные вероятности эмпирической встречаемости учащихся с определенным уровнем подготовки. Это облегчает приемным комиссиям вузов планирование приема по результатам ЕГЭ. Вот как примерно выглядит соответствие между определенными точками на шкале тестовых баллов ЕГЭ и процентильными баллами (процентами от выборки испытуемых, выполнявших тест):
| Ниже 30 | Ниже 40 | Выше 50 | Выше 60 | Выше 70 |
| Менее 10% | Менее 25% | 50% | Менее 25% | Менее 10% |
Однако не все выглядит так просто, как это сформулировано в таблице. На самом деле особенности алгоритма шкалирования, применяемого Центром тестирования, таковы, что этот алгоритм дает в случае различных предметов определенные (хотя иногда и малозначительные) отклонения распределения тестовых баллов от того, что мы видим в таблице.
Было бы еще более разумным шагом не ограничиваться в свидетельствах о результатах ЕГЭ двумя числами (первичным и тестовым баллом), но указать и третье число – «рейтинг-балл», определяющий место, который занял данный экзаменующийся среди всех учащихся в России в текущем году.
Предложенный нами подход несомненно улучшил бы понимание результатов ЕГЭ самыми широкими категориями пользователей – от учащихся, родителей, школьных учителей до работников приемных комиссий вузов.
Возникает очевидное противоречие между выбранным подходом к шкалированию результатов ЕГЭ и требованиями теории на фоне явного непонимания подхода со стороны пользователей в силу его расхождения с массовыми представлениями о тестовых шкалах.
Структура и содержание контрольных измерительных материалов для проведения ЕГЭ
Основным рабочим инструментом единого экзамена являются контрольные измерительные материалы – тесты, содержащие достаточно большое число разнообразных заданий, предполагающих ответы на них в специфической (удобной для компьютерной обработки) форме. В структуре и содержании измерительных материалов должны быть заложены возможности при последующей проверке и обработке результатов ответить на следующие вопросы.
1. Уровень овладения выпускником учебным материалом, предусмотренным государственным образовательным стандартом. При этом контрольные измерительные материалы обязательно должны учитывать все компоненты проверки педагогической триады (ЗУН).
2. Уровень владения выпускником стандартным и творческим компонентами программы. Степень развития творческих способностей особенно интересует приемные комиссии вузов, и в основном этот пункт вызывает значительное число их претензий к единому экзамену.
3. Полнота контрольных измерительных материалов. Иными словами, они должны обеспечить полное, без пробелов «покрытие» образовательного стандарта.
4. Надежность контрольных измерительных материалов. Это значит, что измерительные материалы должны содержать несколько избыточный запас вопросов (задач, примеров и т.п.) для дублирования наиболее важных тем программы, чтобы случайные мелкие неудачи не могли принципиально повлиять на результат экзамена.
5. Дифференцирующая способность контрольных измерительных материалов. Они должны быть составлены так, чтобы обеспечить статистически значимую дифференциацию выпускников по уровню их подготовленности. Это значит, что на стадии проектирования измерительных материалов должны быть предусмотрены возможности получения (после статистической обработки) явно выраженных групп «слабо», «средне», «хорошо» и «очень хорошо» подготовленных выпускников.
Следовательно, простой обзор требований, предъявляемых к контрольным измерительным материалам, показывает, что это совершенно новый «продукт» в школьной практике. Составление качественных измерительных материалов под силу лишь высококвалифицированным научно-педагогическим коллективам, которые должны в совершенстве владеть основами тестологии, уметь учитывать психологические, физиологические, возрастные и прочие особенности школьников, хорошо представлять дальнейшую процедуру математической статистической обработки результатов
Объект измерения в едином государственном экзамене и его статистическая природа
Что мы хотим измерять в процессе единого экзамена? Тривиальный ответ на этот вопрос состоит в следующем: мы хотим измерить уровень образованности человека в различных предметных областях. Но «уровень образованности» — это не длина или ширина, для измерения которых существует эталонный метр. «Уровень образованности» проявляется в вероятности правильного ответа на конкретный вопрос теста.
Если нескольким испытуемым предложить одну и ту же группу контрольных вопросов (тест) в некоторой предметной области, то результат такого теста окажется следующим. Если тест репрезентативен, то число верных ответов будет больше у того испытуемого, чей уровень образованности в этой предметной области выше. В противном случае особого доверия к результату нет, он может быть следствием множества других факторов, влияющих на исход теста. На успех или неуспех каждого отдельного ответа влияют (кроме уровня образованности) еще множество других факторов: пробелы в знаниях именно по этому частному вопросу, сиюминутная забывчивость, состояние стресса на экзамене, плохое самочувствие в данный момент и т.д. и т.п. Именно поэтому мы говорим о вероятностной природе измеряемого объекта. Но при достаточно большом числе отдельных испытаний закономерность пробьет себе дорогу и проявится в заметном (статистически значимом) превосходстве одного испытуемого над другим.
Первичный и тестовый баллы
Итак, основным рабочим инструментом в процессе единого экзамена, измеряющим уровень подготовленности выпускников, являются тесты (контрольные измерительные материалы). Тесты различаются по вариантам, а задания внутри теста — по типам (способам указания ответов на вопросы задания) и по уровню трудности. Большая часть заданий теста проверяется автоматически. В результате такой проверки подсчитывается общее число баллов за выполненную работу. Это число называется первичным баллом. По величине первичных баллов уже можно составить простейший рейтинговый список учащихся школы, района, города и т.п. Но это еще не окончательная оценка (тестовый балл)!
Пересчет первичных баллов в тестовые необходим по следующим причинам.
Во-первых, первичная шкала нелинейна. Это означает следующее. Предположим, что максимально возможный первичный балл равен, например, 62. Учащийся А набрал 20 баллов, а учащийся В - 50. Чтобы учащемуся А улучшить свой результат на 10%, нужно набрать дополнительно 2 балла, а учащемуся В для достижения такого же прироста результата - 5 баллов. Причем учащемуся А достаточно всего лишь дополнительно решить пару легких задач, а учащийся В должен увеличивать число баллов за счет выполнения трудных заданий (ведь все легкие он уже решил). Это несправедливо! Такие шкалы, расстояния между метками которых имеют различный вес в начале и в конце шкалы, математики называют нелинейными.