Компьютерные тестирования (стр. 9 из 12)
При тестировании преподаватель (методист-тестолог) должен выполнить вначале следующие основные условия:
1. Определить цель тестирования.
2. Определить гипотезу тестирования.
3. Определить учебную модель тестируемого (обучаемого).
4. Определить педагогическую ситуацию (сценарий) тестирования.
5. Разработать план тестирования
6. Определить структуру теста.
7. Структурировать тест в соответствии с дидактическими целями и связями.
Затем необходимо выполнить нижеследующие практические правила тестирования. Время на тестирование необходимо определять по сложности и трудоемкости тестовых заданий. Тест, соответствующий уровню подготовленности минимизирует время индивидуального тестирования, но это часто трудно реализуемая ситуация, что усложняет разработку качественных заданий.
При аттестационном тестировании, обучаемые должны быть заранее ознакомлены с типовыми формами тестовых заданий, технологией работы в конкретной системе тестирования не позднее, чем за одну-две недели до начала испытаний. Испытуемые должны иметь объективную информацию о предстоящем тестировании заблаговременно (допускаемый резерв времени, охватываемые дидактические единицы и т.д.). Необходимо ориентироваться на разумный собственный уровень подготовки (можно с этой целью проводить частое самотестирование и обучающее тестирование). Важно научиться планировать время при тестировании, распределять время рационально между заданиями различных групп сложности на всем протяжении тестирования. Выполнение затруднительных заданий необходимо осуществлять итерационно. Каждый раздел, каждую тему завершайте не только решением задач, но и обучающим, мотивационным и диагностирующим самотестированием по аналогичным тестам.
Важны не только отдельные кванты знаний, но и умение быстро находить правильный выбор, связывать эти кванты. Полезны тесты, связывающие различные дидактические единицы. Важно проводить анализ результатов тестирования и корректировать процесс обучения с целью его улучшения.
Немаловажен при подготовке к тестированию правильный выбор учебно-методической литературы – от учебников до Интернет-ресурсов. Необходимо иметь достаточный набор качественных тестовых заданий обучающего характера. К сожалению, часто нарушаются (в основном, "неписанные") правила этики тестирования. Нельзя мешать соседям своими вопросами – этим Вы снизите их собственные баллы. Не задавайте преподавателю вопросы по заданиям (он уже позаботился, чтобы у подготовленного испытуемого такие вопросы не возникали). В крайних ситуациях можно задать вопрос по непонятным моментам технологии тестирования и оформления результатов.
2.4. Оценивание тестирования.
В этом разделе рассматриваются простые задачи математико-статистической оценки тестирования и алгоритмы их решения
Любое тестирование должно заканчиваться не только выставлением оценок (баллов), но и анализом результатов тестирования, выявлением уровня обучения и качества тестов.
Оценку результатов тестирования нужно производить баллами в определенной шкале баллов.
Например, 1–2 балла – "цена вопроса" в группе A, 2–3 балла – в группе B, 3–5 баллов – в группе C. Такая оценка может быть переведена в классическую десятибалльную оценку или в другую желаемую шкалу оценок. Это одно из качеств тестирования, повышающих объективность оценки успехов.
Простейший критерий объективности: ответивших правильно на все вопросы в группе A и большую часть в группе B– большинство. Для анализа полезны отборочные тесты с высокой мерой сложности и отсеивающие тесты с низкой мерой сложности. Если тестирование все же проводится в системе оценок с двумя вариантами ответов ("да", "нет"), то и результат тестирования должен быть оценен в биполярной шкале: "аттестован – не аттестован". Если при оценке результатов тестирования используются баллы, то их число должно быть нечетным (1–5, 0–10, 1–101 и т. д.). Обычно используют итоговую 100-балльную шкалу. Хотя первичные баллы могут иметь любое значение, итоговые тестовые баллы должны быть рассчитаны по 100-бальной системе.
Величина тестового балла равна проценту успешно выполненного объема теста с учетом всех его особенностей и уровня сложности заданий, входящих в него. Она может рассматриваться как количественная оценка степени усвоения знаний и умений в соответствии с требованиями ГОС, программы, предметной области.
Распределение баллов зависит от процента правильных ответов и может лежать в различных границах, например: "отлично" – более 95% правильных ответов, "хорошо" – 80–94%, "удовлетворительно" – 60–79%, "неудовлетворительно" – менее 60%. К каждой системе такого распределения баллов могут быть предъявлены замечания.
Для измерения "уровня образованности" ("уровня знаний") лучше использовать логарифмическую шкалу, так называемые "логиты". Поясним эту шкалу.
Очень трудные задания снижают учебную мотивацию многих учащихся, как и очень легкие. Поэтому используется шкала, которую ввел датский математик Г. Раш (Г. Раск, G. Rasch), шкала "логитов". По Рашу определены два логита:
1. "логит уровня знаний" – натуральный логарифм отношения доли правильных ответов испытуемого на все задания теста, к доле неправильных ответов;
2. "логит уровня трудности задания" – натуральный логарифм отношения доли неправильных ответов на задание теста к доле правильных ответов на это задание по множеству испытуемых.
Необходимо на всех этапах тестирования учитывать, что первичные баллы – необъективны (в математико-статистическом смысле).
Результаты тестирования могут свидетельствовать иногда и о том, что есть интеллектуально развитые обучаемые, показывающие плохие результаты тестирования, как и слабые обучаемые с так называемым критическим складом ума и хорошей моторной памятью, показывающие неплохие результаты.
Необходимо учитывать дидактическую ограниченность проверки на совпадение с эталоном ответа, особенно, при компьютерной проверке знаний и умений. Тестирование обычно завершается математико-статистической обработкой данных тестирования.
Рассмотрим вначале некоторые необходимые понятия математической статистики и теории вероятностей.
Пусть задан некоторый статистический ряд из элементов X1, X2,…., Xn. Если эти элементы могут принимать все мыслимые допустимые значения, а объект с этими характеристиками рассматривается как единый (как система), то такую совокупность называют генеральной совокупностью; часто при этом предполагается, что она является конечной и упорядоченной по возрастанию: X1 < X2 < …. <Xn..
Любое непустое подмножество генеральной совокупности называется выборкой. Если выборка осуществлена случайным образом, то она называется случайной выборкой.
Средняя величина генеральной совокупности в целом называется общей средней. Она отражает общие черты всей совокупности. Средняя величина для отдельной выборки называется средней по выборке или выборочной средней. Она отражает общие черты группы.
Существуют различные меры средних величин. Чаще используется средняя арифметическая характеристика:
= 
= 
Она называется также выборочной средней или эмпирической средней.
Средняя гармоническая величина, как и средняя арифметическая, может быть простой и взвешенной. Если все веса равны между собой, то можно использовать среднюю гармоническую в виде:
= 
Средняя квадратичная взвешенная величина вычисляется по формуле:
Если веса
, для всех i=1,2,….,n, то получаем просто среднее квадратичное. Эти величины характеризуют "концентрацию" данных выборки около среднего (или другой характерной тенденции).К средним величинам, которые характеризуют структурные изменения, относятся мода и медиана. Они определяются лишь структурой распределения.
Мода – наиболее часто встречающееся значение признака у элементов данной совокупности. Она соответствует определенному значению признака.
Медиана - значение признака, которое делит элементы ранжированной выборки на две равные части. Это середина ранжированного ряда.
Исход – одно из возможных заключений о рассматриваемом процессе.
Выборочное пространство – множество всех исходов.
Событие– любое подмножество выборочного пространства. Пустое событие обозначают, как и в теории множеств, символом Ǿ. Событием можно считать и всё выборочное пространство (универсальное событие).
Испытание– проверка всевозможных исходов события.
Два испытания независимы, если любое событие, определённое на основе только одного из них, не зависит от любого события, определённого на основе другого.
Так как событие – это множество, то для них должны быть выполнимы основные операции с множествами: объединение, пересечение и дополнение.
Два события S1
и S2 несовместимы, если S1 
S2 = Ǿ.