В случае создания профессиональных ОЭИ апробация образовательных электронных изданий и ресурсов начинается
на предприятии, создавшем данное средство информатизации или его компоненты. В этом случае созданное средство (альфа-версия) проходит тестирование разработчиками (автором и программистом) и несколькими пользователями с целью выявления ошибок в разработке компьютерной программы или системе навигации но ее содержательному наполнению. Автор ОЭИ или его компонент особое внимание при этом обращает на реализацию педагогического сценария. В процессе тестирования автор ставит перед собой задачу моделирования различных образовательных траекторий учащихся и их опытной реализации. Таким образом, выявляются недостатки образовательных электронных изданий и ресурсов, источником которых может стать любой пройденный этап работы, выявляются проблемы создания педагогического сценария и программного кода, несоответствия желаемым характеристикам и принципам. Таким образом, результаты первого тестирования помогают устранить ошибки и усовершенствовать ОЭИ.Второй этап тестирования (бета-тестирование) образовательного электронного издания или ресурса осуществляется группой реальных пользователей, которые в результате должны предоставить детальное описание аппаратной и программной конфигурации, при которой произошел сбой, основных проявлений ошибки, а также составить общие замечания и рекомендации, в том числе о степени соответствия данного средства информатизации другим средствам, применяемым в образовательной среде. Апробация электронного издания или ресурса в учебном процессе может являться частью бета-тестирования.
Для проведения апробации образовательных электронных изданий и ресурсов в учебном процессе формируют экспериментальную группу обучаемых. Группа должна состоять из обучаемых с разной успеваемостью (отличников, успевающих на "хорошо" и "отлично", успевающих на "хорошо" и "удовлетворительно"). Это условие может быть нарушено в случае, когда апробацию проходит средство, предназначенное для информатизации обучения лиц с ограниченными возможностями жизнедеятельности.
В зависимости от специфики образовательных электронных изданий и ресурсов для более точной оценки в апробации может принимать участие несколько экспериментальных групп.
Перед непосредственным использованием ОЭИ в учебном процессе следует провести подготовку обучающихся - ознакомить их с темой учебного предмета, в преподавании которого используется издание или ресурс, провести необходимый инструктаж, ознакомить с раздаточным материалом. Затем проводится учебное занятие с использованием образовательного электронного издания или ресурса в строгом соответствии с методическими указаниями и рекомендациями, сопровождающими конкретное средство информатизации.
В процессе работы обучаемых с изданием или ресурсом прослеживается ход и эффективность усвоения учебного материала, фиксируются вопросы учащихся, сбои в работе, проблемы взаимодействия с другими средствами информатизации образования. После окончания занятия ответы, положительные и отрицательные характеристики средства информатизации уточняются в ходе коллективного обсуждения.
Как правило, апробационные занятия проходят в присутствии педагогов, разработчиков, экспертов и специалистов, занимающихся разработкой данного класса средств информатизации образования. На завершающем этапе апробации эксперты должны проанализировать все вопросы и жалобы обучаемых, которые возникали в процессе их работы с образовательным электронным изданием или ресурсом.
Результаты анализа хода апробации и выявленной специфики функционирования средства информатизации в условиях реального учебного процесса направляются специалистам предприятия-разработчика для принятия мер по совершенствованию электронного издания или ресурса.
Основой системы оценки качества образовательных электронных изданий и ресурсов является технология экспертизы. Описываемая в настоящем пособии универсальная технология экспертизы образовательных электронных изданий и ресурсов базируется на основе описанной ранее системы требований к качеству ОЭИ и инвариантных подходах к организации экспертизы, не зависящих от содержательного направления, технологии создания и методической системы применения экспортируемых средств информатизации.
Экспертиза является частью технологического этапа тестирования законченной версии образовательного электронного издания или ресурса (бета-версии), прошедшей предварительное тестирование специалистами предприятия-разработчика и апробацию в учебном процессе. По результатам независимой экспертизы, внешней по отношению к предприятию-разработчику, создается средство информатизации, готовое к полноценной высокоэффективной эксплуатации в системе образования (гамма-версия).
Целью проведения независимой компетентной экспертизы является установление соответствия показателей качества средства информатизации образования заранее определенным требованиям международных, государственных и отраслевых стандартов, нормативно-технических документов и др., а также обеспечение качества и эффективности процесса обучения на основе применения данного ОЭИ.
Универсальная единая для всех образовательных электронных изданий и ресурсов система экспертизы качества должна удовлетворять следующим основным требованиям:
•организация работ должна осуществляться на основе системного подхода;
•в качестве экспертов должны привлекаться специалисты разного профиля, в совокупности, обеспечивающие всесторонний анализ ОЭИ;
•труд и опыт экспертов высшей квалификации (ведущих специалистов в своей области) необходимо использовать только для принятия глобальных решений;
•работа по экспертизе образовательных электронных изданий и ресурсов должна быть разделена на основную и подготовительную; подготовительную работу могут осуществлять специалисты более низкой квалификации;
•вследствие возможного изменения и совершенствования ОЭИ, уже прошедшего экспертизу в процессе эксплуатации в системе образования, процедура экспертной оценки качества должна периодически повторяться в полном объеме.
Для рационализации схемы проведения экспертизы образовательных электронных изданий и ресурсов необходимо ее разбиение на этапы. Такое разбиение позволит упростить организацию экспертизы, поскольку на каждом этапе можно задействовать специалистов, необходимых лишь для проведения данного этапа. На определенном этапе экспертизы необходимо задействовать параллельно несколько экспериментальных площадок. При проведении экспертизы общение между специалистами разных экспериментальных площадок нежелательно.
Экспертиза образовательных электронных изданий и ресурсов осуществляется в испытательных лабораториях. Организационно-штатная структура испытательной лаборатории должна включать следующие группы специалистов, взаимодействующих между собой в рамках единой технологической цепочки оценки качества средств информатизации образования:
1.Координирующая группа
2.Экспертный совет
3.Группы специалистов, исследующих образовательные электронные издания и ресурсы на экспериментальных площадках
4.Группы тестирования ОЭИ
Координирующая группа должна осуществлять планирование, организацию проведения экспертизы, а также заниматься сбором результатов экспертизы и их оформлением.
Экспертный совет должен состоять из экспертов высшей квалификации и заниматься отбором из представленных ОЭИ издания и ресурсы, имеющие шанс пройти экспертизу, выбраковкой образовательных электронных изданий и ресурсов с заведомо неудовлетворительным качеством, для которых дальнейшее тестирование нецелесообразно, а также выносить окончательное решение о качестве ОЭИ на основании данных, получаемых с экспериментальных площадок и от групп тестирования.
На экспериментальных площадках должна проходить детальная проверка на соответствие характеристик образовательных электронных изданий и ресурсов допустимым параметрам-требованиям качества. К такой проверке необходимо привлекать ведущих специшгистов по профилю исследуемого средства, опытных методистов и педагогов. Данный этап экспертизы предусматривает постановку педагогического эксперимента.
Группам тестирования поручается проведение тех проверок, которые нецелесообразно выносить на экспериментальные площадки.
Центральная роль в процедуре экспертизы отводится экспертному совету. На разных этапах в экспертизе принимают участие группа планирования, организационного обеспечения и оформления результатов испытаний, группа подготовки оборудования и контрольных испытаний, установки средства информатизации образования, предварительной проверки его работоспособности, группа тестирования.
Требования к организации комплексной экспертизы предполагают подход, включающий экспертизу технико-технологических, психолого-педагогических и дизайн - эргономических аспектов создания и эксплуатации образовательных электронных изданий и ресурсов. Кроме этого, соответствующей стандартной экспертной проверке должен быть подвергнут персонал, занимающийся разработкой и внедрением данного вида средств информатизации.
Итоговое заключение по качеству средств информатизации образования должно основываться на результатах всех указанных экспертиз.
Технике-технологическая экспертиза. В ходе данного этапа проводится проверка работоспособности ОЭИ на компьютерной и телекоммуникационной технике трех различных конфигураций. Первая конфигурация должна совпадать с заявленными в сопроводительной документации минимальными системными требованиями. Последующие две конфигурации должны быть не ниже первой. Рекомендуется использование компьютерной и телекоммуникационной техники с различными операционными системами, процессорами, объемами памяти, скоростями установления соединений, передачи информации и т.д.