Программы информатизации образования России включали такие направления исследований, как разработка теоретических основ оценки качества программных средств, создание органов по их сертификации, развитие системы сертификации программного обеспечения для системы образования. Тема оценки качества ПС ОН являлась предметом обсуждения круглых столов в Комитете при Президенте по информационной политике и Госкомсвязи России, на втором международном конгрессе ЮНЕСКО, и различных научных конференциях.
В педагогической науке существуют методы, пригодные для оценки качества ПС ОН: экспериментальная оценка, экспертная оценка, комплексная оценка, получившая в ряде работ название экспертно-аналитической оценки качества ПС ОН. Так, экспериментальная оценка качества ПС ОН осуществляется методами педагогического эксперимента. Для постановки и организации экспериментальной оценки качества ПС ОН можно использовать работы по теории и практике проведения педагогического эксперимента Архангельского СИ., Бабанского Ю.К., Беляевой А.П., Грекулова А.Г., Грабаря М.И., Ильиной Т.А., Краснянской К.А., Пискунов А.И. и др. Правильно поставленный сравнительный педагогический эксперимент позволяет в настоящее время обеспечить наибольшую достоверность оценки качества ПС ОН.
Большинство ПС ОН, поступающих на рынок программных средств, в той или иной мере проходят апробацию в реальных условиях обучения. На практике часто оказывается так, что разрабатывают методику эксперимента, организуют и проводят педагогический эксперимент те же специалисты, которые участвуют в создании программного средства. Они часто идут по пути упрощения педагогического эксперимента. Поэтому допускаются методические погрешности и искажения результатов эксперимента, в том числе и в рекламных целях, поскольку за достоверность его результатов разработчики никакой ответственности не несут.
В последнее десятилетие в педагогической науке большое внимание уделяется экспертным методам оценки педагогических исследований и разработок, в том числе и ПС ОН. Разработаны методологические основы использования экспертных методов в педагогических исследованиях, ориентированные на использование программных средств (Марченко Е.К., Михеев В.И., Полонский В.М., Черепанов B.C.), определены основные методические цели, которые наиболее эффективно реализуются с использованием ПС ОН. Разработана типология программных средств по функциональному и методическому назначению, дидактические требования к ПС ОН, сформулированы основные положения экспертно-аналитической деятельности по оценке качества ПС ОН и анализа их педагогической целесообразности (Роберт И.В., Кузнецов А.А., Сергеева Т.А. и др.).
Сформированы теоретические основы разработки технологии применения программно-методических средств в учебном процессе общеобразовательной школы (Софронова Н.В., Зайнутдинова Л.Х.). Разработаны также психологические основы организации диалога учащегося с ИКТ (Горелов И.Н., Машбиц Е.И., Тихомиров O.K.). Успешно развивается Система добровольной сертификации средств и систем в сфере информатизации РОСИНФОСЕРТ, разработаны организационно-методические документы этой системы (Позднеев Б.М., Шахин В.П.). Вопросы практического использования экспертных методов для проведения сертификационных испытаний ПС ОН отражены в работах Ваграменко Я.А., Галкиной А.И., Роберт И.В.
Вместе с тем, в настоящее время отсутствуют работы, ориентированные на комплексный подход решения проблемы оценки качества ПС ОН и на создание технологии их оценки. Недостаточно разработаны основные вопросы теории оценки качества. Такие вопросы, как критерии оценки и характеристики качества до недавнего времени были мало исследованы и достаточно спорны. Это является причиной сложностей при организации и проведении экспертизы ПС ОН, вынесении экспертных заключений, особенно в пограничных областях оценок.
В качестве базового метода исследования использовался итерационный метод, получивший название метода последовательного приближения решения задачи оценки качества ПС ОН.
В теории информации хорошо известны подобные методы для решения технических задач. Суть его состоит в следующем. На первом этапе отбирается и детально анализируется большой объем теоретической информации на пригодность для решения проблемы исследования. На основании этой информации формируется базовая модель оценки и направления дальнейшего углубления модели. Это первое приближение решения задачи. На следующем этапе осуществляется виток последовательного приближения решения задачи. Идет наращивание модели оценки, устанавливаются и уточняются критерии оценки, уточняются основные направления решения поставленной задачи.
На последующих этапах идет разбиение критериев оценки качества ПС ОН на характеристики качества, формирование системы оценки качества ПС ОН, уточнение групп характеристик качества и их параметров.
На последнем этапе осуществляется окончательная адаптация системы оценки качества к конкретным условиям работы, отработка технологии экспертизы качества ПС ОН и уточнение характеристик оценки, их граничных и ориентировочных параметров применительно к рационализации технологии экспертизы.
Научная новизна определяется предложенным в исследовании системном подходе к решению проблемы оценки качества ПС ОН, реализованным в разработке: - метода исследования, основанного на методе итераций и базовой модели - информационно-кибернетической модели учебного процесса с использованием средств ИКТ ОН, отличающейся от известных моделей тем, что она обеспечивает исследование информационных процессов в обучении и выявление факторов, влияющих на усвоение учебной информации с позиций таких наук, как педагогика, психология, психофизиология, инженерная психология, теория информации, квалиметрия, эргономика;
- комплексной модели учебного процесса с использованием средств ИКТ ОН, отличающейся от ранее известных тем, что она включает в себя информационно-кибернетическую модель учебного процесса (обеспечивающую исследование информационных процессов в обучении и факторов, влияющих на усвоение учебной информации), учитывает основные дидактические требования к ПС ОН, психолого-физиологические и возрастные особенности восприятия информации, санитарно-гигиенические требования и нормы работы с вычислительной техникой, эргономические характеристики ПС ОН и позволяет выделить основные критерии и характеристики оценки качества ПС ОН;- требований к системе оценки качества ПС ОН, разработанных на основе теории экспертных суждений и принятия решений экспертом, и требований к организации экспертизы и порядку ее проведения, разработанных на основе нормативных документов, регламентирующих деятельность государственных учреждений, занимающихся экспертизой и сертификацией ПС ОН, позволивших сформировать группы характеристик оценки качества, их граничные и ориентировочные параметры.
2. Требования к ППС
Анализ педагогической практики использования программных средств учебного назначения позволяет заключить, что наиболее существенными причинами создания низкокачественных компьютерных программ являются, во-первых, частное, а порой и полное игнорирование дидактических принципов обучения при их разработке, и, во-вторых, неправомерный перенос традиционных форм и методов обучения в новую технологию обучения, использующую компьютер. Судя по всему, одинаково вредно как полное отрицание традиционных подходов к обучению с использованием возможностей современных ПВЭМ, так и огульная замена этих подходов новыми конструкциями. Ответ на вопрос, каково соотношение традиционных форм, методов обучения и новых приемов или насколько последние должны дополнять либо замещать традиционные, не может быть решен однозначно.
В настоящее время уже ни у кого не вызывает сомнения тот факт, что в условиях информатизации образования меняется парадигма педагогической науки, изменяется структура и содержание образования. Новые методы обучения, основанные на активных, самостоятельных формах приобретения знаний и работе с информацией, вытесняют демонстрационные и иллюстративно-объяснительные и методы, широко используемые традиционной методикой обучения ориентированной в основном на коллективное восприятие информации. Параллельно этому идет процесс использования программных средств и систем учебного назначения (пакетов программных средств учебного назначения) для поддержки традиционных методов обучения. При этом программным средством (систем), используемым в учебных целях, передаются в какой-то мере обучающие функции и, следовательно, каждая программа должна строится сообразно дидактическим принципам обучения, определяющих дидактические требования к ППС.
Вместе с тем методика преподавания каждого учебного предмета в свою очередь учитывает своеобразие и особенности соответствующей науки, поэтому правомерно говорить о методических требованиях и ППС, которые предусматривают специфику и своеобразие каждой конкретной науки и соответствующего ей учебного предмета. Определяя педагогические требования, предъявляемые к ППС, необходимо учитывать также обоснование выбора темы для ППС, аргументированное определенными методическими целями, и обеспечить проверку педагогической эффективности использования ППС.
Помимо этого при разработке ППС необходимо учитывать еще и ряд других факторов: возрастные и индивидуальные особенности учащихся, обеспечение доброжелательной и тактичной формы обращения к ученику, возможность повторных обращений к программе в случае неудачной попытки. Все это обусловливает позитивный фон общения пользователя с ЭВМ, определяя эргономические требования к содержанию и оформлению ППС. Большое значение при разработке ППС необходимо уделять удобствам пользователя программой, обеспечивая процесс ее применения необходимым сервисом, простотой использования, гарантией устойчивости от несанкционированного нажатия клавиш, надежностью, возможностью легкого возврата на исходные позиции, рассылкой по сети (в условиях использования комплекта учебной вычислительной техники), возможностью переноса на ЭВМ другого типа. Вышеперечисленное определяет технические требования к ППС, соблюдение которых крайне важно, ибо малейшее отклонение от них может привести к дискредитации самой идеи использования компьютера в учебном процессе.