Год, месяц ____________________
Благодарим за ответ!
Анкетирование проводят:
Исследовательский центр проблем качества подготовки специалистов
Телефоны ________________________,
адрес проводящего анкетирование: __________________________________
Анкета разработана в Исследовательском центре
проблем качества подготовки специалистов
Приложение 10
Определение весовых коэффициентов и свертка (агрегирование)
значений показателей качества ВКР/ККЗ
Использование наборов первичных показателей для оценки ВКР/ККЗ требует получения различных агрегированных оценок в виде наборов меньшего количества групповых и интегрального показателей качества. Это необходимо для принятия решения о выставлении окончательной итоговой оценки качества ИКР и ККЗ («отлично», «хорошо», «удовлетворительно», «неудовлетворительно»), для удобства анализа их качества, для расчета различных рейтингов по интегральным оценкам или по каждому из групповых показателей.
Наиболее простой и распространенный способ такого агрегирования – придание весов каждому показателю и расчет значений групповых и интегральных оценок как средневзвешенных сумм значений первичных показателей, что описывается в данной методике. При этом значение интегральной или групповой оценки может рассчитываться как средневзвешенная сумма значений групповых или первичных показателей. Такой способ агрегирования предполагает взаимозаменяемость всех качеств ИКР/ВКР: недостаток одних качеств может быть компенсирован высоким значением других. Признание наличия, как минимум, двух невзаимозаменяемых важных качеств приводит к необходимости применения более сложных методов агрегирования [23].
Формирование весов показателей необходимо также и для объективизации формирования состава этих показателей: чем больший вес получает конкретный показатель, тем больше вероятность того, что он будет включен в окончательный набор показателей, и наоборот.
Выбор состава инвариантных (для ОП направления подготовки) показателей и их шкал (а затем соответствующих нормативов или шкал) осуществляется экспертной группой соответствующего УМО. Эту же работу для специальных показателей (перед вторым этапом эксперимента) осуществляют выпускающие кафедры или представители НП /СП (департамента, если он создан).
Формирование первоначального набора показателей и их весов осуществляется экспертной группой УМО на основании соответствующего ГОС-2 с помощью данной методики.
Для проведения экспертизы всем членам экспертной группы раздаются бланки оценочных листов с полным первоначальным набором показателей (типа бланка оценочных листов, представленного в Приложении 10).
1-й этап. Все члены экспертной группы (каждый отдельно) дают оценки dk значимости показателей в 10-балльной шкале, где k – индекс показателя, d – индекс эксперта. Индекс значимоcти dk проставляется экспертами против соответствующих показателей.
2-й этап. Все оценки усредняются dk= 1/nASdk, nA – количество n экспертов в группе. По каждому показателю рассчитываются все отклонения индивидуальных оценок от средних: Ddk=|dk-dk|. Экспертам, у которых Ddk>2, предлагается еще раз просмотреть свою оценку по k-му показателю. Если он считает необходимым сохранить свою оценку, то проводится совместное обсуждение оценок. Если после обсуждения кто-либо из экспертов меняет оценку, то рассчитывается новое dk. Если оценка не меняется, то принимается первое dk.
3-й этап. Рассчитываются нормированные весовые коэффициенты показателей lk=dk/ S dk; Nk – общее количество показателей ВКР (или ККЗ).
Правильность расчетов весов lk проверяется выполнением условия
S lk = 1+0,005.
С учетом полученных весовых коэффициентов lk для всех показателей экспертной группой может уточняться полный состав этих показателей, оставляя в нем показатели с наибольшими весами.
При этом, экспертная группа предварительно определяет максимальное общее количество показателей и состав групп показателей, которые обязательно должны быть в критериальной и оценочной моделях. В состав показателей оценки ВКР обязательно должны войти: а) показатели соответствующие общим требования к выпускнику (приложения 5, 6); б) показатели характеризующие общепрофессиональную подготовку; в) показатели качества выполнения ВКР (качество проектной или конструкторской части проекта, экспериментально А части – в дипломной работе) и т.д.
Для группы специальных показателей эксперты УМО могут резервировать определенное количество показателей, с учетом их общего количества. Но на первом этапе эксперимента специальные показатели могут быть не предусмотрены. Эксперты УМО могут рекомендовать построенные ими оценочные модели (показатели, соответствующие им веса, нормативы или шкалы) для экспериментального применения в ГАК при итоговой государственной аттестации выпускников (соответствующего направления подготовки и специальностей).
Разработанные оценочные модели утверждаются экспертной группой (или УМО) и вносятся во все оценочные листы (Приложения П.2.2., П.2.3., П.3.1., П.3.2.).
При использовании этих оценочных моделей в процессе ИГА их содержание доводится до сведения всех студентов-дипломников соответствующих кафедр (ОП) при выдаче им заданий на дипломный проект или работу.
Перечень условных символов, используемых в оценочных листах качества дипломных проектов и работ:
qk – значение k-го показателя;
qki – значение k-го показателя i-го дипломного(ой) проекта (работы).
При экспертной оценке качества нескольких дипломных проектов (работ), например, как в оценочном бланке для членов ГАК (Приложение П.3.1. и П.3.2.), рассчитываются отдельно групповые показатели каждого проекта (работы)
Qi= S lk*qki
и среднее значение каждого качества по всей выборке проектов (работ).
qk=1/nB S qki , где nB - количество проверенных проектов.
Общая или агрегированная оценка i-го ВКР/ККЗ вычисляется по формуле:
Qi= S lk*qk,
где Nk – множество оцениваемых показателей.
В общем случае в Nk включаются инвариантные и специальные показатели. Возможен упрощенный вариант расчета Qi= 1/n S qki , когда все веса lk принимаются одинаковыми.
Приложение 12
СПИСОК ИСПОЛЬЗУЕМЫХ СОКРАЩЕНИЙ
ВКР – выпускная квалификационная работа
ГОС-1/ГОС-2 – государственный образовательный стандарт
первого/второго поколения
ДП – дипломный проект
ДР – дипломная работа
ЗПД – задачи профессиональной деятельности
ИГА – итоговая государственная аттестация выпускников вуза
ИМЭ – итоговый междисциплинарный экзамен
КПВ – качество подготовки выпускников
КМ – критериальная модель
КХ – квалификационная характеристика
КТ – квалификационные требования
МСАТ – методы, средства алгоритмы, технологии
НП – направление подготовки
ОЗПД – обобщенные ЗПД
ОМ – оценочная модель
ОП – образовательная программа
СП – специальность
ФОС – фонды оценочных средств качества подготовки выпускников