5. На основе анализа сформулировать (определить) и обосновать проблемы (узкие места) объекта/процесса; определить их связи между собой, построить систему проблем (и задач), спрогнозировать тенденции, динамику их развития, используя для этого необходимые МСАТ прогнозирования (или воспользоваться уже имеющимися прогнозами, приводя необходимые для прогнозов МСАТ).
6. Дать и обосновать диагноз причин появления проблем КО.
8. Разработать и обосновать цели программы (и плана) решения системы проблем и задач. Определить (выбрать) критерии и показатели степени достижения выбранных целей.
9. Перечислить и охарактеризовать основные этапы, обобщенный алгоритм (схему) разработки проекта, программы для достижения принятых целей решения системы проблем и задач; описать (привести) МСАТ, необходимые для разработки программы (в том числе, программные средства для ЭВМ).
Такая структура ККЗ в наиболее полной степени удовлетворяет всем вышеприведенным критериям качества комплексной оценки КПВ.
Эта же структура ККЗ, адаптированная для конкретного НП/СП, охватывает большинство (корректно определенных) задач деятельности или компетенций выпускника (см. Приложения 5-7,9), как минимум, для одного из видов деятельности. При этом оценка качества решения ККЗ дифференцирована в соответствии с составом задач деятельности, а значит, и показателями оценочной модели.
Структура и содержание ВКР определяются выпускающими кафедрами, как правило, имеющими в этом большой опыт (особенно если их ГОС лишен вышеприведенных недостатков). Рекомендуется пользоваться разработанными УМО соответствующими НП/СП фондами оценочных средств (ФОС).
Оценка ВКР осуществляется по показателям ее качества, которые непосредственно берутся из оценочной модели (см. Приложения 2,4,8,10). Веса этих показателей, а так же показателей качества ККЗ, определяются заранее с помощью бланков в Приложении 10 и рассчитываются по формулам в Приложении 14. При наличии полного набора показателей (критериальной модели) лучше сразу определить все значимости веса всех показателей.
Экспертиза конкретных ВКР осуществляется руководителями (консультантами) дипломников и рецензентами, которые заполняют соответствующие специальные формы (например, предлагаемые в Приложении).
При написании отзывов о ВКР их руководители сначала проводят экспертизу качества ВКР по приведенным в оценочных листах показателям, а затем дают описательную характеристику проекту или работе, объясняя выставленные ими оценки, в первую очередь, наиболее высокие и наиболее низкие.
Руководители, рецензенты и члены ГАК могут охарактеризовать дополнительные качества ВКР (ДП и Р), которые не описываются предложенными показателями, но являются важными по мнению руководителя или рецензента.
Для повышения обоснованности выбора состава показателей и их весовых коэффициентов руководители и рецензенты могут высказать свое мнение по этим вопросам (см. гр. 5, Приложение 1). Эта информация после статистической обработки и анализа может использоваться кафедрами для совершенствования методики оценки качества дипломных проектов и работ.
За несколько дней до начала работы ГАК выпускающая кафедра организует ознакомление членов ГАК с принятой методикой экспертизы (оценки) ВКР и ККЗ. При необходимости член ГАК проводит консультации по методике экспертизы до начала или в процессе работы ГАК. Бланк экспертизы или оценки (Приложение 10) заполняется каждым членом ГАК индивидуально, отдельно по группе дипломных проектов и отдельно по группе дипломных работ.
Матричная форма записи оценок качества ВКР и ККЗ, предлагаемая членам ГАК, облегчает им выбор конкретных оценок, повышает достоверность экспертизы. С помощью матричной формы каждый эксперт имеет возможность сопоставить выставленные им оценки группы дипломных работ (проектов) по одному и тому же показателю качества, сформировать для себя уровень требовательности или точку отсчета и при необходимости скорректировать свои оценки после экспертизы группы ВКР и ККЗ.
Оценки по показателям качества выставляются каждым членом ГАК индивидуально, без согласования их с другими членами ГАК. При желании член ГАК может произвести предварительный контрольный расчет интегральной оценки проекта или работы как среднеарифметической выставленных им оценок показателей или с помощью калькулятора рассчитать средневзвешенную оценку.
Член ГАК, привлекая технический персонал выпускающей кафедры, рассчитывает групповые и интегральные оценки каждой ВКР и ККЗ как средневзвешенные оценок показателей качества для каждого члена ГАК отдельно, а также рассчитывает средние для каждой группы выпускников оценки по каждому показателю качества по оценкам всех членов ГАК после заполнения ими своих форм (оценочных листов). Эти расчеты упрощаются при введении оценок в процессе работы ГАК ее членам непосредственно в их персональные компьютеры (а также при использовании специальной программы, разработанной в Исследовательском центре).
В процессе обсуждения результатов защиты и согласования интегральных оценок дипломных проектов и работ членами ГАК друг с другом, они могут внести коррекции в интегральные оценки. Все коррекции оговариваются в оценочном листе соответствующим членом ГАК и заверяются его подписью.
После обсуждения общая оценка каждой ВКР/ККЗ рассчитывается как среднеарифметическая интегральных оценок всех членов ГАК. При значительной разнице интегральной оценки члена ГАК с оценками большинства членов ГАК его оценка и ее обоснование фиксируется в протоколе ГАК.
При большой разнице между оценками ВКР/ККЗ рецензентом или руководителем проекта, ГАК отмечает эти факты в протоколе и высказывает свою точку зрения по этому поводу, давая характеристику объективности оценок, выставленных рецензентом или руководителем.
В протоколе ГАК особо отмечаются высокие и низкие качества большинства ВКР.
Заполненные членами ГАК оценочные листы подписываются ими и остаются на кафедре для последующей обработки на ЭВМ и анализа.
Для анкетирования выпускников-дипломников и работающих выпускников предлагается использовать специальный опросный лист, образец которого представлен в Приложении 10.
Анкетирование выпускников-дипломников рекомендуется проводить, как правило, до защиты ими дипломных проектов (работ).
Для сбора заполненных опросных листов на кафедре должна быть установлена специальная урна, вскрытие которой производится в заранее оговоренный срок рабочей группой выпускающей кафедры, ответственной за опрос дипломников.
Простейшая обработка опросных листов состоит в расчете процента ответов по каждому вопросу и по каждому варианту ответа отдельно.
Результаты опроса выпускников анализируются и обсуждаются на заседании выпускающей кафедры.
Результаты самооценки выпускников (их КПВ) по п.5 (5.1–5.9) (Приложение 10) необходимо использовать при расчете значений инвариантных показателей КПВ (с помощью программы ЭВМ), преобразуя ответы выпускников в пятибалльную шкалу оценок следующим образом: вариант ответа 1 соответствует оценке «отлично», 2 – «хорошо», 3 – «удовлетворительно».
ОЦЕНКА ВКР И ККЗ, ОБРАБОТКА И АНАЛИЗ
РЕЗУЛЬТАТОВ ОЦЕНОК
При оценке ВКР/ККЗ эксперт выставляет оценки отдельно по каждой ВКР по каждому показателю качества ВКР в бланке экспертизы или в оценочном листе (Приложение 1), заполняя соответствующий каждой ВКР столбец оценок. Для удобства текст показателей может не включаться в бланк, а прилагаться к нему. Указанные показатели разрабатываются соответствующим УМО (выпускающая кафедра или цикловая (предметная) комиссия). Бланки заполняются экспертом отдельно по группе дипломных проектов и отдельно по группе дипломных работ, если УМО дает для них разные наборы показателей.
Как правило, оценки выставляются в традиционной пятибалльной шкале.
При отсутствии необходимости наличия соответствующего качества в оцениваемой ВКР эксперт может ставить «0». При расчете средних (или средневзвешенных) оценок по столбцам – интегральных оценок по каждой ВКР, или средних оценок по строкам – по каждому показателю отдельно для всех ВКР, учитываются (суммируются) только ненулевые оценки.
Табличная форма записи оценок качества ДП и ДР, предлагаемая экспертам, облегчает им выбор конкретных оценок, повышает достоверность экспертизы. С помощью табличной формы каждый эксперт имеет возможность сравнить выставленные им оценки группы ВКР (дипломных работ, проектов) по одному и тому же показателю качества, сформировать для себя уровень требовательности или точку отсчета и при необходимости скорректировать свои оценки после экспертизы группы ВКР.
При желании эксперт может произвести предварительный контрольный расчет интегральной оценки для каждой ВКР (дипломного проекта или работы) и ККЗ как среднеарифметической выставленных им оценок показателей соответствующей ВКР (ККЗ), или с помощью калькулятора рассчитать средневзвешенную оценку, если для каждого показателя имеется его вес по отношению к другим показателям.
Эксперт, привлекая технический персонал выпускающей кафедры, может также рассчитать среднеарифметические значения всех ВКР (или ККЗ) по каждому показателю качества отдельно. Эти расчеты упрощаются при использовании специальной программы для ПЭВМ, разработанной в Исследовательском центре.
По методике, разработанной в Исследовательском центре, проводится расчет ряда параметров и определяется средняя оценка ГАКом качества дипломных проектов по специальности, выполненных под руководством b-го преподавателя.
С помощью программ обработки информации на ЭВМ производятся расчеты рассогласования мнений экспертов и экспертных групп, расчет статистических оценок с учетом рангового характера используемых шкал.