Автоматизированная система оценки качества деятельности преподавателей кафедры Информационные системы (стр. 20 из 33)

Определение рейтинга качества деятельности преподавателя кафедры обеспечит решение сразу нескольких управленческих задач:

- во-первых, выявить роль и место каждого преподавателя в составе кафедры;

- во-вторых, определить слабые стороны в деятельности преподавателей, разработать соответствующие рекомендации по ее совершенствованию;

- в-третьих, стимулировать творческий рост и повышение ответственности преподавателей с помощью мер морального и материального поощрений.

Рейтинговая оценка в большей степени зависит от достоверности исходных данных. Задача повышения достоверности решается как за счет совершенствования терминологии при определении исходных данных, так и проверки их правильности.

Успешность применения разработанной методики для реализации задачи повышения качества подготовки специалистов во многом зависит от обеспечения обратной связи.

2.6.3 Процедура оценки рейтинга

Оценка качества работы преподавателей кафедры зачастую является неформализованной сложной задачей, состоящей из целого ряда подзадач. Поэтому для ее решения была использована гибридная экспертная система «Бизнес-аналитик», позволяющая решать как формализованные, так и не формализованные задачи. Данная система может гибко настраиваться на предметную область. Ее работа основана на применении искусственных нейронных сетей и продукционных экспертных систем.

Система функционирует в режимах администратора и пользователя. В режиме администратора проектируется структура гибридной экспертной системы и настраиваются методы решения в узлах графа связей задач. При выборе нейросетевого метода решения администратор определяет структуру и параметры сети, формирует обучающую выборку. Для продукционной системы он вербализует показатели и составляет правила продукции. Для формализованных задач – задает формулы.

В режиме пользователя рассчитывается оценка работы преподавателей за интересующий период на основе уже настроенных методов. Результаты анализа можно просмотреть в динамике в виде графических зависимостей, вывести на принтер.

Применение гибридной аналитической системы позволяет использовать для получения оценок по направлениям деятельности преподавателей методы искусственного интеллекта, что значительно улучшает общий результат. Наилучшие результаты, как показывали эксперименты, при оценке направлений деятельности преподавателей дает нейросетевой анализ. При этом необходимо привлечение высоко квалифицированных экспертов, которые позволят создавать полные и непротиворечивые обучающие выборки.

Главное преимущество нейросетевого анализа над зависимостями формализованными экспертным путем – это более точная аппроксимация мнения эксперта. Режим дообучения позволяет оперативно подстраивать сеть под меняющуюся реальность, тогда как на расчет экспертных весовых коэффициентов требуются дополнительные затраты времени специалистов.

Процедуру анализа можно разбить на две части. Сначала происходит настройка системы на решение конкретной задачи (оценка рейтинга преподавателя), а затем ее непосредственное решение и интерпретация результата (рисунок 2.11) [38].

Рисунок 2.11 – Последовательность действий при работе в аналитическом блоке программы

В информационно-аналитической системе «Кафедра» создается шаблон документа «Информационная карта преподавателя», который состоит из набора показателей, характеризующих анализируемую предметную область (см. рисунок 2.12). Данные передаются из ИАС «Кафедры» в систему «Бизнес-Аналитик» с помощью специальной функции конвертации.

Рисунок 2.12 – «Информационная карта преподавателя»

На основе переданных показателей шаблона документа в системе «Бизнес-Аналитик» автоматически формируется «группа показателей», однако в случае необходимости можно добавлять показатели в самой аналитической системе. В таком случае значения придется вводить вручную (см. рисунок 2.13).

Рисунок 2.13 – Ввод значений показателей вручную

Пользователь производит настройку дерева решений «Оценка рейтинга качества работы преподавателей» (рисунок 2.14). Добавляются новые «узлы» и «листья», выбираются и настраиваются методы решений на основе «подчиненных» показателей (см. рисунок 2.15).

Рисунок 2.14 - Дерево решений «Оценка рейтинга качества работы преподавателей»

Рисунок 2.15 - Настройка дерева решений

При настройке нейронной сети необходимо последовательно пройти несколько этапов:

- выбор задачи (классификация или прогнозирование),

- загрузка исходных данных (обучающая выборка или временного ряда),

- предобработка данных (первичная обработка, устранение пропусков и аномалий, выбор периода, преобразование ряда, фильтрация, погружение),

- выбор метода построения сети (автоматический или ручной),

- создание структуры сети (указание количества слоев и нейронов),

- обучение сети,

- сохранение сети.

Для обучения нейронных сетей с учетом совокупного мнения экспертов были предварительно подготовлены обучающие выборки, которые содержат примеры, описывающие состояние объекта исследования, и значения целевого параметра. Обучающую выборку можно составить на основе накопленного опыта за прошлые периоды. В этом случае используется экспертная информация, формируемая опытным специалистом в соответствующей области знаний или группой экспертов при помощи метода экспертной оценки.

При формировании обучающих выборок каждому опрошенному эксперту был присвоен определенный коэффициент, характеризующий его компетентность в рассматриваемом вопросе. Таким образом, наибольшее влияние на итоговое значение показателя оказали мнения наиболее квалифицированных экспертов. Пример обучающей выборки представлен в таблице 2.2.

Мнения экспертов проставлялись по десятибалльной шкале.

Таблица 2.2 – Обучающая выборка для узла «Учебно-методическая работа»

Кол-во разработанных планов учебного процесса	Кол-во учебников, написанных преподавателем	Кол-во учеб. пособий, написанных преподавателем	Кол-во метод. указаний преподавателя, изданных вуз. тиражом	Кол-во изданных электр. учеб. и учебно-методических пособий преподавателем	Экспертная оценка
1	2	5	12	2	8
2	1	5	15	3	8
1	0	1	2	0	2
0	0	0	0	1	1
1	3	3	11	1	7
2	3	5	18	3	10
0	0	0	1	0	1
0	0	0	1	1	1
0	0	0	5	1	3
1	1	3	5	0	6
0	0	0	2	1	2
2	1	3	6	1	5
2	2	6	14	2	7
3	1	6	17	0	7
3	0	5	21	2	8
0	0	0	1	0	1
1	0	1	3	0	3
1	0	2	7	1	6
1	1	1	5	0	5
1	0	3	9	1	7

Обучающие выборки для оценки качества деятельности преподавателей приведены в Приложении Л.