1) проекты программ фундаментальных и прикладных научных исследований;
2) республиканские целевые научно-медицинские программы;
3) результаты завершенных научно-медицинских программ;
4) научные работы, выдвигаемые на соискание государственных наград Республики Казахстан;
5) научно-медицинские разработки, планируемые для внедрения в практику здравоохранения.
Международный опыт проведения научной и научно-медицинской экспертизы указывает на необходимость использования следующих принципов при проведении оценки проектов и отчетов научно-технических программ – независимость, объективность; компетентность и высокий профессиональный уровень лиц и организаций, проводящих экспертизу [1-13].
Независимость проведения экспертизы и высокий уровень профессионализма экспертов должен обеспечиваться через создание базы независимых экспертов. Основными критериями при отборе независимых экспертов должны выступать уровень профессиональной и научной подготовки, опыт профессиональной, научной и экспертной деятельности, личные качества и вклад в науку.
Уровень профессиональной и научной подготовки может быть оценен по наличию высшего/послевузовского медицинского образования, наличию ученой/академической степени, наличию дополнительного образования (повышение квалификации, семинары, мастер-классы) в сфере менеджмента научно исследовательской деятельности.
Опыт профессиональной, научной и экспертной деятельности может быть оценен по наличию опыта работы в системе здравоохранения, наличию опыта участия в выполнении научно-технических программ по прикладным научным исследованиям в области здравоохранения, наличию опыта в проведении экспертной оценки и рецензирования научных работ и диссертационных исследований.
Личные качества и вклад в науку могут быть оценены по наличию научных достижений (звания, награды, стипендии, благодарности, почетные грамоты), наличию научных трудов (публикаций, патентов).
База независимых экспертов должна формироваться из числа ведущих ученых и специалистов организаций здравоохранения, соответствующих указанным критериям. Необходимо внедрение программ регулярного повышения квалификации и непрерывного профессионального развития независимых экспертов.
Непосредственное организационно-техническое сопровождение научно-медицинской экспертизы должен осуществлять рабочий орган. Учитывая специфику работы в качестве такового может выступать Институт развития здравоохранения.
При проведении научно-медицинской экспертизы необходимо использовать чёткий алгоритм оценки научной продукции, при этом должен использоваться селективный подход к различным объектам научно-медицинской экспертизы – проектам НТП и отчетам по результатам выполнения НИР.
4.1Порядок проведения научно-медицинской экспертизы проектов научно-технических программ и бюджетных заявок
Планируемые НТП, т.е. проекты научно-технических программ, должны оценивать по трем критериям:
1. Научное качество (оценивается по следующим показателям - уровень научной новизны, качество сформулированного вопроса/ проблемы исследования, качество составления проекта НТП).
Уровень научной новизны (k1.1) определяется степенью новизны формулирования и научного обоснования проблемы исследования, отсутствием исследований в указанном направлении ранее и степенью новизны предлагаемого пути решения проблемы исследования.
Качество сформулированного вопроса/ проблемы исследования (k1.2) определяется качеством представленной концепции исследования, степенью того насколько полно название и цель проекта раскрывают научную новизну и актуальность планируемого исследования.
Качество составления проекта НТП (k1.3) определяется наличием и степенью полноты раскрытия следующих ключевых разделов проекта: актуальность, цель и задачи исследования, материалы и методы исследования, дизайн исследования, научная новизна и практическая значимость, ожидаемые конечные результаты, наличие задела, организационно-правовое обеспечение, включая кадровую и материально-техническая обеспеченность, критерии (индикаторы) выполнения программы, план реализации проекта, калькуляция расходов.
2. Значимость для науки и практики (оценивается по следующим показателям - степень воздействия ожидаемого результата на науку и практику, актуальность планируемой НТП, оценка уровня ожидаемого эффекта от внедрения).
Степень воздействия ожидаемого результата на науку и практику (k2.1) определяется уровнем и приоритетностью решаемых в ходе реализации проекта проблем и задач.
Актуальность планируемой НТП (k2.2) определяется степенью соответствия поднимаемой в проекте проблемы запросам медицинской науки и практики, т.е. уровнем приоритетности для современной медицинской науки и практики
Оценка уровня ожидаемого эффекта от внедрения (k2.3) осуществляется путём оценки характера (лечебно-профилактический, социальный, экономический, научный) и уровня (на уровне республики, нескольких организаций или одной организации здравоохранения) ожидаемого эффекта от внедрения результатов проекта.
3. Объективность (оценивается по следующим показателям – степень доказательности результатов, квалификация основных исполнителей, наличие задела, обоснованность сроков выполнения НТП, финансовая обоснованность НТП).
Степень доказательности результатов (k3.1) представляет собой уровень обоснованности результата исследования: методического уровня проведенного исследования и материально-технической базы исполнителя.
Квалификация основных исполнителей (k3.2) оценивается как степень компетентности работы исполнителей проекта по теме исследования.
Наличие задела (k3.3) оценивается как уровень готовности исполнителей к решению задач, поставленных в проекте, оцениваемый по результатам их предшествующей работы.
Обоснованность сроков выполнения НТП (k3.4) определяется как возможность выполнения этапов и мероприятий по реализации проекта, указанных разработчиком, планируемым срокам выполнения проекта.
Финансовая обоснованность НТП (k3.5) определяется как cоответствие сумм запрашиваемых разработчиком на реализацию проекта, указанному объёму мероприятий.
Каждый показатель оценивается по 10 бальной шкале с градацией по уровням (см. Приложение №1):
- «высокий» - 7-10 баллов,
- «относительно высокий» - 4-6 баллов,
- «недостаточно высокий» - 1-3 балла.
Выбор конкретного балла в рамках каждого уровня оценки осуществляется в соответствии с характером соответствия проекта применяемому критерию (Таблица 1).
| Уровень оценки Принцип выбора балла | недостаточно высокий | относительно высокий | высокий |
| Выбор уровня оценки осуществлён с условным допуском (у эксперта есть сомнения, но к выбор более низкой оценки объективно не будет отражать соответствие проекта данной оценке) | 1 | 4 | 7 |
| Выбор уровня оценки объективно отражает соответствие проекта конкретному критерию | 2 | 5 | 8 |
| Выбор уровня оценки не вызывает сомнения | 3 | 6 | 9-10 |
Таблица 1 – Принцип выбора балла внутри каждого уровня оценки
Основные этапы научно-медицинской экспертизы:
Оценку планируемых НТП на первом этапе должны осуществлять Ученые советы организаций--исполнителей. Каждый проект НТП на уровне организации-разработчика должен оцениваться несколькими независимыми экспертами без согласования их мнений. В качестве экспертов должны выступать хорошо известные специалисты – практики и исследователи, компетентные в той области, в которой представлен проект.
После получения положительного заключения Ученого совета по месту исполнения планируемая НТП направляется в уполномоченный орган – МЗ РК, который привлекает рабочий орган для организации проведения независимой экспертизы.
Рабочий орган привлекает к экспертизе проекта НТП компетентных в данной области специалистов из числа независимых экспертов – для рассмотрения каждого проекта формируется экспертная комиссия из 3-х экспертов.
Каждый эксперт экспертной комиссии выставляет балльные оценки на каждое из рассматриваемых НТП. После этого данные суммируются по каждому критерию и усредняются, что позволяет нивелировать субъективизм отдельных экспертов по тем или иным критериям.
По каждому проекту выставляется суммарная балльная оценка КƩk (максимально возможный балл который может получить проект составляет 110) и процент (К%), который набрал проект от максимально возможного балла.
К% = ((k1.1 + k1.2 + k1.3 + k2.1 + k2.2 + k2.3 + k3.1 + k3.2 + k3.3 + k3.4 + k3.5) × 100) / 110
Кроме того, экспертная комиссия выносит конкретные замечания и предложения по рассматриваемому проекту НТП. При этом особое внимание должно уделяться научной стилистике изложения и полноте раскрытия отдельных элементов проекта, соответствию проекта установленным правилам и структуре написания проекта НТП.
Ключевыми аспектами при оценке проекта являются качество сформулированных проблемы / вопроса исследования и научной гипотезы, полнота раскрытия и валидность дизайна исследования, соответствие выборки задачам исследования, соблюдение этических норм и существующих стандартов надлежащей практики (GLP, GCP, GCLP, QPBR и др.), наличие чёткого плана мероприятий по реализации проекта и др.