По итогам научно-медицинской экспертизы проекта НТП экспертная комиссия принимает одно из следующих решений:
- Проект заслуживает безусловной поддержки (данное решение может быть принято если проект получил не менее 80% от максимальной возможного количества баллов и не имеет принципиальных замечаний);
- Проект заслуживает поддержки (данное решение может быть принято если проект получил не менее 60% от максимальной возможного количества баллов и/или имеет ряд замечаний, не умоляющих научную и практическую ценность проекта в целом);
- Проект может быть поддержан при условии при условии доработки указанных замечаний (данное решение может быть принято если проект получил не менее 40% от максимальной возможного количества баллов и имеет ряд замечаний касающихся качества составления проекта, его научной и практической ценности, при этом замечания могут быть устранены в ходе доработки проекта);
- Проект не заслуживает поддержки (данное решение может быть принято если проект получил менее 40% от максимальной возможного количества баллов и имеет ряд замечаний касающихся качества составления проекта, его научной и практической ценности, при этом объективно устранение замечаний в рамках представленного проекта не возможно и требуется переработка всей его концепции).
При проведении экспертизы учитывается наличие или отсутствие обстоятельств, затрудняющих объективную экспертизу. Это может быть связано с «конфликтом интересов».
Факт «конфликта интересов» может быть обусловлен несовпадением научных интересов эксперта и содержания проекта; нахождением эксперта в прошлом или настоящем в партнерских, финансовых, родственных отношениях с руководителем или исполнителями проекта; наличием отношений научного руководства с руководителем (или с одним из основных исполнителей проекта).
Экспертная оценка дается на основе анализа научного содержания проекта и научного потенциала автора (или авторского коллектива).
Результаты научно-медицинской экспертизы оформляются в виде заключения (Приложение №2) и представляются в курирующий департамент уполномоченного органа - Департамент науки и человеческих ресурсов МЗ РК.
К дальнейшему рассмотрению и утверждению в уполномоченном органе могут быть допущены проекты НТП, в отношении которых экспертная комиссия вынесла решение о поддержке, а также проекты, доработанные с учетом всех вынесенных экспертами замечаний.
4.2Порядок проведения научно-медицинской экспертизы проектов научно-технических программ и бюджетных заявок
Завершенные НТП, т.е. промежуточные и заключительные отчеты по научно-техническим программам, должны оценивать по трем критериям:
1. Научное качество (оценивается по следующим показателям - уровень научной новизны, научный уровень полученных результатов, качество составления отчета НТП).
Уровень научной новизны (k1.1) определяется степенью новизны предлагаемого пути решения проблемы исследования.
Научный уровень полученных результатов (k1.2) определяется степенью полноты решения поставленной проблемы / вопроса.
Качество составления отчета НТП (k1.3) определяется наличием и степенью полноты раскрытия ключевых разделов отчета (введение, материалы и методы, результаты исследования и их обсуждение, заключение и др.), определяемых существующими правилами и ГОСТами в области представления результатов научных исследований.
2. Значимость для науки и практики (оценивается по следующим показателям – степень научной значимости, значимость для практики, уровень и объемы внедрения).
Степень научной значимости (k2.1) определяется уровнем и приоритетностью решенных в ходе реализации НТП проблем и задач для медицинской науки.
Значимость для практики (k2.2) определяется степенью соответствия полученных результатов запросам современного практического здравоохранения.
Уровень и объемы внедрения (k2.3) осуществляется путём оценки характера (лечебно-профилактический, социальный, экономический, научный) и уровня (на уровне республики, нескольких организаций или одной организации здравоохранения) полученного и/или предполагаемого эффекта от внедрения результатов исследования.
3. Объективность (оценивается по следующим показателям – степень доказательности результатов, соответствие плану НТП).
Степень доказательности результатов (k3.1) представляет собой уровень обоснованности результатов исследования: заключения, выводов и рекомендаций.
Соответствие плану НТП (k3.2) определяется как степень выполнения заявленных задач проекта в ходе реализации программы в целом и её отдельных этапов.
Внедрение полученных результатов (k3.3) определяется уровнем трансферта полученных знаний и технологий в практическое здравоохранение и медицинскую науку.
Каждый показатель оценивается по 10 бальной шкале с градацией по уровням (Приложение №3):
- «высокий» 7-10 баллов,
- «относительно высокий» 4-6 баллов,
- «недостаточно высокий» 1-3 балла
Выбор конкретного балла в рамках каждого уровня оценки осуществляется в соответствии с характером соответствия отчета применяемому критерию (Таблица 1).
Основные этапы научно-медицинской экспертизы:
Оценку завершенных НТП на первом этапе осуществляют Ученые советы организаций-исполнителей. Каждый отчет НТП на уровне организации-исполнителя должен оцениваться несколькими независимыми экспертами без согласования их мнений. В качестве экспертов должны выступать хорошо известные специалисты – практики и исследователи, компетентные в той области, в которой представлен отчет НИР.
После получения положительного заключения Ученого совета по месту выполнения работы каждая завершенная НТП направляется в уполномоченный орган – МЗ РК, который привлекает рабочий орган для организации проведения независимой экспертизы.
Рабочий орган привлекает к экспертизе отчетов НТП компетентных в данной области специалистов из числа независимых экспертов – для рассмотрения каждого отчета формируется экспертная комиссия из 3-х экспертов.
Члены экспертной комиссии выставляет балльные оценки на каждому из рассматриваемых отчетов НТП. После этого данные суммируются по каждому критерию и усредняются, что позволяет нивелировать субъективизм отдельных экспертов по тем или иным критериям.
Каждому отчету выставляется суммарная балльная оценка КƩk (максимально возможный балл который может получить отчет составляет 90) и процент (К%), который набрал проект от максимально возможного балла.
К% = ((k1.1 + k1.2 + k1.3 + k2.1 + k2.2 + k2.3 + k3.1 + k3.2 + k3.3) × 100) / 110
Наряду с бальной оценкой, экспертная комиссия выносит конкретные замечания и предложения по рассматриваемому проекту НТП. При этом особое внимание должно уделяться научной стилистике изложения и полноте решения поставленных целей и задач, соответствию отчета установленным правилам и структуре написания отчета НТП. Ключевыми аспектами при оценке отчета являются методология и дизайн исследования, соблюдение этических норм и существующих стандартов надлежащей практики (GLP, GCP, GCLP, QPBR и др.), степень достижения конечных результатов, качество представления и интерпретации результатов исследования и др.
Результаты научно-медицинской экспертизы оформляются в виде заключения (Приложение №4) и представляются в курирующий департамент уполномоченного органа - Департамент науки и человеческих ресурсов МЗ РК.
По итогам научно-медицинской экспертизы отчета НТП экспертная комиссия принимает одно из следующих решений:
- Результаты исследования заслуживают безусловного одобрения (данное решение может быть принято если отчет получил не менее 80% от максимальной возможного количества баллов и не имеет принципиальных замечаний);
- Результаты исследования заслуживают одобрения (данное решение может быть принято если отчет получил не менее 60% от максимальной возможного количества баллов и/или имеет ряд замечаний, не умоляющих научную и практическую ценность полученных результатов);
- Результаты исследования могут быть одобрены, при условии доработки указанных замечаний (данное решение может быть принято если отчет получил не менее 40% от максимальной возможного количества баллов и имеет ряд замечаний касающихся качества составления отчета, его научной и практической ценности, при этом замечания могут быть устранены в ходе доработки отчета);
- Результаты исследования не заслуживают одобрения (данное решение может быть принято если отчет получил менее 40% от максимальной возможного количества баллов и имеет ряд замечаний касающихся качества составления отчета, его научной и практической ценности, при этом объективно устранение замечаний в рамках представленного отчета не возможно и требуется переработка всего документа).
Заключение
Проблема разработки методологических подходов к оценке планируемых научно-исследовательских проектов и результатов деятельности организаций науки по выполнению НТП в области здравоохранения является актуальной и практически значимой в контексте принятия Кодекса Республики Казахстан «О здоровье народа и системе здравоохранения», закрепившего нормы о проведении научно-медицинской экспертизы, и нового Закона о науке РК, определившего механизмы проведения экспертизы в системе научных исследований. Потребность в системе оценивания научно-исследовательской деятельности связана с ростом затрат государства, поиском более эффективных механизмов финансирования по результатам деятельности, инструментов обратной связи между результатами и ресурсами, гибкого перераспределения ресурсов между государственными организациями науки в системе здравоохранения.