1 - Очень плохой. Критерий отражен в поверхностной и неудовлетворительной манере.
2 - Плохой. Есть серьезные неотъемлемые слабости относительно рассматриваемого критерия.
3 - Достаточный. Несмотря на то что заявка на проект раскрывает данный критерий достаточно широко, есть существенные слабости, которые нуждаются в исправлении.
4 - Хороший. Заявка на проект освещает данный критерию хорошо, хотя возможны определенные усовершенствования.
5 - Превосходный. Заявка на проект успешно освещает все соответствующие аспекты рассматриваемого критерия. Любые недостатки незначительны.
Заявки на проект представляются университетами, научно-исследовательскими институтами и другими общественными исследовательскими организациями в соответствии с установленными критериями преемственности.
При этом, эксперты оценивают каждый проект по соответствию критерию целиком, а не отдельным его подкритериям. Подкритерии - вопросы, которые эксперт должен рассмотреть в оценке данного критерия.
Процедура оценки включает следующие шаги:
1. Первый шаг включает самооценку преемственности каждой заявки. Каждая заявка должна удовлетворять соответствующим национальным критериям преемственности.
2. Второй шаг заключается в индивидуальной оценке заявки экспертами/представителями, назначенными Советом.
3. Третий шаг - коллегиальное рассмотрение заявок на основе индивидуальных оценок и принятие решения о выделении финансирования.
Эффективные инструменты оценки заявок на научные проекты используются Европейской комиссией, организующей конкурсы в рамках Седьмой рамочной программы FP7 [4,5]. При этом независимые эксперты осуществляют оценку представленных проектов по трем основным критериям:
Критерий научной и технологической новизны (Science and technology criterion) – включающий оценку:
- верности концепции и качества целей (Soundedness of concept and quality of objectives) – данный показатель оценивает собственно идею проекта
- новизны (Progress beyond state-of-the-art) – по данному показателю необходимо продемонстрировать знание того, что есть (данные литературного обзора), а затем просто и ясно сказать, что будет сделано нового;
- качества и эффективности предлагаемой научной/технологической методологии и плана работ – данный показатель отражает оценку разбивки целей на задачи и подзадачи, показывающую, что исследователь знает, как будет решать задачу, которую сам себе поставил.
Критерий возможности внедрения проекта (Implementation) – включающий оценку:
- адекватности структуры и процедур менеджмента проекта;
- адекватности уровня и опыта каждого участника;
- качества консорциума как целого коллектива (взаимное дополнение и баланс областей компетентности участников);
- адекватности распределения ресурсов (людей, оборудования) и его обоснования.
Критерий значимости проекта (Impact), включающий оценку:
- соответствия итога (contribution) ожидаемому импакту, указанному в рабочей программе проекта;
- адекватность мер, принятых для распространения (dissemination) результатов проекта, и учет вопросов интеллектуальной собственности.
Каждый критерий оценивается от 0 до 5 баллов с возможностью оценки отдельных подкритериев. Независимые эксперты проводят оценку заявок согласно рекомендациям Европейской Комиссии по единой схеме, исходя из установленных критериев. Для прохождения заявки по каждому из критериев должно быть набрано не менее 3 баллов из 5 возможных, а суммарная оценка должна быть не менее 10 баллов (максимальный балл - 15). По каждому из критериев возможна оценка с использованием половинных баллов (т.е. 3,5, 4,5 и т.п.). Рассмотрение заявки прекращается, если по одному из критериев набрано 2 и менее баллов. Оценка заявок проводится закрыто и дистанционно, подающий заявку узнает только о конечном решении экспертов.
Вместе с тем, специфика проведения исследований в области здравоохранения, включающая вопросы этического регулирования и возможности дальнейшего применения разработок в медицинской практике, а также необходимость соблюдения специализированных стандартов научных исследований в области здравоохранения (GLP, GCP, GCLP, QPBR и др.) требует включения в процесс экспертизы ряда специфических критериев и показателей.
3. Анализ международного опыта разработки критериев научно-медицинской экспертизы
Разработка эффективных критериев для проведения научно-медицинской экспертизы является важным условием для внедрения научно-обоснованных принципов принятия управленческих решений уполномоченными органами в области здравоохранения.
Изучение международного опыта свидетельствует о наличии специфических инструментов и определенного общепринятого перечня критериев оценки качества научных исследований в области здравоохранения.
К критериям оценки научных и исследовательских проектов финансируемых в рамках грантовых программ, организуемых Национальным институтом здоровья США (National Institute of Health, USA) [5] и его афилиированными центрами (Национальный институт рака и др.) относятся:
Критерий значимости (Significance), основанный на оценке проекта со следующих позиций:
- насколько важную проблему планируется изучать;
- если цели достижимы, как это будет способствовать развитию научных знаний и клинической практики;
- как результаты изучения будут влиять на концепции, методы, технологии, способы лечения, услуги и профилактические мероприятия, используемые в данной области медицины.
Критерий оценки методологического подхода (Approach), основанный на оценке проекта с позиций:
- насколько адекватно разработаны, интегрированы и мотивированы концептуальная и клиническая структура, дизайн, методы и анализ в отношении целей и задач проекта;
- насколько полноценно заявитель проекта распознал потенциальную проблемную область и рассмотрел все возможные альтернативы.
Критерий инновационности (Innovation) , основанный на оценке проекта с позиций:
- насколько проект оригинален и инновационен, т.е. например, насколько проект бросает вызов существующим парадигмам и клинической практике, направлена ли инновационная гипотеза на развитие определенной области.
- предполагает ли проект разработку новых концепций, подходов, методологий, инструментов и технологий в изучаемой области здравоохранения.
Критерий оценки кадрового потенциала (Investigators), основанный на оценке проекта с позиций:
- насколько соответствующе подготовлены исследователи для выполнения данного исследования;
- насколько заявляемый проект соответствует уровню опыта исследователей, вовлекаемых в проект;
Критерий оценки среды проекта (Environment), основанный на оценке проекта с позиций:
- насколько научная среда вносит вклад в возможность достижения успешных результатов;
- какую извлекает пользу заявляемое исследование из научной среды проекта и вовлекаемой в проект популяции, или использует возможные пути сотрудничества;
- имеется ли подтверждение институциональной поддержки.
Согласно Инструкции «Оценка планируемых и завершенных научно-исследовательских и опытно-конструкторских разработок», разработанной Министерством здравоохранения Республики Беларусь (05 декабря 2006 года, Регистрационный № 175-1206) предложен ряд критериев оценки планируемых и завершенных научно-исследовательских и опытно-конструкторских работ (НТП) в системе Минздрава Республики Беларусь [6].
Планируемые НТП оцениваются по трем направлениям: характеристика идеи темы НТП (критерий «новизна»), характеристика ожидаемого результата критерий «значимость для науки и практики»), характеристика исполнителей и вероятности положительного решения проблемы (критерий «объективность»).
Критерий «новизна» отражает наличие в ожидаемых результатах научной деятельности новых научных знаний, которые могут характеризоваться в пределах от уже известного (новизна отсутствует, идея темы общеизвестна -- оценивается в «0» баллов) до высокой (исследование проводится впервые в мире, планируется получить конкурентоспособный научный результат, соответствующий мировой новизне -- оценивается в 7–10 баллов). Промежуточное значение занимают показатели критерия «относительно высокая научная новизна» – характеризует планируемые темы НТП, выполняемые впервые в стране (оцениваются в 4–6 баллов) и «недостаточно высокая научная новизна», характеризующая исследования, новизна которых будет на уровне учреждения-исполнителя (оценивается в 1–3 балла).
Критерий «значимость для науки и практики» раскрывается через следующие показатели:
Показатель «степень воздействия ожидаемого результата на науку и практику», отражающий степень воздействия ожидаемого научного результата на науку, экономику, социальную сферу, практику здравоохранения, которое может быть: высоким – окажет кардинальное воздействие на дальнейшее развитие науки и практики (оценивается в 7–10 баллов), относительно высоким – окажет существенное воздействие на дальнейшее развитие науки и практики (оценивается в 4–6 баллов), недостаточно высоким (оценивается в 1–3 балла), значимость отсутствует – не будет иметь значения для развития науки и практики (оценивается в «0» баллов).
Показатель «актуальность планируемой НТП», отражающий предполагаемую степень соответствия идеи планируемой НТП запросам науки и практического здравоохранения. Этот показатель может быть высоким, если имеет первостепенное значение для науки и практики (оценивается в 7–10 баллов), относительно высоким, если исследование имеет важное значение для дальнейшего развития науки и практики (оценивается от 4 до 6 баллов), недостаточно высоким, если исследование имеет определенное значение для науки и практики (оценивается в 1–3 балла) или неактуальным, если планируемое исследование не соответствует запросам и задачам науки и практики (оценивается в «0» баллов).