В основе ресурсного подхода лежит допущение о прямой связи ресурсов и результатов научно-технической деятельности. Однако, подобное допущение не соответствует реальным закономерностям функционирования научно-технической системы и не подтверждается практикой. В отличие от материального производства, в таких специфических системах, как научно-техническая, затраты не характеризуют достаточно полно ни состояние системы, ни достигаемые ею результаты.
Вместе с тем существует корреляция между затратами на научно-техническую деятельность и результатами указанной деятельности. Это свидетельствует об определенной неполноте (некорректности) и чисто деятельностного подхода.
В связи с этим наиболее часто используется комбинированный подход к оценке НТПл на основе учета совокупности, как ресурсов научно-технической деятельности, так и результатов этой деятельности в виде новых научных знаний и их практического применения.
При наличии количественных значений каждого из показателей, характеризующих НТПл, возможны два подхода к дальнейшей оценке потенциала:
- векторный, при котором НТПл представляется в виде набора чисел, отражающих отдельные стороны и проявления потенциала;
- скалярный, при котором производится "свертка" частных показателей в интегральный (агрегированный) показатель, принимаемый за численную оценку потенциала (индикатор потенциала).
Первый подход обычно применяется в задачах управления, нацеленных на всестороннюю, углубленную оценку составляющих и проявлений НТПл, изыскание резервов развития и формирования потенциала, разработку мероприятий по использованию этих резервов. Второй подход незаменим при сравнительном анализе потенциалов различных научно-технических систем, а также при анализе и прогнозировании тенденций и траекторий развития потенциала. Наиболее эффективным является совместное использование указанных представлений оценки в рамках комплексного анализа деятельности научно-технической системы. При этом оценка НТПл в целом и оценка отдельных его составляющих выступают как взаимодополняющие и взаимообогащающие методы анализа развития научно-технической системы.
Выбор оптимальной операции "свертки", позволяющей получать интегральный показатель, достаточно объективно характеризующий оценку НТПл, является непростой теоретической и практической задачей, включающей в себя как выбор вида функции агрегирования, так и "взвешивание" отдельных входящих в нее показателей. Наиболее частое применение находят два метода:
- представление оценки НТПл в виде среднего геометрического из значений отдельных показателей (мультипликативная свертка). При этом, благодаря свойству среднего геометрического достигать максимума при равенстве показателей (при их заданной сумме) оценка наиболее сильно реагирует на изменение наименьшего из показателей, или, в том случае, когда значения показателей равны, то на равномерный их рост;
- представление оценки НТПл в виде взвешенной суммы значений показателей (аддитивная свертка). При этом предполагается равноправность (абсолютная взаимозаменяемость) всех показателей, а содержательная разнородность показателей и их разномасштабность учитываются путем установления соответствующих весовых коэффициентов (определяемых статистическим или экспертным путем, либо, исходя из принципа взаимозаменяемости показателей, определяемых по критерию разумной компенсации уменьшения значения одного из показателей увеличением значения другого показателя).
1.3.3 Основные оценочные показатели продуктивности и результативности научно-технической деятельности
В процессе функционирования научно-технических систем создается поток научной продукции, в которой воплощены интеллектуальные результаты исследовательской деятельности.
Уникальность, разнородность, высокая неопределенность научных результатов, невозможность зачастую определить важность и полезность научного результата в момент его получения, отсутствие прямой связи между затратами труда и результатами исследований затрудняют количественное измерение и соизмерение данных результатов, и, соответственно, продуктивности деятельности отдельных научно-технических работников и научно-технических систем в целом.
Вопрос о критериях оценки научных результатов является одним из центральных в прикладном науковедение.
Обычно считается, что любое законченное исследование содержит в себе новые научные результаты, приобретающие признание как таковые только после их публикации и приводящие к приросту НТПл, причем величина прироста отражает прирост полученной при этом новой научно-технической информации, новых научных знаний, имеющих потенциальную ценность (продуктивность научного труда).
Одним из распространенных подходов к оценке продуктивности научного труда является отражение ее следующим набором показателей:
- публикационно-информационные показатели (количество и объем опубликованных статей, монографий, количество поставленных докладов, количество изобретений и т.п.);
- показатели завершения диссертационных исследований (количество защит кандидатских и докторских диссертаций);
- показатели признания результатов научной общественностью (премии, награды, почетные звания и т.п.).
Одним из обоснований использования набора показателей данного типа является то, что объективно существует ряд факторов, действующих в направлении выравнивания ценности результатов одинакового вида (например, для кандидатских диссертаций ими являются стандартный набор требований к диссертационной работе, одинаковый срок подготовки диссертации аспирантами, тщательное рецензирование и обсуждение диссертаций и т.п.).
Несмотря на удобство такого подхода, он имеет ряд недостатков. Главный из них состоит в том, что ценность материально-вещественных носителей информации, имеющих одинаковое количественное измерение и, поэтому, рассматриваемых как равнозначные, далеко не равны, вследствие чего полученные при данном подходе выводы во многом носят ограниченный характер. Вместе с тем, вполне вероятно, что между количеством (объемом) опубликованной информации и ее качеством (значимостью) существует определенная, более сложная зависимость.
Кроме того, правомерность часто используемого отражения значимости научной информации путем учета уровня знания (уровень отдельной организации, региональный уровень, национальный уровень, международный уровень) оспаривается рядом науковедов исходя из того, что при задержке опубликования, обычно пропорциональной уровню издания, снижается оперативность информации и происходит ее определенное устаревание, т.е. произведение "массы" научных результатов на "оперативность" ее доставки потребителям оказывается примерно равной для различных публикаций.
В целом же подобный набор показателей вызывает устойчивую критику ученых, утверждающих о неправомерности формализации принципиально неформализуемых качественных параметров, однако имеет и большое количество сторонников, считающих, что формализованные системы отличаются от субъективного оценочного механизма в лучшую сторону тем, что поддаются контролю и последующему улучшению, и, самое главное, позволяют проводить в научно-исследовательских организациях единую целенаправленную политику.
Широкое распространение за рубежом получил так называемый наукаметрический подход к оценке продуктивности научного труды через оценку качества научного результата путем учета количества цитирований соответствующей публикации. Однако он также обладает рядом хорошо известных недостатков. Определенные типы публикаций (например, с описанием стандартных методик наблюдений и экспериментов) цитируются чаще Других независимо от их качества. Цитирование обусловлено слишком большим количеством субъективных моментов, мотивы авторов публикаций при применении ими ссылочного аппарата слишком различны. Трудно разделить позитивное, негативное и другие виды цитирования. Наличие при цитировании временного лага, превышающего 2-3 года, делает принципиально невозможным проведение оперативных оценок научных результатов. Кроме того, единственный в мире указатель научных ссылок - американский журнал "Science Citation Index" (SCI) охватывает при анализе далеко не все научные издания и научные публикации.
Несмотря на общее, массовое нежелание ученых всех стран мира подвергаться какой-либо целевой оценке, за исключением общепринятого вынесения своих результатов в виде публикаций на суд научной общественности, психологически меньшую остроту возражений вызывает экспертная оценка (так называемая "оценка равных"). Действительно, при отсутствии возможности объективного измерения какого-либо явления или результата, компетентная экспертная оценка позволяет зачастую принимать решения, близкие к оптимальным. Целесообразно отметить, что научно-общественное признание результата научного исследования является показателем, отражающим именно экспертную оценку данного результата. Вместе с тем, экспертная оценка также не является универсальным методом решения проблемы ввиду таких недостатков, как невозможность полностью устранить личностную мотивацию эксперта, обеспечить единый подход различных экспертов к оценке одной и той же информации, уменьшить быстро нарастающее расхождение оценок экспертов при количестве учитываемых факторов более 3-4.
Попыткой преодолеть недостатки вышеизложенных методов, совместив одновременно их достоинства, является использование комбинированного подхода, при котором оценка научного результата по какому-либо содержательному критерию осуществляется экспертами, но не произвольно, а путем установления места результата на специально сконструированной инструментальной шкале с заранее определенными рангами возможных уровней интенсивности проявления некоторого критерия. По окончании процедуры экспертизы проводится анализ устойчивости оценок отдельных экспертов внутри всей совокупности экспертов. Конструирование измерительной шкалы по каждому из критериев осуществляется исходя из требования линейного нарастания интенсивности словесного описания проявления критерия от ранга к рангу данной шкалы, что, в соответствии с обобщенным психофизическим законом Вебера-Фехнера означает рост реального уровня интенсивности проявления критерия по закону показательной функции. Итоговая оценка научного результата характеризуется логарифмом показательной функции, равным сумме численных значений рангов данного результата на инструментальных шкалах, соответствующих различным учитываемым критериям. Обычно, в качестве минимального набора, учитываются такие критерии научного результата, как новизна информации и информационная емкость результата.