К вопросу об исследовательской компоненте качества вуза

Г.Г. АЗГАЛЬДОВ, главный научный сотрудник Центрального экономико-математического института Российской академии наук, доктор экономических наук

А.В. КОСТИН, начальник управления оценки инновационных проектов ЗАО «Центр передачи технологий», кандидат экономических наук

В мартовском (№62) и сентябрьском (№65) номерах журнала «АО» авторами были рассмотрены две из трех компонент качества функционирования вуза –  образовательная и международная. Предлагаемая сегодня заключительная публикация посвящена третьей компоненте – исследовательской. Под этим термином понимаются все виды творческой деятельности сотрудников вуза (преподавателей, студентов, обслуживающего персонала): научная работа, публикационная работа (статьи, монографии), работа по созданию интеллектуальной собственности. Также в статье поясняются некоторые операции, выполнение которых предусмотрено методикой построения Российского рейтинга вузов (РРВ)¹.

Упорядочение свойств «дерева» по номерам.

В предыдущих статьях этой серии были выявлены свойства, входящие в «образовательную» и «международную» компоненты качества функционирования вуза. В данной статье представлены свойства, входящие в третью компоненту – «исследовательскую деятельность». Таким образом, станет возможным сконструировать полное «дерево свойств» качества вуза. Главное предназначение такого полного дерева – служить инструментом для определения значений коэффициентов относительной важности, называемых в квалиметрии «коэффициентами весомости (к.в.)» и обозначаемых латинской буквой G.

Свойства на дереве нумеруются в порядке, показанном на рисунке 2 (начиная с последнего, самого высокого яруса).

Рисунок 1.

«Поддерево свойств», характеризующих исследовательскую компоненту качества функционирования вуза

Увеличить изображение.

Заметим, что «дерево» на рисунке 2 приведено здесь только для иллюстрации порядка нумерации свойств и, конечно же, отличается от реального «дерева качества» функционирования вуза.

Рисунок 2.

Последовательность нумерации свойств на «дереве свойств»

Определение значений коэффициентов важности: основные понятия.

Коэффициент важности (весомости) свойства (к.в.): количественная характеристика важности (значимости, весомости) данного свойства среди других свойств. (Хотя правильнее говорить «к.в. показателя свойства», для простоты будем употреблять термин «к.в. свойства». Кроме того, учитывая большое количество индексов при показателях к.в., будем в некоторых случаях изображать эти показатели более крупным шрифтом.)

Ненормированный групповой к.в. G^"_i': такой к.в., что он характеризует важность свойства только по отношению к i'-ым свойствам, входящим в одну с ним группу (i'=[1, n'], где n' – количество свойств в группе). Например, как показано на рисунке 3.

Рисунок 3.

Ненормированные групповые коэффициенты важности

Причем,

где 0 < А << ∞.

Нормированный групповой к.в. G^'_i': такой G^'_i', что выполняется дополнительное условие:

Тогда 0 ≤ G^'_i' < 1.

Нормированный групповой к.в. G^'_i' получается из ненормированного группового к.в. G^'_i' , с помощью операции нормирования:

Ярусный к.в. Gi (в дальнейшем для простоты называемый просто к.в.): такой к.в., что он характеризует важность свойства по отношению к любому другому свойству, входящему не только в одну с ним группу, но и в один с ним ярус.

Ярусные к.в. – всегда нормированы, т.е. 0 ≤ G < 1.

Кроме того, в пределах каждого яруса дерева всегда обеспечивается:

Свойства на «дереве» нумеруются так, как показано на рисунке 3.

При определении значений к.в. соблюдается общий принцип: к.в. желательно определять аналитическим методом. Если же по ситуации оценивания этого сделать нельзя или очень сложно (мало времени или нет необходимых данных), то применяется экспертный метод. Кратко рассмотрим эти методы.

Аналитический метод определения значений к.в.

Существует несколько разновидностей этого метода. Одни из них основаны на применении корреляционно-регрессионного анализа. В другой разновидности аналитического метода определения G_i принимаются пропорциональными затратам, необходимым на обеспечение проявления (существования) i-го свойства. Существуют разновидности аналитических методов, основанные и на иных принципах. Но на практике аналитические методы используют не больше, чем в 5 процентах случаев, а в 95 процентах для определения к.в. используют экспертный метод.

С учетом ограниченного объема статьи, будем рассматривать не аналитический, а только экспертный метод. Причем применительно только к упрощенному (а не к приближенному или точному) методу оценивания качества. Интересующимся аналитическими методами определения к.в. советуем обратиться к другим работам по квалиметрии (см. ссылки 1, 2 или 4).

Экспертный метод определения значений к.в.

В соответствии с изложенным в пособиях по упрощенному методу квалиметрии (например, см. ссылку [2]), численность экспертной группы составляет (r) 7-10 человек, в зависимости от сложности объекта. На каждого эксперта техническая группа (ТГ) заготавливает индивидуальную анкету для определения значений к.в. (вид такой анкеты применительно к дереву на рисунке 3 приведен в таблице 1).

Таблица 1.

Пример индивидуальной анкеты для экспертного определения значений групповых ненормированных к.в. G^'_i' и ее заполнение применительно к дереву на рисунке 3

Рассмотрим порядок проведения опроса ведущим из организационной группы (ОГ) (применительно к дереву на рисунке 3 и примеру индивидуальной анкеты в таблице 1):

1. Экспертов рассаживают за столами в один или два ряда, в порядке присвоенных им номеров.

2. Перед ними на расстоянии ≤ 1,5‑2 метра ТГ укрепляет лист ватмана с изображением «дерева свойств» (или раздает каждому эксперту копию этого «дерева»).

3. Ведущий предлагает экспертам независимо друг от друга для группы, помещенной в начале анкеты (свойства 1 и 2), выбрать самое важное свойство – с точки зрения того влияния, которое это свойство оказывает на связанное с ним свойство предыдущего яруса дерева (свойство 7). Для него применяется и записывается в графу «1-й тур» значения G^'_i' = 100%. Пусть это будет свойство 2 (т.е. G^'₂ = 100).

Затем для оставшегося в группе свойства 1 путем сравнения его со свойством 2 определяется: во сколько раз (или на сколько процентов) оно менее важно, чем свойство 2, имеющее G^'₂ = 100%. Например, эксперт назначает G^'₁ = 80%. Аналогичная процедура применяется и тогда, когда в группе больше двух свойств. Свойства в группе могут иметь одинаковую важность. Но, по крайней мере, для одного из них должно быть G^'_i' = 100%.

4. Ведущий опрашивает экспертов в порядке номеров о выставленных ими значениях ненормированного коэффициента важности G^'_i'.

5. Если разброс оценок у экспертов небольшой (≤ 25%), то ведущий предлагает экспертам перейти к назначению G^'_i' для следующей группы, помещенной в анкете.

6. Если разброс > 25%, ведущий (из ОГ) устраивает краткое обсуждение, во время которого эксперты мотивируют вынесенные ими оценки и, таким образом, обмениваются дополнительной информацией.

7. Затем повторяется процедура, аналогичная пункту 3. Ее результаты (без оглашения, анонимно) эксперты записывают в графу анкеты «2-й тур».

8. После этого аналогичным образом определяются значения G^'_i' и для всех остальных групп, помещенных в анкету.

Порядок обработки результатов экспертного опроса

ТГ заносит данные из индивидуальных анкет в сводную анкету. В ней для каждого свойства определяется среднее значение G'i' по всем экспертам:

где k – номер эксперта; r – количество экспертов.

Затем в этой же сводной анкете ненормированные значения средние G^'_i' путем операции нормировки (в пределах каждой группы) переводятся в нормированные средние групповые значения G^'_i' (см. формулу в начале данной темы, где знак средней опущен).

Нормирование к.в. по ярусам «дерева»

Пусть после нормировки по группам были получены средние к.в. G^'_i', показанные на рисунке 4. Эти значения ТГ записывает на «дереве свойств» в числителе дроби, помещенной в прямоугольнике на каждом свойстве. При этом, все G^'_i образуются из G^'_i' путем применения общей для «дерева» нумерации (см. рисунок 4). То есть индекс i^' (кодирующий номер свойства в каждой группе) заменяется на индекс i, кодирующий номер свойства по всему дереву.

Рисунок 4.

«Дерево», подготовленное к вычислению значений к.в. по ярусам

Порядок нормировки по ярусам покажем на примере для свойства 1.

Очевидно, что G₉ = G^'₉ и G₆ = G^'₆.

Проверкой правильности вычислений служит выполнение для каждого яруса условия:

БИБЛИОГРАФИЯ

1. Азгальдов Г.Г. Теория и практика оценки качества товаров. Основы квалиметрии. – М., Экономика, 1982.
2. Азгальдов Г.Г., Костин А.В., Садовов В.В. Квалиметрия: первоначальные сведения. – М., Высшая школа, 2010.
3. Райхман Э.П., Азгальдов Г.Г. Экспертные методы в оценке качества товаров. – М.,: Экономика, 1974.
4. Квалиметрия для всех: Учеб. пособие/ Азгальдов Г.Г., Костин А.В., Садовов. В.В. – М.: ИнформЗнание, 2012. – 166 с.

1. Дерево свойств «Качество образования в вузе (рейтинг вуза)» – http://www.labrate.ru/kostin/quality-edu-tree.html Источник: стр.157-159,