К вопросу об образовательной компоненте качества вуза

Г.Г. АЗГАЛЬДОВ, главный научный сотрудник Центрального экономико-математического института Российской академии наук, доктор экономических наук

А.В. КОСТИН, начальник управления оценки инновационных проектов ЗАО «Центр передачи технологий», кандидат экономических наук

В указе Президента РФ от 7 мая 2012 года «О мерах по реализации государственной политики в области образования и науки» одним из пунктов предписано «до 1 апреля 2013 года обеспечить формирование независимой системы оценки качества работы организаций, оказывающих социальные услуги, включая определение критериев эффективности работы таких организаций и введение публичных рейтингов их деятельности».

Сегодня авторы статьи под рубрикой «Дискуссия» представляют собственную разработку оценивания качества образовательных организаций высшего образования на основе методов квалиметрии, а также инициируют формирование национального рейтинга – Российского рейтинга вузов.

Общие положения

В соответствии с директивами Минобрнауки РФ¹, а также применительно к практике построения большинства зарубежных и отечественных методик рейтингования вузов, качество функционирования высших учебных заведений может быть представлено в виде «дерева», на первом уровне которого находятся три компоненты (сложные свойства) – как показано на рисунке 1.

Необходимо отметить, что в подавляющем большинстве случаев отечественные и зарубежные разработчики подобных методик (обычно называемых методиками рейтингования вузов) применяют такие алгоритмы количественного оценивания качества функционирования высших учебных заведений², которые позволяют любую совокупность однородных вузов (однородных по направленности обучения; по характеру финансирования деятельности; по ведущему – образовательному или исследовательскому – направлению их деятельности и др.) проранжировать так, что вузы из этой совокупности можно сопоставить между собой в шкале рангов (шкале порядка) с целью выяснить, какой из них лучше или хуже других. Но не насколько и тем более во сколько раз лучше или хуже (такое сопоставление обеспечивает только шкала отношений).

Понятно, что измерение (оценивание) качества вуза в шкале отношений даёт бóльшую и более точную информацию, чем измерение в шкале рангов. Неудивительно, что авторы настоящей статьи для своих исследований по рейтингованию вузов предпочли именно шкалу отношений. Сделаем ещё одно важное замечание. Как известно, методологию и проблематику количественного оценивания качества объектов любой природы (в том числе и в сфере педагогики, а это значит – и при рейтинговании вузов) изучает научная дисциплина квалиметрия. Поэтому здесь и в дальнейшем будем действовать в соответствии с разработанным в теоретической квалиметрии алгоритмом рейтингования качества функционирования вуза (разумеется, с учетом принятой выше шкалы отношений).

Применительно к отечественным вузам это рейтингование имеет статус национального (в отличие от глобального, позволяющего сравнивать не только отечественные, но и зарубежные вузы³). С учётом сказанного естественным является предложить ему название Российский рейтинг вузов (РРВ).

Основные положения РРВ определяются принятым в квалиметрии алгоритмом проведения квалиметрического анализа.

Определение ситуации оценивания качества вузов

Когда это не противоречит принципиальным основам квалиметрии, здесь и в дальнейшем будут применяться основополагающие термины из этой области знания. В частности, термины «ранжирование», «рейтинг», «рейтингование» используются в следующей трактовке.

Ранжирование (ранжировка) – 1) процесс упорядочения (по возрастанию или убыванию некоторого признака) совокупности объектов⁴ высшего образования (предметов или процессов) с целью получения информации о месте, занимаемом объектом по этому признаку среди других объектов совокупности; 2) результат упорядочения объектов по возрастанию или по убыванию некоторого признака.

Рейтинг⁵ вуза – место, занимаемое вузом в упорядоченном по убыванию (глобальном, национальном, региональном, отраслевом или др.) ранжированном списке. Причём его порядковый номер несёт количественную информацию о качестве (или о свойствах, составляющих качество) вуза в сравнении с другими вузами списка. Эта информация чаще всего бывает выражена в шкале порядка (в шкале рангов), а при выполнении некоторых условий – даже и в шкале отношений.

Рейтингование – процесс вычисления рейтинга вуза. Итак, основные характеристики, определяющие ситуацию оценивания вуза, указаны в таблице 1.

Увеличить изображение

Обычно в мировой практике используются три основные формы анализа функционирования вузов:

• одномерное ранжирование – имеет целью получение агрегированного показателя образовательной и исследовательской деятельности вуза;
• многомерное ранжирование – не соединяет оценку образовательной и исследовательской деятельности вузов в одном агрегированном показателе;
• классификация – система распределения вузов по группам на основе их характеристик: например, по направленности обучения (медицинские, сельскохозяйственные, строительные и т.д.).

С учётом ограничений объёма излагаемого материала здесь и в дальнейшем все необходимые пояснения будут даваться в основном применительно к выбранному для примера государственному вузу инженерной направленности, оцениваемому по принципам одномерного ранжирования. Адаптация излагаемой далее методологии применительно к другим видам вузов или к другим формам ранжировки не должна вызвать у читателя серьёзных затруднений.

Как уже отмечалось, описываемая технология анализа качества функционирования вуза в значительной степени опирается на механизм ранжирования. В свою очередь работу этого механизма применительно к задаче рейтингования вузов желательно (как следствие общей тенденции сближения с мировым сообществом) детерминировать согласованием с международной практикой. В этой связи отметим, что приводимый в дальнейшем материал, за небольшим исключением, соответствует духу и букве принятых мировым сообществом дв ух основополага ющих док ументов в области рейтингования вузов .

1. Берлинские принципы ранжирования высших учебных заведений. Приняты на конференции IREG-2 в 2006 году. Определяют требования, которым должны удовлетворять при рейтинговании вузов действия по постановке целей и задач, выбору методологии, определению «весов» критериев, сбору и обработке данных, а также определению формы представления результатов. Соблюдение этих принципов обеспечивает «хорошее ранжирование».

2. Критерии оценки методологий рейтингования «Правила аудита рейтингов» (IREG Ranking Audit Rules). Приняты в мае 2011 года исполнительным комитетом Наблюдательного совета Международной экспертной группы по определению рейтингов университетов (IREG) совместно с Организацией экономического сотрудничества и развития, ЮНЕСКО и Всемирным банком⁷.

Широкая известность и популярность этих двух документов привели к тому, что основанные на них рейтинги, несмотря на непрекращающуюся волну критики, рассматриваются большинством университетов как один из инструментов вхождения в глобальное пространство высшего образования и, по мнению некоторых современных исследователей, приобретают характер «навязчивой идеи» для международного университетского сообщества. Уже к настоящему времени существует как минимум 50 национальных рейтингов, зарегистрированных Обсерваторией по академическому ранжированию и совершенствованию, а также не менее 7 глобальных рейтингов. И их количество постоянно увеличивается. Вообще, рейтинги очень популярны у широкого круга пользователей. Университеты инвестируют значительное количество времени для участия в рейтингах, рассматривая их как один из инструментов маркетинговой политики, повышения конкурентоспособности.

А ряд ведущих российских университетов даже поставил в качестве целей реализации программ своего развития вхождение в международные рейтинги. Хотя при этом, согласно данным Европейской ассоциации университетов, международные (глобальные) рейтинги в настоящее время охватывают не более 3 процентов университетов мира (около 17 тыс.).

Но вернемся к теме создания Российского рейтинга вузов (РРВ). Главные принципы его методологии разработаны на основе критического анализа 19 зарубежных и международных методологий рейтингования с учетом специфики нашей страны. Данная методология должна обеспечить:

• надежную информацию о качестве деятельности вуза и положении того или иного из них среди остальных национальных вузов;
• учёт многообразия российской системы высшего образования и ее функций;
• информационную поддержку различных потребителей образовательных услуг, позволяющую через представление легко интерпретируемой информации ориентироваться в широком разнообразии вузов и предлагаемых ими услуг;
• содействие интеграции вузов в глобальное образовательное и исследовательское пространство, поскольку положение в рейтинге является важным сигналом их конкурентоспособности;
• функционирование РРВ как источника надежных данных для глобальных и региональных рейтингов.

Ключевые характеристики создания и функционирования РРВ изложены ниже в основных положениях методологии РРВ.

Основные положения методологии РРВ

1. Тип рейтинга: национальный.
2. Цель рейтинга: служить моделью при создании других российских национальных типов рейтингов. Задача рейтинга: предоставлять исходную информацию при создании других национальных типов рейтингов.
3. Целевые группы: основные потребители (абитуриенты, учащиеся, родители, преподаватели вузов), широкая аудитория (другие вузы, работодатели, СМИ, отдельные министерства и ведомства, НПО и НКО, экспертное сообщество).
4. Статус: учреждён и проводится государственными структурами.
5. Периодичность: ежегодная.
6. Объект рейтингования: все вузы РФ, в перспективе – вузы, входящие в глобальный список TOP-500.
7. Активность участия вузов в рейтинговании: в первые пять лет – 50 процентов вузов страны, в последующем – 90 процентов.
8. Предметные области рейтинга (например): инженерные вузы.
9. Регионы охвата: все регионы РФ. 
10. Уровни образования, затрагиваемые рейтингом: бакалавриат/специалитет, магистратура, аспирантура, докторантура.
11. Методология построения рейтинга: определение ситуации оценивания, построение «дерева свойств», определение «весов свойств», определение абсолютных и относительных значений показателей свойств, свёртка показателей и формирование рейтингов.
12. Результат рейтингования: ранжированный список вузов.
13. Ключевые проблемы, связанные с использованием: специфические проблемы квалиметрии.
14. Место российских вузов в международных (глобальных) рейтингах: определяется только после появления российских глобальных рейтингов.
15. Репутация рейтинга: эффективный и привлекательный показатель качества вуза для пользователей, не располагающих временем и ресурсами для поиска подробной информации о деятельности вуза; определяется только после накопления опыта применения РРВ.

После определения ситуации оценивания можно переходить к ключевому разделу статьи – конструированию «дерева показателей».

«Дерево показателей»

В начале статьи отмечалось, что её цель – правильный выбор тех показателей РРВ, которые дают информацию об образовательной компоненте функционирования вуза.

Чаще всего в процессе рейтингования эти показатели бывают представлены в виде одного или нескольких неупорядоченных списков, отражающих образовательную деятельность вуза с разной степенью полноты (в зависимости от того, какая организация составляет рейтинг).

В отличие от этого, в методологии квалиметрии, положенной в основу РРВ принят другой принцип формирования учитываемых показателей. А именно:

• во-первых, все показатели представлены не в виде определённого (хотя бы и ранжированного) списка, а в виде некоторой упорядоченной иерархической структуры, называемой в теории графов «дерево»;
• во-вторых, все показатели, кроме обычных требований, предусмотренных Берлинскими принципами, должны удовлетворять ещё трём требованиям:

На схеме будет показано такое «дерево», синтезированное на основе учёта опыта построения одномерных ранжировок вузов, разработанных самыми известными в мире глобальными и национальными организациями. Но нужно иметь в виду, что большая часть показателей, используемых в этих шести глобальных системах ранжирования, оценивают в основном исследовательскую деятельность вузов. Авторы считают такой подход принципиально неправильным – хотя бы потому, что в РРВ оценивается учебное заведение, а не научно-исследовательское учреждение.

Отметим, что «дерево» должно отражать и потребности различных целевых групп, удовлетворяемых вузом. Поэтому здесь должна отражаться информация и о результатах вложений в образование (возможность трудоустройства выпускников вуза или получение ими специальных знаний или навыков; наличие известных в академической среде преподавателей и научных сотрудников или возможность получения дополнительных доходов). Качественные ранжирования также должны предоставлять информацию об условиях потребления услуг (наличие спортплощадок и спортивных залов, студенческого общежития, предприятий питания и медицины). Поскольку для обозначения элементов «дерева» в разных источниках применяются неодинаковые термины-синонимы (например, параметр, индикатор, свойство, показатель и др.), здесь и в дальнейшем, как это принято в квалиметрии, будет использоваться термин «свойство». И, наконец, каждое из этих свойств должно удовлетворять требованиям релевантности8 и валидности⁹.

Для удобства «дерево» РРВ представлено как правосторонне направленное в нестрогой графовой форме (см. рисунок 2).

P.S. Остальные операции РРВ будут описаны в следующих статьях данной серии публикаций.

1. В данной статье анализируются три из четырех компонент, предложенных экспертами Минобрнауки (поскольку «Финансово-экономическая деятельность» уже входит в состав других компонент).
2. Термином «вузы» будут обозначаться университеты, институты, высшие школы и аналогичные им колледжи.
3. Разработка глобального рейтинга для отечественных вузов предусмотрена в ближайшем будущем.
4. Чаще всего, если не оговорено иное, объектом является вуз.
5. В западной литературе иногда вместо этого применяется термин «таблица лиг».
6. Физический износ относится только к материальным объектам.
7. IREG-Ranking Audit. Purpose, Criteria and Procedure // IREG Observatory on Academic Ranking and Excellence. 2011. URL: http://www.ireg-observatory.org/pdf/IREG_audit.pdf (date of access: 15.12.2011).
8. Релевантность (индикатора, показателя) – относительная значимость индикатора согласно экспертной оценке и мнению заинтересованных лиц.
9. Валидность (от франц. valide – законный, действительный) – правильность моделей и методов, а также процессов применения моделей и методов, проверенная чаще всего на основе экспертного анализа.