Рейтинг на основе рейтингов
Национальный агрегированный рейтинг – ответ на поручение Президента РФ
Для принятия решений
В России существует несколько вузовских рейтингов, и после заявления главы государства о необходимости создания собственных рейтинговых площадок возникает резонный вопрос о том, можно ли какой-то из них принять как базовый? Ведь правительству он нужен не столько для позиционирования отечественных вузов в глазах общественности, сколько как современный инструмент для принятия управленческих решений. Указанием на это можно назвать мнение министра науки и высшего образования РФ Валерия Фалькова, который, презентуя программу лидерства университетов, обозначил вузам три пути вхождения в нее. Один из путей – облегченный, когда в программу попадают вузы, доказавшие свою состоятельность в ряде академических рейтингов.
Гильдия экспертов в сфере профессионального образования взялась за решение непростой задачи задолго до ее постановки президентом. Поводом для создания Национального агрегированного рейтинга стали рекомендации Европейской ассоциации гарантии качества высшего образования (ENQA), в которой в прошлом году после скрупулезной экспертной проверки подтвердил свое полное членство Национальный центр профессионально-общественной аккредитации. В результате он был внесен в Европейский реестр аккредитационных агентств (EQAR) с задачей усовершенствовать процедуру постаккредитационного мониторинга с привлечением широкого экспертного сообщества.
– Понять европейцев можно, – рассуждает директор Национального центра профессионально-общественной аккредитации Владимир Наводнов. – На момент прохождения аккредитации в вузе, как правило, все хорошо. Но аккредитация выдается на шесть лет, и не понятно, что будет происходить в вузе через два-три-четыре года. EQUA обратила наше внимание на необходимость создания специальных механизмов, которые будут отслеживать деятельность вуза после прохождения аккредитации. Мы внимательно изучили зарубежный опыт и выяснили, что многие аккредагентства идут по пути создания так называемого постаккредитационного мониторинга. Задача, поставленная Владимиром Путиным, означает: либо строить собственный рейтинг, что затратно и непросто, так как не понятно, чем он будет лучше других, либо воспользоваться наработками, которые сегодня есть в России и попытаться построить суммарный рейтинг, который смог бы стать единой шкалой оценивания.
Девятка избранных
Свое решение Гильдия экспертов и Нацаккредцентр впервые представили на суд общественности в ноябре 2019 года. Это Национальный агрегированный рейтинг (best-edu.ru), основанный на данных уже существующих восьми российских рейтингов и открытых баз данных. В 2020 году в агрегацию попали уже девять, пополнившись рейтингом на основе индекса Хирша – по базе данных ресурса elibrary.ru, учитывающего все российские научные публикации. Если не говорить о наукометрическом показателе индекса Хирша – насколько он хорош или плох, – результаты вполне коррелируют с определением лидеров российского образования. На перспективу разработчики намерены привлечь к составлению рейтинга и другие базы данных: и Scopus, и WebOfScience.
Решая вопрос о том, какие рейтинги отбирать для агрегирования, разработчики сформулировали к ним четыре требования.
1. Публичность (полная информация о рейтинге имеется в открытом доступе).
2. Стабильность (существование не менее трех лет).
3. Массовость (чтобы оценивал хотя бы 100 вузов).
4. Периодичность (рейтинг интересен, если он хотя бы раз в год выдает свои новые результаты).
В результате отсева изначально остались всего четыре: «Интерфакс», «Первая миссия», RAEX и рейтинг востребованности РИА Новости. Но, кроме рейтингов, существуют и другие системы оценивания: например, профессионально-общественная аккредитация, мониторинг эффективности вузов, по результатам которых формируются открытые базы данных и которые довольно просто превращаются в рейтинги. Так к уже имеющейся четверке добавились данные мониторинга эффективности, профессионально-общественной аккредитации, данные по международному признанию вузов, по качеству обучения и рейтинг, рассчитанный на индексе Хирша. На их базе и строится агрегированный рейтинг.
Надо отметить, что из девяти рейтингов, входящих в агрегирование, только один – мониторинг эффективности – является государственной системой. Все остальные относятся к независимым системам оценивания. Таким образом, можно утверждать, что в России складываются системы независимого оценивания, и если вуз не попадает ни в одну из них, значит он является закрытым не только для оценщиков, но и для общественности.
Лидеры и аутсайдеры
Разработчики предложили новый инструментарий: математику, модель и методику металиг, – преобразовав рейтинги в таблицу лиг, представляющую четыре квартиля. Все исходные рейтинги разбиваются на квартили, далее для агрегирования используется векторный подход МакКинси-Абеля. Новшество состоит в том, что вместо традиционной линейной свертки с весовыми коэффициентами, к которым всегда было много вопросов, используется математический аппарат теории голосования в малых группах – метод свертки Борда и так называемая плюралитарная свертка. Еще одна новинка – так называемая «слабая» свертка.
Нам нужны свои площадки!
– Для меня очевидно абсолютно, что все эти международные рейтинги – это такой инструмент конкурентной борьбы на рынке труда, на рынке образования. Поэтому нам нужны, конечно, национальные рейтинги, нам нужны свои площадки, – акцентировал Владимир Путин в июне на встрече с членами Общественной палаты РФ.
К сожалению, исходные рейтинги не охватывают все вузы, поэтому специалисты Нацаккредцентра добавили к четырем квартилям пятую область, в которую вошли учебные заведения, не оцененные каждой системой. Проводя такое шкалирование, каждому рейтингу выставляется одна из пяти оценок: A, B, С, D и E – если вуз не оценен.
– В агрегированном рейтинге многое позаимствовано из спорта, поскольку, мне кажется, в области оценки там продвинулись намного дальше, чем в педагогике, – признается В. Наводнов. – В некоторых видах спорта участнику соревнований даются три попытки – главное, чтобы он показал хороший результат. В таком варианте используется так называемая «слабая» свертка одного из трех, то есть из трех попыток берется лучшая. Эта идея была положена в основу сворачивания рейтингов. Разные позиции в рейтингах трактуются как попытки в спортивных соревнованиях. В нашем случае предлагается свертка, когда из девяти рейтингов в зачет идут шесть лучших. Можно задать вопрос, почему шесть, а не пять или семь? Это конструктивная особенность. Можно пять и семь – так же, как можно в зачет брать одну попытку из трех, или одну попытку из пяти, или две из семи. Таковы «правила игры».
Из девяти оценок для каждого вуза были выбраны шесть лучших, причем у каждого могут быть и свои рейтинги: не одни и те же шесть, а разные. А затем используется так называемая процедура Борда: оценке A присваивается 4 балла, B – 3 балла, С – 2 балла, D – 1 балл. И ноль баллов получает вуз, если нет оценки. Далее подсчитывается общее число баллов. Максимальное значение – 24. В результате, все вузы страны разделяются на десять лиг: премьер-лига с суммой баллов 24, первая – лига с суммой баллов от 23 до 21, вторая – 20-19 и так далее. В последней лиге сумма баллов совсем низкая – от 4 до 0.
Век недолог
Считается, что первый рейтинг американских колледжей был опубликован в 1983 году в журнале «U.S. News&WorldReport». С течением времени рейтингов становилось все больше, и сегодня бум на них буквально захлестнул систему высшего образования. Но исследования говорят о том, что большинство рейтингов существует недолго – в основном пару-тройку лет.
Категории вузов
По результатам за 2020 год максимальные 24 балла набрали вузы, которые объединены в так называемую премьер-лигу. Вузов, у которых все шесть оценок A, набралось 26. Чтобы было удобно анализировать полученные данные, выделены категории участников проекта «5-100», федеральные университеты, национальные исследовательские университеты и опорные вузы. В премьер-лиге НАР-2020 большую часть составляют университеты проекта «5-100» и национальные исследовательские университеты. К слову, в прошлом году таких вузов в высшей лиге насчитывалось 24. Взамен двух выбывших в нынешнем рейтинге появились пять новых: Российский экономический университет им. Г.В. Плеханова, Балтийский федеральный университет, Мордовский государственный университет, Московский педагогический университет и Алтайский государственный университет.
Если говорить о категориях учебных заведений, то в премьер-лиге большая часть – национальные исследовательские университеты (15), которые являются участниками проекта «5-100» (14), 2 федеральных и 1 опорный университеты. Из 26 лидеров более половины – вузы Москвы (14), 3 – Санкт-Петербурга, 2 – Томска, по одному Барнаула, Белгорода, Казани, Калининграда, Нижнего Новгорода, Самары и Саранска.
Для лучшего понимания лиги объединены в зоны. Первая зона – лидеры российского образования, вузы нынешней премьер-лиги. «Зеленая» зона включает первую, вторую и третью лиги. Это те вузы, которые занимают лидирующие места во многих российских рейтингах и системах оценивания. В «желтой» зоне находятся вузы с четвертой по шестую лиги: они стабильно работают, но не полностью реализовали свой потенциал. В «красной» зоне вузы с седьмой по девятую лиги. Их руководство, по-видимому, не слишком озабочено репутацией учебного заведения, так как они практически не представлены в рейтингах, не проходят процедуру внешней независимой оценки, профессионально-общественной аккредитации, студенты не участвуют в престижных конкурсах и олимпиадах, их научная активность низкая. Однако нет достаточных оснований считать, что качество образования в этих вузах тоже низкое: вероятно, они не попадают в поле зрения независимых систем оценивания и, следовательно, информационно закрыты для общественности.
Интересны результаты НАР-2020 в разрезе категорий вузов. Например, из 21 вуза, попавшего в проект «5-100», 14 расположены в премьер-лиге, 5 – в первой лиге и только 2 – во второй. Практически все федеральные университеты тоже в «зеленой» зоне – кроме одного. Национальные исследовательские университеты аналогично расположены в «зеленой» зоне, причем большая часть из них – в премьер-лиге. Опорные же университеты ровным слоем распределились по «зеленой» и «желтой» зонам.
Филиалы – в «красной» зоне
Одна из основных задач, стоявших перед разработчиками Национального агрегированного рейтинга, – попытаться отследить деятельность вузов, прошедших профессионально-общественную аккредитацию. Здесь идет счет и по вузам, и по программам. На сегодня Нацаккредцентром аккредитованы около 800 программ. Большая часть вузов, реализующих эти программы, находится в «зеленой» зоне, причем большинство – в премьер-лиге и первой лиге. Получается, семь восьмых программ, прошедших аккредитацию в Нацаккредцентре, реализуют вузы, занявшие верхние позиции в Национальном агрегированном рейтинге. Это косвенно подтверждает высокое качество профессионально-общественной аккредитации, проводимой Нацаккредцентром.
По сути, задача, которая ставилась поначалу, – создать механизм мониторинга по годам, – начинает работать. С агрегированным рейтингом можно начинать отслеживать постаккредитационные действия вузов, и можно гарантировать: если каждый год вуз не опускается по лигам, значит результаты у него хорошие и дополнительные исследования не требуются.
Также в нынешнем году впервые в России был построен рейтинг филиалов вузов. Правда, в агрегацию по вполне понятным причинам были включены только пять рейтингов из девяти. Например, RAEX «не видит» филиалы, как и рейтинг «Интерфакс». Поэтому 728 филиалов российских вузов оценивались по рейтингам «Первая миссия», данным мониторинга эффективности, международного признания, профессионально-общественной аккредитации и качества образования. Здесь используется свертка «три лучших из пяти». Как и вузы, филиалы разделены на десять лиг – от первой до десятой.
В первую лигу попали с суммой баллов Борда от 10 до 12, во вторую – 9 баллов, в третью – 8 баллов и так далее. В 2020 году распределение филиалов по лигам резко отличается от того, что показали вузы. Значительная часть сосредоточена в… четвертой и пятой лигах. Почти 200 из 700 расположены в «красной» зоне, и это вызывает определенное опасение за них.
Если вуз «провалился»…
При конструировании Национального агрегированного рейтинга впервые применен мягкий математический аппарат, позволяющий минимизировать недостатки отдельных систем оценивания и учитывать самые значительные достижения вуза. Если вуз «провалился» в каких-то рейтингах, это не страшно. Важно, чтобы он показывал как можно лучшие результаты в других.
Альтернатива международным рейтингам
Хотя российские рейтинги уступают в популярности и значимости международным рейтингам, национальный агрегированный рейтинг, объединяющий сильные стороны разрозненных российских процедур оценивания вузов, может стать реальной альтернативой для позиционирования и конкуренции на рынке образования.
Самая популярная оценка
Конечно же, у Национального агрегированного рейтинга есть определенные минусы. И разработчики сами называют их, рассчитывая на обратную связь от вузовского сообщества. Проводя отбор, они столкнулись с тем, что немногие существующие рейтинги и системы оценивания действительно являются массовыми. Только некоторые из них оценивают большинство вузов, остальные – лишь незначительную часть. Чем в большем количестве рейтингов вуз участвует, тем выше вероятность занять более высокое положение в НАР.
Рассматривая оценки в рейтингах, разработчики построили специальную схему, которая получила название «ковер». Оказалось, что самая популярная оценка вузов (28%) – E (0 баллов). Если прибавить оценки C («двойки»), то получится, что почти 50% российских вузов сегодня либо «двоечники», либо те, которых системы оценивания «не видят».
Вошедшие в расчет рейтинги с большой долей вероятности могут коррелировать друг с другом. Индикатор, использованный в одном рейтинге, может показать себя и в других. Яркий пример – индикатор «Наука», который присутствует в львиной доле российских рейтингов. В этом случае идет определенный двойной счет, который будет оказывать более сильное влияние на повышение позиции вуза, чем индикатор, учитывающийся лишь в одном рейтинге. Кроме того, учет индикаторов, которые можно получить из открытых источников, может и не охватывать все аспекты деятельности вузов.
Защита от произвола
Где может применяться Национальный агрегированный рейтинг? Во-первых, стать основой мониторинга образовательных программ – в том числе вузов, прошедших профессионально-общественную аккредитацию, – в качестве так называемого постаккредитационного мониторинга. Во-вторых, применение агрегированного рейтинга может позволить сделать оценку вузов максимально прозрачной, избежать субъективности оценивания при проведении контрольно-надзорных мероприятий. Это очень важно, поскольку сегодня при контрольно-надзорных проверках судьбу программы и даже иногда всего вуза может решить субъективная оценка одного человека. И НАР – когда огромное количество информации сводится для агрегации в единую оценку – становится определенной защитой от произвола при проведении контрольно-надзорных процедур. Наконец, агрегированный рейтинг может быть полезен самой широкой аудитории: не только абитуриентам при выборе вуза, но и, например, администрации вуза для самодиагностики и стратегического планирования.
А в целом, хотя российские рейтинги сегодня уступают в популярности и значимости международным, Национальный агрегированный рейтинг, объединяющий сильные стороны разрозненных российских процедур оценивания вузов, может стать реальной альтернативой для позиционирования и конкуренции высших учебных заведений на рынке образования.
РЕЙТИНГ – НЕ ДИАГНОЗ
Виктор БОЛОТОВ, председатель Национального аккредитационного совета, член Общественного совета при Минобрнауки РФ:
– В мире рейтинги используют для выделения лучших практик и зон риска, на которые нужно обратить внимание. У нас часто их используют для квалификации и дисквалификации, что неверно. И в этом плане агрегированный рейтинг позволяет на самом деле учитывать, выделять лучшие практики, зоны риска. Только, упаси бог, чтобы, глядя на эти результаты, не принимались решения о лишении аккредитации. Рейтинг не диагноз, он дает информацию для размышления руководству вуза, министерства, страны.
РЕЙТИНГОВАЯ КУЛЬТУРА
Алексей КЛЮЕВ, главный редактор журнала «Университетское управление. Практика и анализ»:
– Мне кажется, мы переходим к качественно новой ситуации, когда в нашем сообществе сформировалась определенная рейтинговая культура, и в этом плане мы уже можем рассматривать рейтинг как новый инструмент развития. Отличие рейтинга от мониторинга в том, что он является инструментом, который меняет управленческую парадигму внутри высшей школы.
Идеология мониторинга предполагает важность выхода на определенный средний уровень и удержания на нем. У рейтингов принципиально другая идея – процесс развития ориентирован на лидерские позиции. В этом плане лучшие управленческие практики, которые генерируют лидеры в этой системе, могут стать интересными сообществу и действительно выполнять роль внутреннего инструмента развития.
Мы очень осторожно начинаем использовать рейтинги для регулирования процессов в высшей школе, но уже сегодня можно говорить об их более широком применении. Этот инструмент безусловно должен стать основанием для процедуры аккредитации, упрощения конкурсных процедур для вузов, завоевавших определенные позиции в рейтингах. В целом, если мы говорим о проектном финансировании высшей школы, рейтинги могли бы быть одним из управленческих индикаторов для принятия решений о поддержке тех или иных вузов.
Мы понимаем, что часть рейтингов носит заказной характер, поэтому суммарный рейтинг позволяет преодолеть недоверие, сделать оценку более многомерной и тем самым более объективной.
Считаю, что общая рейтинговая рамка позволяет уйти от позиции самолюбования и университетского нарциссизма: когда мы увидели себя лидерами в каком-то одном рейтинге, и это замечательно, а все остальные рейтинги – так себе.
Развитие рейтинговой культуры ускоряет внедрение новой оценки, которая меняет парадигму управления в высшей школе. Ориентация на лидеров – как смена курса: не на середнячков, а на лидеров, не на норму, а на превосходство. Это очень важная идеология, которую поддерживает Нацаккредцентр своей работой. И в этом ее ценность.
ТОЧКА ОТСЧЕТА
Галина МОТОВА, директор Гильдии экспертов в сфере профессионального образования, вице-президент Азиатско-Тихоокеанской сети гарантии качества (APQN):
– Сегодня к рейтингам можно относиться по-разному. Каждый отдельный из них имеет как достоинства, так и недостатки. Главная претензия – их субъективизм в методиках расчета. Суммирование этих субъективных позиций, на наш взгляд, может дать относительно объективную оценку. И, наверное, ни одна другая система, ни один другой механизм оценки не могут дать возможность такого широкого охвата мнений. Национальный агрегированный рейтинг – это точка отсчета для развития и дальнейшего совершенствования вуза, прежде всего его внутренних систем качества, которая позволит ему развиваться.
ОТЕЧЕСТВЕННЫЙ ВАРИАНТ
Владимир ЗЕРНОВ, ректор Российского нового университета, председатель совета Ассоциации частных образовательных организаций высшего образования:
– Встречи, которые прошли в позапрошлом и прошлом годах в республиках Средней Азии, Турции и Иране, показали, что отечественный вариант мирового рейтинга необходим. С его помощью мы расширили бы узкие места развития образования, а их у нас очень много.
Работа Нацаккредцентра важна и полезна, но этого недостаточно. На мой взгляд, у нас нет четкого и ясного инструмента оценки эффективности вузов. Если сделать рейтинг по эффективности использования ресурсов, какая будет интересная картина!
Критерии рейтингов, безусловно, должны мотивировать вузы и конкретных исследователей на конкурентоспособность в мире. Это не только индекс Хирша, это конкретные технологии, конкретный вклад в экономику.