В России создан новый рейтинг вузов

Семь оттенков мониторинга

В России создан новый рейтинг вузов, а точнее вузов и их филиалов. Максимально объективный, основанный на большом массиве данных Минобрнауки РФ и показавший парадоксальные результаты.

Наш корреспондент встретился с коллективом исследователей, создавших рейтинг. На вопросы «АО» ответили директор Национального центра профессионально-общественной аккредитации Владимир НАВОДНОВ, руководитель IT-департамента Национального фонда поддержки инноваций в сфере образования Раниф ВИЛЬДАНОВ и методист Ольга РЫЖАКОВА.

– Владимир Григорьевич, одна из задач государственной политики, поставленная в майских указах президента, – проведение мониторинга деятельности государственных образовательных учреждений для оценки эффективности их работы и реорганизации неэффективных учреждений. Прошло пять лет. Задача решается. Но, очевидно, способы решения могут быть разными?

– Да, президент страны прямо поставил задачу – провести мониторинг, определить лучших/худших и принять меры. Причем, мы помним, поначалу речь шла только о государственных учреждениях, но со временем задача расширилась, и в процесс были вовлечены как государственные, так и негосударственные вузы.

Владимир НАВОДНОВ, доктор технических наук, профессор: – Фактически министерство построило рейтинг, состоящий из двух лиг: первая – «лига эффективных вузов», вторая – «лига неэффективных вузов». Если вуз выполнил 4 показателя и более – входит в первую лигу, если меньше – во вторую. Но жизнь гораздо многограннее, она состоит из оттенков. Мы взяли диапазон условно «от белого до черного», ввели полутона: «очень белый», «просто белый», «почти белый», «серенький», «очень серенький», «черный» и «очень черный».​

При проектировании технологии мониторинга нужно было решить три основные задачи: выбрать показатели, собрать по ним данные со всех (!) вузов РФ и произвести расчет по определенному алгоритму (формуле).

Как известно, для мониторинга была адаптирована методика государственной аккредитации для определения пороговых значений. Только когда двадцать лет назад она создавалась, в качестве порогового значения предлагалась нижняя квартиль, которая по каждому аккредитационному показателю делила вузы на 75 % лучших и 25 % худших. В мониторинге в качестве порогового значения была взята медиана, разделившая вузы пополам: на 50 % лучших и 50 % худших (см. диаг. 1). По каждому показателю мониторинга эффективности вуз попадает в одну из четырех зон: А – 25 % лучших, В – если входит в 50 % лучших, но не входит в область А, С – если значение показателя выше порогового, но не входит ни в область А, ни в область В, и, наконец, D – если значение показателя ниже порогового.

Что сделали работники профильного министерства? Когда в 2012 году они пороговые значения совместили с медианой, то сразу половина вузов стала «неэффективными». Это, конечно, был сильный удар. Последние годы медиана растет, а пороговые значения не меняются. Общая картина, таким образом, улучшается, но принципиально всё то же.

Фактически министерство построило рейтинг, состоящий из двух лиг: первая – «лига эффективных вузов», вторая – «лига неэффективных вузов». Если вуз выполнил 4 показателя и более – входит в первую лигу, если меньше – во вторую. Но жизнь гораздо многограннее, она состоит из оттенков. Мы взяли диапазон  условно «от белого до черного», ввели полутона: «очень белый», «просто белый», «почти белый», «серенький», «очень серенький», «черный» и «очень черный». Применили аналитическую модель, предложенную ещё в 1970-х годах консалтинговой группой McKinsey и компанией General Electric для оценки стратегических позиций бизнеса.

– Насколько я понимаю, если у нас один показатель – оценка будет либо A, либо B, либо C, либо D. А если два показателя или больше?

– Берем плоскость, разбиваем на квадраты, смотрим оценки по показателям и получаем общую оценку. Например, AA, если оценок две (см. рис. 1). Хотя есть тут один нюанс. Трудно сказать, какая оценка лучше – CA или ВB. И в этом случае очень удобно разбить участников на лиги. AA – «отличники», это лига 1. Тех, кто имеет одну пятерку, одну четверку – BA или AB, назовем лига 2 и так далее. Так мы распределили все вузы. Проблема только в том, что при мониторинге используются не два показателя, а семь. Поэтому нужно нарисовать такой квадрат не на плоскости, а в семимерном пространстве. Можете вообразить себе семимерное пространство?

 Сложная задача... Раниф Камилевич, программисты, вероятно, всё могут?

– Не всё, но многое. Мы создали такую программу, она лежит в свободном доступе на сайте msd-nica.ru. Система очень удобная: можно просто набрать наименование вуза и посмотреть, в какую лигу он вошел.

Модифицируя метод McKinsey на семимерное пространство (то есть 7 независимых показателей), мы разбили все российские вузы и их филиалы на лиги (см. табл. 1). В единой формуле, по которой производились расчеты, учтена специфика образовательных организаций (военных, медицинских, аграрных, творческих, спортивных, транспортных). Вместе с тем никаких весовых коэффициентов в рейтинге нет. Распределение ведется по сумме мест, поэтому результат получается максимально объективный.

– Интересно, какие вузы вошли в первую лигу?

– Национальный исследовательский ядерный университет «МИФИ», Национальный исследовательский Томский политехнический университет, Российский государственный университет нефти и газа (национальный исследовательский университет) им. И.М. Губкина (см. табл. 2).

– Владимир Григорьевич, а в какой же лиге оказался Московский государственный университет им. М.В. Ломоносова?

– Как ни странно, лидер глобальных рейтингов вошел в третью лигу (см. полное приложение по ссылке). И как вы думаете, почему? Образовательная деятельность – А. Научно-исследовательская деятельность – А. Международная деятельность/Приведенный контингент – оказывается, не так уж и много здесь иностранных студентов – оценка только B (чуть-чуть выше медианы). Финансово-экономическая деятельность – тоже B. Трудоустройство – удивительно, но тоже В. Дополнительный показатель – А. Но по заработной плате ППС – только С. Напомню, этот показатель рассчитывается локально, по регионам. Так вот, среди московских вузов МГУ не вошел даже в 50 % лучших.

– Кстати, любопытно, где в высшей школе самая большая заработная плата?

– Как правило, самые большие зарплаты – в негосударственных вузах. Например, мы построили диаграмму ранжирования зарплаты ППС в вузах Москвы (см. диаг. 2). На первом месте располагается Российская экономическая школа (РЭШ), на втором – с огромным отрывом Столичная финансово-гуманитарная академия, далее – Московская международная высшая школа бизнеса (МИРБИС), шестое место занимает НИУ ВШЭ. А вот МГУ среди московских вузов только на 97-й позиции.

Раниф ВИЛЬДАНОВ: – Модифицируя метод McKinsey на семимерное пространство (то есть 7 независимых показателей), мы разбили все российские вузы и их филиалы на лиги. В единой формуле, по которой производились расчеты, учтена специфика образовательных организаций (военных, медицинских, аграрных, творческих, спортивных, транспортных). Вместе с тем никаких весовых коэффициентов в рейтинге нет. Распределение ведется по сумме мест, поэтому результат получается максимально объективный.

– Ольга Евгеньевна, когда появится рейтинг по результатам мониторинга эффективности 2017 года?

– Мы работаем с открытыми данными. Как только летом информационно-аналитические материалы по результатам мониторинга деятельности образовательных организаций высшего образования за 2017 год будут выложены, сразу произведем расчеты. Полученный рейтинг планируем представить в сентябре на одном из вебинаров Учебно-консультационного центра (ukc-nica.ru).

Ольга РЫЖАКОВА: – Ближайшие перспективы исследования – сопоставить результаты рейтинга по мониторингу эффективности деятельности вузов за 2016 год с аналогичными данными за 2017 год. Полагаем также изучить динамику внутри лиг и между ними, выявить и оценить корреляционные связи высоких позиций образовательных организаций в рейтинге с особыми статусными характеристиками когорты ведущих вузов (федеральных, научно-исследовательских, опорных и других).

– Каковы перспективы исследования?

– Ближайшие перспективы исследования – сопоставить результаты рейтинга по мониторингу эффективности деятельности вузов за 2016 год с аналогичными данными за 2017 год. Полагаем также изучить динамику внутри лиг и между ними, выявить и оценить корреляционные связи высоких позиций образовательных организаций в рейтинге с особыми статусными характеристиками когорты ведущих вузов (федеральных, научно-исследовательских, опорных и других).

Беседовала Екатерина СИНДЕЕВА.