Хроники НАР
Как создавался и рос Национальный агрегированный рейтинг
С чего все начиналось
История разработки Национального агрегированного рейтинга (НАР) началась в 2019 году, когда Европейская ассоциация гарантии качества высшего образования (ENQA) после экспертной проверки и последующего включения Нацаккредцентра в Европейский реестр аккредитационных агентств (EQAR) рекомендовала организации и Нацаккредсовету усовершенствовать процедуру постаккредитационного мониторинга с привлечением широкого экспертного сообщества.
Тогда возникла идея – создать агрегатор и собрать в него имеющиеся в России независимые оценки вузов, что позволило бы проводить мониторинг после того, как образовательная организация прошла аккредитацию. В результате и был пос-троен Национальный агрегированный рейтинг.
НАР также можно считать превентивным ответом на поручение Президента РФ создать национальные рейтинги вузов, озвученное на встрече с членами Общественной палаты РФ в июне 2020 года. Показательно, что за решение этой задачи разработчики рейтинга – Гильдия экспертов в сфере профессионального образования – взялись ещё до поручения главы государства. В результате этой работы НАР был представлен общественности ещё осенью 2019 года[1].
Как был построен НАР
В основу первого НАР легли результаты 8 ведущих национальных рейтингов[2], удовлетворяющих условиям:
- публичности (открытый доступ);
- стабильности (не менее 3 лет);
- массовости (ранжированы не менее 100 вузов);
- периодичности (составляется ежегодно).
Для того, чтобы в итоге из нескольких рейтингов построить единый «суммарный», использовалась новая методика, получившая название «МетАЛиг» (Методика анализа лиг).
Данная методика предполагала:
1. Переход от мест в рейтингах к лигам.
Рейтинги преобразовывались в таблицу лиг, что позволило агрегировать абсолютно разные способы оценки вуза в единую оценку, а также взглянуть на систему в целом и с разных ракурсов.
2. Использование векторного подхода МакКинси-Абеля.
Каждый вуз оценивался через вектор оценок.
3. Использование математического аппарата Теории голосования в малых группах (свертки Борда, Кондорсе, Симпсона, плюралитарная и другие) для свертывания в единую таблицу лиг.
Для каждого вуза из 8 оценок выбрали 5 лучших. Это можно сравнить с оценкой результатов в спорте, когда, например, при прыжках в длину выбирается лучший результат из трех попыток.
4. Введение «слабых» сверток – B n, m.
- Лига определялась, исходя из суммы мест (баллов), где «А» – 4 балла; «В» – 3 балла; «С» – 2 балла; «D» – 1 балл; «E» – 0 баллов.
- Максимальное суммарное значение индекса Борда: 5×4 =20
- В Премьер-лиге (см. таблицу 1) были представлены вузы, которые по пяти показателям из восьми получили оценку «А», т. е. векторная оценка (А, А, А, А, А) и индекс Борда = 20.
- Минимальное суммарное значение индекса Борда: 0×4=0.
Что касается методологии НАР текущего периода[3], сегодня агрегацию проходят уже 11 рейтингов (см. рис. 1). Для сравнения, в 2020 году рассмат-ривалось 9, а в 2021-м – 8 рейтингов. При этом условия, которым эти системы оценивания должны удовлетворять, не изменились.
Рейтинги, рассматриваемые в НАР-2022
1. Национальный рейтинг университетов – Интерфакс
2. Рейтинг «Первая миссия» (на базе проекта «Лучшие образовательные программы инновационной России»)
3. Рейтинги университетов RAEX
4. Рейтинг по индексу Хирша
5. Рейтинг по данным Мониторинга эффективности
6. Рейтинг «Оценка качества обучения»
7. Рейтинг по результатам профессионально-общественной аккредитации
8. Рейтинг «Международное признание»
9. Рейтинг «Forbes»
10. Рейтинг «Национальное признание»
11. Рейтинг «Superjob»
Вузы РФ, включенные в Премьер-лигу по результатам НАР – 2019
«Рейтинг – не диагноз», а инструмент развития
В чём преимущества и польза нового «агрегированного» подхода к оценке деятельности российских вузов? Как подчеркнул в своём докладе на XII Международной российской конференции исследователей высшего образования[4] Владимир Наводнов, такая методика «может позволить отказаться от монопольного оценивания и перехода к сетевому оцениванию на основе распределенных данных».
Эксперт также добавил, что подобный подход может резко поднять независимость и объективность оценки (что очень важно при проведении контрольно-надзорных мероприятий – прим. ред.), а недостатки отдельных систем оценивания позволяет минимизировать мягкий математический аппарат, используемый при конструировании агрегированных процедур.
Выступившая на той же конференции заместитель директора Нацаккредцентра и главный редактор «АО» Галина Мотова отметила, что используемая математическая модель – прозрачна, и при составлении рейтинга агрегируются разные системы оценивания, а не только рейтинговые (например, мониторинг эффективности Минобрнауки РФ), у каждой из которых есть свои целевые установки, коэффициенты и методики расчёта.
По мнению спикера, «чем больше будет таких устойчивых публичных систем, тем лучше. Система агрегирования открыта, и фактически любой участник может сделать перерасчёт».
Рейтинг можно считать инструментом отслеживания постаккредитационных действий вузов (собственно, такая задача изначально ставилась разработчиками НАР) и гарантировать: если каждый год вуз не опускается по лигам, значит результаты у него хорошие и дополнительные исследования не требуются.
Ещё один немаловажный профит – в том, что результаты НАР может использовать самый широкий круг пользователей: не только абитуриенты при выборе вуза, но и, например, администрация образовательной организации ВО для самодиагностики и планирования.
Это делает рейтинг реальным инструментом развития, дающим пищу для размышления, а не «диагнозом», по меткому замечанию председателя Нацаккредсовета Виктора Болотова:
– В мире рейтинги используют для выделения лучших практик и зон риска, на которые нужно обратить внимание. У нас часто их используют для квалификации и дисквалификации, что неверно. И в этом плане агрегированный рейтинг позволяет на самом деле учитывать, выделять лучшие практики, зоны риска. Только, упаси бог, чтобы, глядя на эти результаты, не принимались решения о лишении аккредитации. Рейтинг не диагноз, он дает информацию для размышления руководству вуза, министерства, страны.
Главное здесь – продолжить процесс формирования рейтинговой культуры страны как непременного условия внедрения новых, независимых инструментов оценивания.
От истоков к итогам
НАР прошёл уже несколько этапов развития, поэтому уместно будет вернуться к истокам и подвести некоторые промежуточные итоги. Представляя пилотный рейтинг в ноябре 2019 года, Владимир Наводнов говорил и о перспективах проекта. В частности, речь шла:
- о включении филиалов;
- об увеличении количества агрегируемых рейтингов;
- о построении «предметных» агрегированных рейтингов.
Сегодня, спустя почти 3 года с момента презентации НАР, можно констатировать, что намеченные тогда цели достигнуты, а именно:
- филиалы учитываются в НАР с 2020 года;
- количество агрегируемых рейтингов, как уже было сказано выше, увеличено до 11-ти;
- в июле 2021 года на заседании Нацаккредсовета представлен[5] Предметный национальный агрегированный рейтинг (ПНАР).
По словам Владимира Наводнова, ПНАР может помочь в проведении постаккредитационного и, возможно, предаккредитационного мониторинга.
Кроме того, «после аккредитации с помощью рейтинга можно будет ежегодно наблюдать и за изменениями, которые происходят как в целом с вузами, так и с кластерами аккредитованных программ», причём для этого экспертам не придется специально беспокоить образовательные организации запросами необходимой информации – для составления ПНАР используются открытые данные.
Также Владимир Наводнов подчеркивает, что такой рейтинг будет полезен и абитуриентам, определившимся с направлением подготовки, но ещё не выбравшим вуз. А возможно и государственные структуры будут прибегать к данным агрегированных рейтингов: в конце концов, с их помощью можно получить не только актуальную, но и действительно объективную информацию.
Таким образом, сегодня в РФ активно развивается инфраструктура независимой оценки качества образования, включающая рейтинги, профессионально-общественную и международную аккредитацию, оценку условий осуществления образовательной деятельности и оценку достижений студентов и выпускников. Для удобства использования информации, размещённой в различных источниках, создан портал best edu.ru, который является агрегатором всех систем независимого оценивания высшего образования в России. Создание такого ресурса позволяет конструировать различные агрегированные рейтинги и, в том числе, проводить сравнение независимых оценщиков.
Подготовила Людмила Сульдина
[1] Подробнее: https://bit.ly/ao137news1
[2] Подробнее:https://bit.ly/ao137news2
[3] Подробнее: best-edu.ru/ratings/national/nacionalnyj-agregirovannyj-rejting
[4] Подробнее: akvobr.ru/new/publications/336
[5] Подробнее: akvobr.ru/new/publications/299
Что почитать о НАР в «АО»
АО-132. В поисках качества образования. Репортаж с XII Международной конференции исследователей качества образования. Часть 1:
akvobr.ru/new/publications/336
АО-128. Важный шаг вперед: от институционального уровня к предметному:
akvobr.ru/new/publications/299
АО-125. Система в страхе не может развиваться. О независимой оценке высшего образования:
akvobr.ru/new/publications/208
АО-122. Агрегация для аккредитации (О новой методике построения агрегированных рейтингов):
akvobr.ru/new/publications/148
АО-120. Рейтинг на основе рейтингов. Национальный агрегированный рейтинг – ответ на поручение Президента РФ:
akvobr.ru/new/publications/89
Владимир Наводнов:
– В агрегированном рейтинге многое позаимствовано из спорта, поскольку, мне кажется, в области оценки там продвинулись намного дальше, чем в педагогике. В некоторых видах спорта участнику соревнований даются три попытки – главное, чтобы он показал хороший результат. В таком варианте используется так называемая «слабая» свертка одного из трех, то есть из трех попыток берется лучшая. Эта идея была положена в основу сворачивания рейтингов.
Владимир Наводнов:
– Технология блокчейн, в основе которой лежат так называемые «распределенные базы данных», является одним из удивительнейших изобретений последнего времени. Одновременно и в мире, и в России бурно развиваются различные системы оценивания – в форматах рейтингов, независимой аккредитации, создания различных информационных баз данных. Если мы посмотрим в целом на создание и развитие таких систем оценивания и возьмем «ограничители» – в виде стабильности, открытости, массовости и так далее, то в России можно насчитать более 50 таких систем (отечественных и зарубежных). Чем это не распределенная база данных?
Сегодня в России есть 24 рейтинга, из которых 13 носят глобальный характер и 11 – национальный, работают 18 ведущих аккредагентств – 10 зарубежных и 8 национальных, а также успешно функционируют центры по тестированию знаний студентов, по проведению национальных олимпиад. Это большое «состояние», которое развивается и является независимым от органов управления.
Владимир Наводнов:
– Важно создать систему, которая не зависела бы от конкретных людей – в первую очередь, от чиновников. Если мы создадим такую технологию, которая будет еще и максимально объективной, тогда доверие к оценке будет только возрастать. При независимом оценивании вузы будут развиваться, соревнуясь друг с другом, а если этого не будет, то можно не ждать их развития. Создание агрегированных рейтингов, построенных на большом количестве распределенных и независимых процедур оценивания, – серьезный шаг в нужном направлении. Национальный агрегированный институциональный рейтинг и Предметный агрегированный рейтинг – зования, обладающий свойствами массовости, многомерности, высокой степени независимости. Такие рейтинги обладают рядом привлекательных свойств, за что они были очень хорошо приняты академической общественностью.