В поисках качества образования

Независимая оценка. Агрегированная?

На то, что оценка качества образования не должна быть зависимой, в своем докладе сделал акцент директор Национального центра профессионально-общественной аккредитации Владимир Навод­нов. Его выступление называлось «Практика использования распределенных баз данных для формирования агрегированной независимой оценки качества образования» и было посвящено новому подходу к оцениванию университетов. Нацаккредцентр для такой оценки использует не собственные данные, а распределенные базы данных, поэтому результат получается непредвзятым, что особенно актуально в условиях, когда оценивание деятельности вузов, заложенное в основе государственной аккредитации, сегодня во многом является монопольным. Специалистов Нацаккредцентра на попытку оценить качество образования на основе распределенных баз данных вдохновил успех технологии блокчейн.

Из существующих независимых систем оценивания в Нацаккредцентре выделили рейтинги, различные виды олимпиад, независимое тестирование, независимую аккредитацию и базы данных публикаций. Чтобы провести минимальный отбор наиболее надежных систем, выдвинуты три критерия: массовость (оценка более 100 объектов), публичность (информация находится в открытом доступе в интернете) и стабильность (организация работает хотя бы три года). Пропустив через это сито все организации, занимающиеся оценкой качества образования в России, отобрали 43 сис­темы независимого оценивания, из которых 22 организации – зарубежные. Информация собирается на сайте «Агрегатор независимой оценки высшего образования» (best-edu.ru), а для свертки оценок в единую систему специалисты разработали математическую модель МетАЛиг (метод анализа лиг).

В предыдущих номерах журнала «АО» мы уже рассказывали о том, как происходит агрегация. Напомним, что в результате вузы распределяются не по местам, а по нескольким лигам в зависимости от набранных баллов.

Оценивание, напомнил Владимир Наводнов, происходит на двух уровнях: образовательной организации в целом (институциональное оценивание) и на уровне образовательных программ (предметное оценивание). Поэтому можно говорить о глобальном – если брать в расчет международный агрегированный рейтинг, или национальном агрегированном рейтинге – если речь идет о национальном подходе. То же самое происходит на предметном уровне, где строятся предметный глобальный и национальный агрегированные рейтинги.

Национальный агрегированный рейтинг основывается на данных, полученных из отобранных рейтингов и открытых баз данных. В прошлом году их было 9, а в 2021-м осталось 8, так как некогда популярный рейтинг РИА Новости в этом году не вышел. Сегодня агрегацию проходят рейтинги «Интер­факс», RAEX, «Первая миссия», «Оценка качества обучения», «Международное признание», результаты мониторинга эффективности профессионально-общественной аккредитации и Индекс Хирша. После агрегирования вузы распределяются по 10 лигам, которые, в свою очередь, входят в три зоны – зеленую, желтую и красную.

Кстати, выводы недавно завершившегося конкурса программы «Приоритет-2030» перекликаются с агрегированной оценкой. Более 80% вузов из премьер-лиги Национального агрегированного рейтинга попали в программу «Приоритет-2030».  Это говорит о том, что итоги основаны на экспертных оценках и хорошо коррелируются с результатами, полученными в агрегации восьми систем оценивания.

– Мы предложили новую методику оценивания, которая, на наш взгляд, может позволить отказаться от монопольного оценивания и перехода к сетевому оцениванию на основе распределенных данных, – считает Владимир Наводнов. – Думается, такой подход может резко поднять независимость и объективность оценки. При конструировании агрегированных процедур мягкий математический аппарат позволяет минимизировать недостатки отдельных систем оценивания.

– Прозрачная математическая модель фактически использует результаты других систем оценивания, – добавила исполнительный директор Гильдии экспертов в сфере профессионального образования Галина Мотова. – Это не только рейтинговые системы, но и, например, мониторинг эффективности, который проводит Министерство науки и образования РФ, Индекс Хирша или результаты тестирования, показывающие достижения студента. В данном случае каждая из систем оценивания предлагает свои целевые установки, коэффициенты, методики расчета, а мы только их агрегируем. И чем больше будет таких устойчивых публичных систем, тем лучше. Система агрегирования открыта, и фактически любой участник может сделать перерасчет.

Агрегируемых систем оценивания уже в следующем году может стать снова 9. Кандидат на агрегирование – рейтинг Forbes, вышедший в нынешнем году в третий раз и удовлетворяющий теперь всем трем требованиям.

От совершенства к лидерству

Исследователи Высшей школы экономики представили доклад «Амбассадоры стратегических изменений в российской магистратуре». Они рассказали о результатах опроса проректоров вузов. В своем исследовании на тему «Ландшафт российской магистратуры» эксперты попытались прояснить, какие лучшие модели магистратуры появляются в университете, какие стратегии управленческие команды используют для реализации этих моделей. Все это исследователи сделали через две объяснительные рамки: академического лидерства и академического совершенства.

– Эти словосочетания звучат часто, – напомнила директор центра университетского партнёрства НИУ ВШЭ Анна Гармонова. – Поэтому мы попытались объяснить, что это значит в измеримых показателях, и посмотреть, как управленческие команды вузов используют эти стратегии для улучшения качества образования.

В научном дискурсе, говоря о стратегии развития университетов, используются такие концепты, как академическое лидерство и академическое совершенство. Зачастую они звучат как синонимы, но вместе с тем между ними есть принципиальная разница.

– Если мы говорим об академическом лидерстве, – уточнила эксперт из НИУ ВШЭ Евгения Опфер, – то это ориентация на достижение конкретных показателей, нормативный подход к выполнению тех или иных требований: будь то публикационная активность, соответствие различным требованиям как образовательных стандартов, так и международных рейтингов. Если говорим об академическом совершенстве, речь идет, скорее, о качественных изменениях, главная идея которых – формирование так называемой питательной среды для талантов. По сути, это формирование благоприятной инфраструктуры, которая позволит развивать в вузе как науку на высоком уровне, так и обучение с включением и научных разработок, и ориентации на запросы работодателя. Мы не говорим о поляризации этих понятий, одно не отрицает другое. Но академическое лидерство может стать следствием достижения академического совершенства.

Чтобы выявить и типологизировать стратегии, которые выбирают управленческие команды российских университетов, исследователи провели серию интервью с представителями администрации университетов. Затем методом математического анализа заложили несколько категорий, маркеров, по которым определяли, идет вуз к академическому лидерству или совершенству, а, возможно, происходит смешение этих стратегических подходов.

Как выяснилось в результате исследования, все опрошенные руководители вузов ориентируются в новых моделях развития магистратуры на трансфер лучших практик. В целом на данный момент выделены четыре рабочих типа стратегий развития магистратуры:
– движение к совершенству;
– академическое лидерство за счет массовости и доступности магистратуры;
– академическое лидерство в контексте поддержки региона;
– «держимся на плаву» – на уровне выполнения показателей.

Пассивный элемент перехода

На панельной дискуссии также выступила директор центра экономики непрерывного образования Института прикладных экономических исследований РАНХиГС Татьяна Клячко с докладом «Качество образовательного процесса в университете: требования разных участников образовательного процесса». Она рассмотрела качество образования с точки зрения пандемии, во время которой этот вопрос актуализировался при вынужденном переходе на дистант.

– Вопрос качества образования при переходе от очного образования к дистанционному возник сразу, – объяснила Татьяна Клячко. – И при возвращении к нормальной жизни появляется проблема выстраивания нового качества управления образовательным процессом. Когда мы попали в пандемию, выросли дистанционное образование и виртуальная мобильность, и это, по всей видимости, с нами надолго. Эта модель войдет в нашу жизнь. Онлайн-обучение развивает 60% университетов. Соответственно, это станет той фишкой, которая потом будет весьма и весьма сильно действовать на изменение ландшафта высшего образования.

Говоря о работодателях, Татьяна Клячко подчеркнула, что их требования в России очень конкретны. Элита российского бизнеса и госкорпорации нацелены на сотрудников с магистерскими степенями, степенями после аспирантуры. Так компании накапливают символический капитал, ориентируясь в основном на то, что примут на работу статусных выпускников. Что касается профессиональных навыков и компетенций, то у компаний есть корпоративные университеты, которые новичков доводят до ума. Крупные производственные компании и средний бизнес значительно меньше интересуются статусом университета, уделяя основное внимание полученной выпускником специальности и опыту работы. Малый бизнес ориентирован на вузы среднего и низового сегмента, и качество образования его волнует очень мало.

Пандемия высветила, что 70% преподавателей вузов США, например, не имели никакого опыта дистанционного преподавания. В России этот показатель по разным данным достигает 90%. По итогам опыта пандемии вузы как работодатели наверняка заявят в качестве обязательного требования к претендентам на вакансии навыки владения методиками дистанционного обучения и работы онлайн. Требования других работодателей, предположительно, будут тоже изменены, поскольку дистанционные технологии работы с клиентами войдут в требования к выпускникам вузов, и навыки онлайн-коммуникации могут стать весьма востребованными.

– Меня совершенно выбило из колеи то, как отреагировали на пандемию семьи абитуриентов, – поделилась представитель РАНХиГС. – Вместо 19% абитуриентов, ориентированных на вузы Мос­квы и Санкт-Петербурга в 2019 году, годом позднее мы получили почти 30%! Нам казалось, что пандемия затормозит региональные перемещения, и это приведет к тому, что из-за ухудшения экономического положения семей мы получим локализацию. Но мы столкнулись с резким всплеском ориентированности на столичные вузы. Таким обра­зом, политика государства, когда больше бюджетных мест собираются передавать в регионы, сейчас противоречит запросам семей.

Еще одно потрясение Татьяна Клячко, по ее признанию, испытала от того, что во время пандемии преподавателей рассматривали как пассивный элемент перехода на дистант, а кафедры и факультеты в этом процессе играли подчиненные роли.

– Ученый совет вообще не засветился ни в одном кейсе университета как содружество ученых, которые принимали решение по поводу того, что должно происходить в университете в экстренных ситуациях с одной стороны, и при переходе на совершенно другие технологии обучения – с другой. Преподаватель теперь будет рассматриваться как наемный рабочий, который не играет никакой роли в формировании качества образования в университетах. Вот что показала пандемия. Это очень тяжелый вывод. Ученые советы вообще не проявили себя в этот период.

Образование «других» достижений

Подводя итоги разговора, модератор панельной сессии, замдиректора Института образования НИУ ВШЭ Кирилл Зиньковский, отметил, что, по сути, управление качеством – это вопрос поиска выхода из большой проблемы «массовизации» образования, а то, что после этого происходило, включая пандемию, на нее наложилось и усилило.

– У нас массовизированные университеты, у нас перегруженные преподаватели, и у нас преподаватели – по сути, наемные работники корпорации, – заключил модератор дискуссии. – И вузы зациклены на обеспечении своих рабочих процессов. Выход из ситуации, в том числе обозначенной в исследованиях, тоже очевиден – разойтись по разным «комнатам» и управлять разными типами качества: кто-то в одной лиге будет заниматься своим качеством, кто-то будет в программах магистратуры заниматься управлением другого типа качества и так далее. У нас за рамками рассмотрения остался вопрос полезности магистратуры, который вызывает пессимистические оценки ученых, проводящих реальные исследования. Я задавал ученым вопрос, где они для себя отбирают студентов, с какими магистратурами работают? Мои собеседники считают, что работа с магистратурой – абсолютная потеря времени. Выходит, им вообще не нужны полутона магистратур и программ университетов с массовым набором. Мы понимаем, что к марафону можно подготовить практически любого из нас, а к олимпийским играм – большой и серьезный вопрос...

– Эта история похожа на академическое совершенство, о котором сегодня говорили, – продолжил Кирилл Зиньковский. – Обратите внимание на то, что в этой истории ни родители, ни работодатели вообще ни при чём. Не говорю, что это плохо. Констатирую, что они там не важны. Это образование совершенно других достижений, которое само задает направление развития общества. И у нас есть примеры таких университетов. В чем тогда смысл слияния вузов? Что от этого изменяется? Ничего не меняется абсолютно! Количество студентов просто увеличивается. Зачем общество на это тратит деньги? По сути, оно не меняется. Что в этом случае делать, до сих пор остается непонятным.