Система в страхе не может развиваться

Отказаться от контроля

Сегодня во всем мире пришли к мнению, что независимая оценка в области образования эффективнее, чем государственная, и прежде всего потому, что последняя рано или поздно сводится к надзору и контролю. Практически все ведущие страны отказались от государственной оценки, передав эту функцию независимым организациям. Рассматривался ли этот вопрос в России?

В 2012 году перед принятием закона об образовании вспыхнула полемика о том, необходимо ли и в нашей стране отказаться от государственной аккредитации, передав эту функцию агентствам по независимой оценке по аналогии с развитыми странами? Но этого не произошло, поскольку основной аргумент против состоял в том, что в стране не существовало инфраструктуры для независимой оценки, то есть не было достаточного количества добросовестных аккредитующих орга­низаций. С той поры прошло девять лет, и нам хотелось бы вернуться к вопросу, посмотреть, удалось ли за эти годы создать в России инфраструктуру независимого оценивания.

Закон об образовании не определяет значение слова «независимость». Но так сложилось, что под независимостью оценки понимается независимость, во-первых, от того, кого оценивают, то есть от вуза, во-вторых, от органов управления и надзора за образованием и, в-третьих, от любых лиц, которые могут оказывать давление на процесс оценивания. Если эти три условия выполняются, имеет смысл говорить о независимом оценивании.

Анализ, проведенный в интернете, показывает, что сегодня в России существует не менее 43 независимых оценщиков. Примерно половина из них – иностранные, работающие в том числе и в России, и половина, а именно 22, – национальные.

Кто отвечает требованиям?

Можно выделить четыре направления независимого оценивания:
– рейтинги;
– независимая аккредитация (в России – профессионально-общественная и международная);
– независимая оценка достижений студентов и выпускников, которая проводится в различных формах (например, в виде независимого экзамена, тестирования, проведения олимпиад);
– оценка условий осуществления образовательной деятельности.

Рассмотрим, какие результаты достигнуты в нашей стране по этим направлениям.

Выше неслучайно отмечено, что агентств по оценке высшего образования в России насчитывается «не менее 43». Дело в том, что до сегодняшнего момента не существовало единого отечественного реестра агентств по оценке. В связи с этим, были сформулированы три базовых требования к агентствам:

– стабильность (организация должна работать в этом направлении не менее трех лет);

– публичность и периодичность (исчерпывающая информация должна быть представлена в открытом доступе, как правило, в интернете, а оценивание проводится регулярно – как минимум ежегодно);

– массовость (национальное агентство должно оценивать не менее 100 вузов или образовательных программ, а глобальное – не менее 800).

Оказалось, что в России немногие оценивающие организации удовлетворяют предъявленным требованиям. В данном исследовании не учитывались агентства, которые провели считанное число оценочных процедур и, по сути, существуют только на бумаге.

Если исходить из определенных требований, на сегодня в России насчитывается 19 рейтингов, 15 агентств, занимающихся международной и профессионально-общественной аккредитацией, и 9 организаций, оценивающих студенческие достижения.

Гильдия экспертов в сфере профессионального образования собрала и систематизировала большой объем информации, и для удобства ее анализа был создан специальный сайт (www.best-edu.ru). Здесь собраны данные обо всех оценивающих агентствах, можно посмотреть, чем они занимаются, удовлетворяют ли квалификационным требованиям. Эту информацию можно найти в разделе «Агентства по независимой оценке».

Глобальные и национальные

Аккредитационные агентства можно разделить на те, которые работают на глобальных рынках или только в России. Также на глобальные и национальные делятся рейтинги. По-другому рейтинги можно разделить на институциональные (оценивающие вуз в целом) и предметные (в одном предметном поле: например, в области математики, геофизики, химии, прочие). Поэтому, говоря о рейтинге, надо всегда уточнять, какой он: глобальный или национальный, институциональный или предметный.

Вообще, глобальных рейтингов в мире немного. Так, сайт Международной ассоциации по академическому ранжированию и превосходству IREG приводит всего 23 глобальных рейтинга. Здесь собраны различные: по бизнесу, в области моды и другие. было выбрано десять глобальных академических рейтингов. В России наиболее известны три из них: шанхайский – ARWU и два британских – THE и QS. В той же десятке два российских рейтинга: RUR – активно работающий с 2010 года, и относительно молодой, но зарекомендовавший себя и быстро набирающий обороты, так называемый – «московский» рейтинг «Три миссии», появившийся в 2017 году по инициативе Российского союза ректоров.

Часть отобранных рейтингов работает как на институциональном уровне, так и на предметном. К глобальным относятся пять предметных рейтингов. Если говорить о предметном уровне, вместе с десятью рейтингами, мы считаем, необходимо учитывать базу данных DEQAR, формально не являющуюся рейтингом, но включающую результаты международной профессионально-общест­венной аккредитации.

Средневзвешенная позиция

Наверное, многие из нас сталкивались с тем, когда какой-то университет в одном рейтинге занимает лидирующие позиции, а в другом – не такие высокие. Возникает вопрос о том, какой брать за основу при оценке этого вуза? Для определения средневзвешенной позиции вузов возникла идея: из всех рейтингов, которые котируются на глобальном уровне, создать так называемый агрегированный рейтинг. В итоге появились институциональный и предметный глобальные агрегированные рейтинги.

При решении этой задачи возникает множество методических проблем, поскольку единого классификатора предметов нет. Зачастую рейтинги выделяют различные предметные области. Например, английский THE выделяет 32 предметные области, а шанхайский ARWU – 54. Но методическая проблема относительно удачно была решена, и с получившимися агрегированными рейтингами можно ознакомиться на сайте www.best-edu.ru.

Примечательно, что в институциональный глобальный рейтинг вошли 82 российских вуза, а в предметные – 55. Хочется отметить, что 10 университетов РФ попали во все предметные рейтинги, и это тоже неплохое достижение.

Президент озадачил

Непростой задачей обернулось составление национальных рейтингов. Как мы помним, Президент РФ Владимир Путин обозначил, что России нужны собственные национальные рейтинги вузов, поскольку международные являются инструментом конкурентной борьбы на рынке образования. С момента постановки задачи прошло лишь полгода, поэтому говорить об успешном ее решении рано. Но давайте проанализируем, что Россия имеет сегодня.

Отечественных в исконном понимании слова «рейтинг» оказалось немного. И только 4 удовлетворяли заданным квалификационным требованиям: рейтинг университетов «Интерфакс» (с 2009 года); рейтинг «Первая миссия», построенный на основе предметного рейтинга «Лучшие программы инновационной России» (с 2010 года); рейтинг университетов RAEX (с 2015 года) и рейтинг востребованности вузов, который создает РИА «Новости» (с 2017 года). Расширив понятие рейтинга, можно привлечь открытые базы данных. Ведь рейтинг построить несложно, если есть данные. Сбор данных, их верификация и прочее – это девяносто девять процентов успеха, и лишь один – построение формулы для ранжирования.

Можно выделить пять российских открытых баз данных, на основе которых строятся новые рейтинги:
1) рейтинг по данным мониторинга эффективности вузов, проводимого с 2012 года;
2) рейтинг «Оценка качества обучения», который связан с оценкой студенческих достижений на входе (ЕГЭ) и на выходе (федеральный интернет-экзамен для выпускников бакалавриата);
3) рейтинг «Международное признание»;
4) рейтинг по результатам профессионально-общественной аккредитации (на основе данных сайта accredpoa.ru, где собраны результаты всех проведенных процедур аккредитации);
5) база данных всех публикаций в РФ elibrary.ru,
на основе которой строится так называемый «Индекс Хирша».

Чтобы обработать такое многообразие рейтингов, был разработан специальный инструмент, который получил название «МетАЛиг» – метод анализа лиг. Математика этого инструмента описана в одном из предыдущих номеров журнала «Аккредитация в образовании» (№120).

В данной методике принципиально отошли от ранжирования по местам, перейдя к более крупным единицам – так называемым лигам. Эти методы не новые, и они неплохо работают.

Также введены так называемые слабые свертки, когда учитываются не все результаты, а только лучшие. Как в спорте – условно говоря, штангу поднимают три раза, а в зачет идет лучший результат. Для реализации проекта был использован современный математический аппарат «Теория голосования в малых группах», с помощью которого удалось абсолютно разные рейтинги привести к единому основанию.

Национальные рейтинги и открытые базы – «Индекс Хирша», «Интерфакс», «Первая миссия», мониторинг эффективности, «Международное при­знание», профессионально- общественная ак­кре­ди­тация, RAEX, «Качество обучения», рейтинг востребованности – помогли построить Национальный агрегированный рейтинг, в который вошли 724 российских вуза. Результаты представлены в виде 10 лиг: так называемая премьер-лига, первая лига, вторая – или, как сейчас модно говорить, топ-25, топ-50, топ-100, топ-200 и так далее. Все лиги распределены по трем зонам: зеленая – лидеры, желтая – золотая середина, красная – тревожная зона. Получившийся рейтинг уже публиковался на сайте best-edu.ru в 2019 и 2020 годах, а ближе к лету появятся результаты 2021 года.

2500 лучших

Разработанную методику можно применить не только на национальном уровне, но и на глобальном. Из глобальных институциональных рейтингов было выбрано в соответствии с заданными критериями десять академических рейтингов и одна европейская академическая база данных. В агрегирование вошли рейтинги: английский THE, шанхайский ARWU, московский «Три миссии», американский USNews, российский RUR, арабский CWUR, тайваньский NTU, голландский CWTS, испанский SCIMAGO, а также база данных аккредитационных агентств DEQAR.

Вузов, которые попадают в поле зрения этих рейтингов, в мире набралось 16 547. Учитывались только те, которые вошли хотя бы в два рейтинга, избегая тем самым случайности. В данном случае 2 273 университета из 110 стран попали в глобальный агрегированный рейтинг. Всего же в мире насчитывается около 25 000 университетов. То есть чуть меньше 10% университетов оказались в престижном глобальном агрегированном рейтинге.

В рейтинге определены группы: топ-1 – это 1% всех лучших вузов мира (250 университетов), топ-2 – 500 лучших вузов, топ-3 – 750 и так далее. Топ-10 – те, кто вообще попали в агрегированный рейтинг, то есть вошли в 2 500 лучших вузов мира. Построение такого рейтинга ставит задачу национальным системам образования – стремиться, чтобы как можно больше вузов входило в глобальный агрегированный рейтинг.

Россия по количеству вузов в глобальном агрегированном рейтинге занимает шестое место. Лидеры – США, Китай, Япония, Франция, Великобритания. Россия среди стран бывшего Советского Союза, естественно, в лидерах. За нами в пятерке лидеров – Казахстан, Украина, Литва, Эстония.

По результатам международной и национальной аккредитаций тоже можно построить рейтинги. И этому способствует реестр DEQAR, размещенный на сайте www.eqar.eu. Это европейская база, однако в нее включены не только европейские вузы. Российская база аккредитационных решений размещена на сайте accredpoa.ru.

В предыдущие годы в качестве показателя для построения использовали число аккредитованных программ: чем их больше у вуза, тем выше он в рейтинге. Сейчас в рамках разработки проекта «Программа стратегического академического лидерства», который, сменив название, скорее всего будет называться «Приоритет-2030», Минобрнауки РФ предложило очень интересный показатель: количество студентов, которые обучаются по программам, имеющим международную аккредитацию. Возможно, это более четкий показатель, чем число программ, так как есть много моновузов, где одно-два-три направления подготовки. Эти программы, возможно, все прошли аккредитацию, в том числе международную, но вуз проиграет университетам, у которых много программ. На мой взгляд, министерство очень грамотно подошло к вопросу, и скорее всего в ближайшее время индикатор количества студентов – или процент студентов, которые обучаются по программам, прошедшим международную аккредитацию, – может быть взят за основу для построения рейтингов.

Стандарты и технологии

К слову, понятие международной аккредитации активно используется в обиходе, но его определения в законе нет. Существует определение, принятое практически во всех странах, занимающихся такой аккредитацией, – «процедура оценки и признания образовательных программ на соответствие международным стандартам, проводимая по технологиям, которые разработаны и признаются международными ассоциациями в сфере гарантия качества». Стоит обратить внимание на два основных момента – стандарты и технологии.

Какие агентства проводят международную аккредитацию? Все современные аккредитационные агентства носят национальный характер: они расположены либо, скажем, в Великобритании, либо в Китае, либо в России. Международных агентств нет. Но те агентства, которые удовлетворяют этим двум требованиям, фактически работают на глобальном рынке и имеют право проводить международную аккредитацию. В соответствии с реестром DEQAR сегодня на территории РФ работают восемь таких агентств. Они сами прошли процедуру международной аккредитации аккредитаторов: международная комиссия приезжала в это агентство, провела аккредитацию и на определенный период выдала свидетельство о том, что оно имеет право проводить аккредитацию. Из восьми агентств, работающих в России, только одно – российское и семь – зарубежных.

На 1 января 2021 года международную аккредитацию в этих агентствах прошли 41 вуз и 522 образовательные программы. На сайте best‑edu.ru в разделе «Национальный рейтинг» в подразделе «Международное признание» можно увидеть все российские вузы, получившие международную аккредитацию, количество программ, которые они аккредитовали, и агентства, выдавшие им аккредитацию. Некоторые вузы прошли так называемую совместную аккредитацию – «два в одном», когда аккредитацию проводят сразу два агентства – российское и зарубежное.

В российском реестре accredpoa.ru по состоянию на 1 января числились 109 аккредитующих организаций, которые в совокупности аккредитовали 4367 программ, включая программы СПО и ДПО. Среди них программ высшего образования немногим менее 2 000. Число 109 не должно вводить заблуждение, так как многие заявили о том, что являются аккредитующими организациями, но большинство провело две-три аккредитации и фактически завершило свою миссию. Агентств, которые работают более трех лет и удовлетворяют всем квалификационным требованиям, насчитывается всего пять. Некоторые российские агентства котируются за рубежом, активно работая за пределами страны.

Оценка условий и достижений

В законе прописана такая форма, как независимая оценка условий осуществления образовательной деятельности. До недавнего времени она практически не развивалась, хотя государство активно поддерживает это направление. Летом прошлого года был проведен конкурс на сбор и обобщение информации о качестве и условиях осуществления образовательной деятельности организаций образования на сумму 50 млн. рублей. За три года победителю нужно собрать информацию об абсолютном большинстве российских вузов и провести соответствующую оценку.

В последнее время, в связи с введением регуляторной гильотины, все чаще стали говорить об оценке достижений обучающихся. В ней можно выделить два направления – студенческие олимпиады и независимую оценку качества подготовки студентов и выпускников бакалавриата и специалитета. Если говорить об олимпиадах, то они всегда были сильной стороной советского образования, по инерции какое-то время проводились и в России, но, к сожалению, некогда стройная система всероссийских студенческих олимпиад сегодня скорее мертва, чем жива. Массовых олимпиад – которые действуют более трех лет, с публичными результатами – немного. Современные международные и национальные олимпиады, как правило, ориентированы на школьников, а студенческие можно пересчитать по пальцам. Можно выделить только три: Международные открытые интернет-олимпиады (с 2008 года), олимпиада «ИТ-планета» (с 2012 года) и активно развивающаяся студенческая олимпиада «Я – профессионал». Они дей­ствительно массовые – участвуют тысячи студентов из десятков и сотен вузов.

Если говорить о независимой оценке качества подготовки, то здесь еще меньше результатов, и выделим две организации. В первую очередь, это Федеральный центр тестирования, который, по сути, не независим, являясь государственным и функционируя на бюджетные деньги. Но за двадцать лет он отладил систему работы, которой в основном доверяют. Вторым пунктом можно обозначить Федеральный интернет-экзамен для выпускников бакалавриата, который с 2015 года проводит НИИ мониторинга качества образования. Тысячи студентов ежегодно проходят ФИЭБ.

Серьезное достижение

Можно ли в результате проведенного анализа утверждать, что сегодня в России сложилась система независимого оценивания высшего образования? Возьмем на себя смелость ответить положительно на этот вопрос. Мы рассмотрели направления развития, привели конкретные факты, за девять лет после принятия закона «Об образовании в РФ» были созданы и начали активно работать десятки независимых агентств, которые занимаются оцениванием в сфере высшего образования. Это серьезное достижение.

Если говорить о повышении качества образования, то именно независимое оценивание способно стать его катализатором – как во всем цивилизованном мире. На наш взгляд, страну ждет активное развитие рейтингов, и в первую очередь национальных. Ведь такую задачу поставил президент. Правда, нужны именно специализированные и предметные рейтинги, поскольку сравнивать различные вузы – скажем, какой-то крупный университет и вуз культуры – бессмысленное занятие.

Сегодня два российских рейтинговых агентства и одно российское аккредитационное агентство получили признание за рубежом, и эти результаты уже учитываются международной общественностью. Думается, до этого уровня в ближайшие годы подрастут и другие отечественные агентства. С введением регуляторной гильотины все большую роль будут играть профессиональная и международная аккредитации.

Должно ли государство финансировать развитие независимой оценки? Вопрос непростой. Казалось бы, кто будет отказываться от финансирования? Но длительное наблюдение показывает, что организации, непосредственно получающие деньги от государства в виде грантов и проектов, как правило, завершают независимое оценивание вместе с прекращением финансирования. На наш взгляд, более действенным может оказаться механизм косвенной поддержки, когда средства направляются в университеты, чтобы они могли регулярно проходить независимое оценивание – профессионально-общественную аккредитацию, оценку качества подготовки студентов и другое. Наличие положительных результатов независимого оценивания должно являться определенным условием получения преференций со стороны государства: грантов, включения в госпрограммы и конкурсы, дополнительных бюджетных мест, прочего. В итоге сильные вузы будут выбирать для аккредитации сильные агентства, появится конкуренция не только между университетами, но и между оценщиками качества их работы.

Скрытая угроза

Государственное оценивание для университетов – угроза, потому что по результатам процедуры вуз может быть закрыт. Когда имеется угроза, оцениваемая организация начинает ее избегать. Отсюда подтасовка, нежелание показывать свои проблемы. Независимый оценщик находится не «сверху», а «сбоку», и от него не исходит угроза отнятия лицензии или государственной аккредитации. Его задача – провести аудит и представить вузу отчет для того, чтобы он мог развиваться. В этом случае вуз охотно сотрудничает и демонстрирует свою деятельность, принимая рекомендации, которые получает для улучшения качества образования.

Система в страхе не может развиваться, и это очевидно. Независимая оценка – один из серьезных стимулов для того, чтобы высшее образование встало на путь динамичного развития. При этом агрегирование в единый формат обезопасит систему от коррупции. Вуз с каким-то рейтингом может договориться, но со всеми это сделать невозможно. Половина оценщиков – международные, и с ними точно не договоришься. Значит, объективность оценки резко возрастает, и она на порядок выше не только национальной, но самое главное – чиновничьей. Появление независимых профессиональных оценщиков служит развитию системы образования в России. Без независимой оценки система может зайти в тупик.