Рейтинги, качество, репутация

1. Расскажите, пожалуйста, о цели и отличительной особенности (-ях) возглавляемого вами проекта?
2. Каковы, на ваш взгляд, ключевые проблемы российской системы ранжирования? В чём причины, и как их можно решить?
3. По мнению некоторых экспертов, рейтинги могут быть использованы в качестве одного из управленческих индикаторов для принятия решений о финансовой поддержке тех или иных обра­зовательных организаций, должны стать основанием упрощения конкурсных процедур для заво­евавших определенные позиции вузов и даже автоматического продления аккредитации. Что думаете по этому поводу? 
4. По вашим наблюдениям, на развитие каких сильных сторон ректорам необходимо обратить внимание, а какие направления деятельности ещё нуждаются в настройке?
5. Рейтинг, как и вуз, должен развиваться сообразно духу времени. В этой связи каково будущее вашей рейтинговой модели? 
6. Какое место могут занять рейтинги в контексте новой модели контрольно-надзорной деятельности в сфере образования?

– (1) Национальный рейтинг университетов «Интерфакс» (НРУ ИФ) оценивает деятельность современных российских университетов, отвечающих лучшим мировым образцам. Способствует развитию каналов коммуникаций между академическим сообществом и массовыми аудиториями, поиску новых методов и технологий оценки деятельности институтов в сфере образования, исследований и инноваций.

Ежегодно формируется 7 рейтингов. Из них 6 частных отражают конкретные стороны деятельности российских университетов: образование, исследовательскую работу, интернационализацию, социализацию, инновации, бренд. Сводный седьмой рейтинг является результирующим.

Наш проект перекликается с рейтингом мировых университетов THE, а именно наблюдается пересечение с параметрическими рейтингами НРУ. Однако у частных рейтингов «Интерфакс» есть еще два направления: социализация и бренд.

Рейтинг «Социализация» характеризует развитие социальной среды университета и его вклад в развитие социальной среды города и региона, где этот вуз расположен.

Рейтинг «Бренд» по-своему интересен и уникален. В отличие от многих других рейтинговых систем (в том числе и ТНЕ), при формировании НРУ не применяются результаты экспертных репутационных опросов представителей академического сообщества (хотя во многих других проектах нашей исследовательской группы этот метод часто используется). При этом «Бренд» направлен на оценку эффективности тех механизмов, которые в первую очередь и создают у потребителей рейтинговых исследований репутационный образ того или иного вуза, а, главное, уверенность в эффективности, успешности его работы.

Кроме того, в рамках НРУ собирается избыточная информация о деятельности российских университетов с целью организации экспериментальных оценок (проведение так называемых рейтинговых исследований) – не всегда очевидных, но имеющих потенциал применения в будущих рейтингах. Для обмена данными с мониторинговыми инструментами национальной системы высшего образования и R&D, а также наполнения информационно-аналитических систем ИФ новыми данными с обязательным подтверждением уровня их качества.

– (2) Важная проблема ранжирования заключается в сложности разработки формальных индикаторов (или системы индикаторов), оценивающих образовательный процесс. 
Всесторонняя его оценка, будь то образовательные программы (связь с рынками труда, стратегии развития – пространственные, научно-технологические, социальные), инфраструктура, компетентность НПР, качество студентов, качество мест практики, результативность выпуска и прочее, – дело совсем не простое, требующее развития экспертизы и сбора и обработки значительных массивов данных высокого качества.

В этой связи было бы полезно организовать совместную с журналом «Аккредитация в образовании» оценку образовательных программ. Именно «АО» наработал необходимые компетенции в процедурах экспертной оценки качества ОП и взаимодействия с отечественными и международными аккредитационными организациями.

Проблемой остается и административная централизация заказа академического рейтинга, граничащая с монополизацией темы. Поясню. московский международный рейтинг «Три миссии университета» позиционируется как результат методологического творчества Российского союза ректоров, при этом используются значительные лоббистские возможности этой организации по огосударствлению рейтинга, то есть строится своего рода госкорпорация сравнительной оценки деятельности университетов мира. Мне кажется, это не дело государства, а тем более политического руководства страны. Рейтинги должны органично вырастать из потребностей целевых аудиторий, а не ограничиваться потребностями и ожиданиями политического руководства и административной верхушки академического сообщества.

– (3) Считаю, что рейтинги можно ограниченно использовать для упрощения процедур подготовки и принятия решений, однако здесь не следует ожидать примитивного подхода наподобие расчета КЦП в зависимости от позиций в рейтинге.
Стратегии развития страны, регионов, отраслей и «мозгов» (университетов), а тем более процессы реализации этих стратегий, не могут полагаться исключительно на результаты рейтингов, какими бы адекватными они ни были. И здесь снова приходим к идее о необходимости глубокой и современно (даже футуристично) организованной экспертизы. Как раз сейчас мы наблюдаем отход от примитивного нацеливания на результаты международных рейтингов (имею в виду завершившуюся программу «5-100»). Запуск же новой программы академического превосходства «Приоритет – 2030» откладывается как раз по причине поиска адекватных ориентиров и KPI.
Качество научно-образовательной деятельности внутри конкретного вуза может быть крайне неоднородным, поэтому необходима разработка четкого положения, в каких случаях и для каких направлений могут быть применимы те или иные рейтинги. Например, МГУ им. М.В. Ломоносова в последнем выпуске предметных рейтингов ТНЕ по направлениям «Искусства и гуманитарные науки» и «Социальные науки» находится на 72-й позиции и в группе 401 – 500 соответственно, а в общем рейтинге мировых университетов – на 174-м месте. 

Что касается «автоматического продления аккредитации», то организация оценки ОП смогла бы обеспечить дополнительную оценку их качества в более короткие, по сравнению с периодами аккредитации программ, временные промежутки. Кроме того, сняло бы дополнительную финансовую нагрузку с университетов. Для этого необходима организация периодической и полноценной экспертизы независимым рэнкером, точнее кооперация рэнкеров с аккредитационными организациями, сетевыми рекрутерами и предпринимательскими сообществами, наиболее чутко улавливающими изменения на рынках труда.

По поводу использования рейтингов в качестве управленческих индикаторов могу сказать, что в эти исследования необходимо внести изрядную толику оценки управления университетом. И здесь мы надеемся на помощь, в том числе и академического сообщества, специализирующегося на управленческих образовательных программах.

Представляется затруднительным пытаться оценить качество управления университетами в период отсутствия у них полноценных академических свобод и автономии. Имея ограниченный спектр источников ресурсов (а бывает и единственный в лице учредителя), государственные вузы продуцируют оптимальный вариант управления – выстраивают лоббистские схемы для доступа к преимущественно бюджетным ресурсам. Чтобы изменить ситуацию, наблюдательным советам следует развивать доверие (и для начала отказаться от чрезмерного формализма) по отношению к ученым советам и администрациям университетов. Экономически мотивировать появление и развитие множественности источников ресурсов. Отказаться от централизованного контроля и чрезмерной подозрительности, граничащей с паранойей. Наконец, перейти к постоянному воспроизводству долговременной научно-технологической политики, способствующей развитию общества и страны, а не строить реформаторскую активность на сиюминутных интересах групп влияния.

– (4) На вопрос этот нельзя ответить однозначно. Вузов много, и они разные. Статус, регион, место расположения, специализация – всё имеет значение. Например, техническим университетам актуально и важно развивать инновационное направление деятельности, в то время как для гуманитарных и социальных вузов это проблематично. 

Каждый университет, надеюсь, имеет собственную миссию, нацелен на достижение соответствующих результатов. И как раз этот стратегически важный аспект трудно поверить цифрой.

Для улучшения позиций в рейтинге и повышения медиаактивности вузам следует уделять больше внимания развитию пресс-служб и департаментов по связям с общественностью. Выделять финансирование, дополнительные штатные единицы для успешного выполнения актуальных информационных задач. В частности, пресс-службам рекомендуется развивать взаимодействие со СМИ и экспертами. Так как экспертные комментарии – основа цитируемости, работа с экспертами имеет большое значение для продвижения вуза. Кроме того, экспертиза тесно связана с социальными проблемами и принятием решений. Журналисты соотносят результаты экспертизы с конкретными событиями и проблемами, ориентируясь на «здесь и сейчас», поэтому экспертное мнение должно быть выражено простым языком и касаться актуальной повестки дня. Важно также устанавливать и поддерживать отношения с журналистами, пишу­щими на темы образования и науки, причем делать это системно и планомерно. 

– (5) Пандемия подтолкнула развитие дистанционных и цифровых технологий обучения, пусть грубо, но ускорила внедрение в образовательный процесс новых возможностей. В связи с этим можно прогнозировать привнесение в рейтинговую методологию новых оценочных индикаторов. С одной стороны – индикаторов возможности оперативного перевода образовательного процесса в дистанционный формат. С другой – индикаторов, оценивающих уровень применения в образовательном процессе современных технологий обучения (например, AR/VR, элементов искусственного интеллекта).

Следует упомянуть и про интернационализацию. Реализация проекта «Экспорт образования» привела, наряду с прочим, к механическому увеличению набора зарубежных абитуриентов из стран третьего мира, и временами в ущерб гражданам России. Не стоит забывать и о том, что показатель доли международных студентов обеспечивает относительно доступное продвижение вузов в международных академических рейтингах.

Мне кажется, необходимо пересматривать оценку интернационализации и углублять ее в сторону оценки международного и межрегионального академического сотрудничества. Здесь мы сталкиваемся с явным противодействием силовых и контрольных структур, вновь усомнившихся в полезности международного сотрудничества и мобильности, необходимости реализации программ на иностранных языках и даже их изучения.

– (6) Рейтинги (особенно национальные) могут занимать ограниченное место в новой модели контрольно-надзорной деятельности. Необ­ходима разработка четкого положения, какие рейтинги (или оценивающие образовательный процесс их отдельные составляющие) могут быть использованы. Также возможно применение дифференцированных требований по вхождению в рейтинги для разных типов университетов.

Результаты XI Национального рейтинга университетов «Интерфакс» (топ-10, 2020). Источник Interfax.ru.

– (1) Первый рейтинг лучших вузов России «RAEX-100» вышел в ноябре 2012 года. Цель проекта – оценить способность университетов обеспечивать выпускникам высокое качество знаний, навыков и умений, исходя из условий их получения и результатов применения.

Приступив к формированию рейтинга, мы приняли решение расставить акценты несколько иначе, чем это было принято в британской традиции. Так, главный фактор для распределения мест в «RAEX-100» – качество образования, а не уровень интернационализации и наукометрические показатели. При этом мы также используем показатели научной цитируемости и студенческой мобильности, однако они имеют сравнительно небольшой вес в итоговой рейтинговой оценке.

В системе критериев уделяем внимание и так называемой «третьей» миссии университетов – общественной. Отмечу, что подобный подход вызывает одобрение и понимание и у наших международных партнёров. К слову, агентство «RAEX» стало четвёртой в мире и первой в России организацией, чьи рейтинги успешно прошли международный аудит «IREG Observatory» – крупнейшей ассоциации составителей и потребителей образовательных рейтингов из более чем 20 стран. Международная группа экспертов подтвердила, что методология, процедуры подготовки и представление результатов «RAEX» отвечают стандартам высокого качества.

Помимо национального, эксперты агентства участвуют в составлении нового глобального рейтинга «Три миссии университета». В 2020 году он выпущен в четвертый раз, став одним из самых представительных академических рейтингов в мире по числу участников и географическому охвату.

– (2) Главной проблемой академических рейтингов вплоть до недавнего времени являлась чрезмерная зависимость результата от библиометрических показателей и субъективных экспертных оценок. Эта проблема устранена благодаря появлению первого глобального рейтинга со штаб-квартирой в России – «Три миссии университета». Предложен новый вектор оценки развития вузов, находившийся вне поля зрения существующих рейтингов, а именно – взаимное влияние высшей школы и общества, то есть способность университетов отвечать социально-экономическим потребностям конкретных стран.

Растет популярность национальных рейтингов университетов, к которым относится и «RAEX-100». Это отмечают коллеги из «IREG Observatory»: в частности, вице-президент организации Вальдемар Сивински. Интерес к национальным рейтингам обусловлен их возможностью более точно и комплексно, по сравнению с рейтингами глобальными, оценивать вузы. Например, для оценки научной состоятельности вузов в глобальном рейтинге THE используется всего 7 показателей, в QS – 2. В национальных исследованиях круг показателей может быть значительно шире. Так, для оценки научной деятельности «RAEX» рассматривает 18 показателей, а коллеги из польского рейтинга «Perspektywy» – 10.

– (3) Мировая практика показывает, что рейтинги могут с успехом применяться при реализации контрольно-надзорных функций в качестве важного дополнения. На наш взгляд, занимающие высокие позиции в авторитетных рейтингах университеты могут получать некоторые преференции от государственных органов. Это также применимо к контрольным цифрам приема, конкурсам на получение грантов РНФ и аккредитации. Для вузов, регулярно занимающих лидирующие места в признаваемом государством рейтинге, аккредитацию следует отменить либо проводить по упрощенной схеме.

Вовсе не обязательно ставить управленческие решения государственных органов в прямую зависимость от рейтинга – это слишком упрощенный, механистический подход. Однако рейтинг вполне может учитываться при принятии решений, и такая практика распространена.

– (4) Для анализа сильных и слабых сторон российских вузов целесообразно опираться на выводы глобального рейтинга «Три миссии университета», так как он основан на исключительно объективных показателях. 

По данным рейтинга, главное, что можно занести в актив российским вузам, – качество образования, и это наиболее сильная сторона нашей высшей школы. Например, по группе критериев «Образование» в топ-100 субрейтинга входят сразу 5 вузов РФ: МГУ им. М.В. Ломоносова, СПбГУ, МФТИ, НИУ ВШЭ, НИЯУ «МИФИ». 

Российские вузы лидируют в мире по победам студентов в престижных международных олимпиадах. Представители РФ добиваются успеха в таких соревнованиях в 5 раз чаще, чем обучающиеся из США, и в 4 раза чаще, чем студенты британских вузов. Кроме того, в последние годы вузы РФ демонстрировали ощутимые успехи и в привлечении иностранных студентов: в среднем этот показатель составляет 11,6%, что выше, чем у конкурентов из США (10,8%).

По обеспеченности студентов научно-педагогическими кадрами российские университеты также вполне конкурентоспособны: на одного обучающегося в вузах России, Германии и Китае приходится 0,11 сотрудника, в Великобритании – 0,09. Правда, по сравнению с рейтингом 2019 года, соотношение НПР/студент в среднем по стране снизилось, и можно сказать, что снижение обеспеченности студентов преподавателями – тревожный сигнал для отечественной высшей школы.

Результаты IX Рейтинга лучших вузов «RAEX-100» (топ‑10, 2020). Источник Raex-a.ru.

С научной миссией, в отличие от образовательной, наши вузы справляются менее успешно: в прошлом году в топ-100 глобального субрейтинга «Наука» вошел только МГУ им. М.В. Ломоносова. Согласно базе «Web of Science Core Collection», научная цитируемость российских университетов в 2,5 раза меньше, чем у вузов стран-лидеров. В пересчёте на одну предметную область показатель нормализованной цитируемости у российских участников «Трех миссий» составил 0,48, тогда как университеты США продемонстрировали 1,21, Канады – 1,24.

Относящиеся к «третьей миссии» показатели стали важным подспорьем для роста российских вузов в рейтинге 2020 года. Наибольшего прогресса Россия достигла по количеству массовых открытых онлайн-курсов и размеру интернет-аудитории сайтов. Всего за год прирост количества МООК на платформах Coursera и edX составил 77%, аудитория сайтов выросла на 69%, что явилось беспрецедентным результатом на фоне общемировой тенденции к сокращению посетителей таких площадок.

– (5) Подходы агентства «RAEX» к составлению рейтингов университетов остаются стабильными. В ежегодном рейтинге «100 лучших вузов России» наибольший вес (50%) приходится на показатели, связанные с образовательной деятельностью, 30% веса имеют критерии, отражающие сотрудничество с работодателями и качество карьеры выпускников, 20% – научно-исследовательская деятельность.

Каждый год мы актуализируем критерии по итогам обсуждения методики с консультационным советом нашего рейтинга. Например, в 2017 году при его участии ввели новый показатель «Средний уровень зарплаты выпускников в течение года, следующего за годом выпуска». В 2020 году исключили критерий «Доля студентов, зачисленных по результатам целевого приема на первый курс на очную форму обучения по программам подготовки бакалавров и специалистов». В этом году группу показателей «Научно-исследовательский потенциал» планируем дополнить критериями эффективности аспирантуры.

Перспективы развития национальных рейтингов мы связываем с набирающей обороты тенденцией к росту популярности «предметных рейтингов» (subject rankings) или «рейтингов по укрупненным направлениям» (broad fields rankings). Такие рейтинги показывают сильные и слабые стороны университета в зависимости от предметной области (например, математика) или направления (например, естественные науки). Мы стараемся следовать этому общественному запросу. Так, начиная с 2014 года, наше агентство формирует рейтинги по УГНП на основании репутационных опросов в сферах «Технические науки, инжиниринг и технологии», «Экономика и управление», «Медицина» и других. Начиная с 2020 года, рейтинги вузов по направлениям «RAEX» строятся не только на репутационных, но и статистических показателях, оценивающих качество приема и библиометрические параметры. В конце прошлого года мы опубликовали 10 списков вузов-лидеров по различным направлениям подготовки.

– (6) Рейтинги не должны подменять собой мониторинг Минобрнауки РФ, поскольку у ранжирования и мониторинга разные задачи. Проще говоря, цель мониторинга – выявить худших, тогда как задача рейтингов – определить лучших. Таким образом, используемый в контрольно-надзорной деятельности инструментарий и академические рейтинги могут дополнять друг друга, что позволит видеть консолидированную картину высшего образования.

– (1) Основная цель НИИ мониторинга качества образования – это независимая оценка качества подготовки студентов на основе измерения знаний, умений, навыков и компетенций исключительно с использованием дистанционных онлайн-систем тестирования. 

Команда НИИ МКО работает в этом направлении более пятнадцати лет. Запущен целый ряд онлайн-проектов по оценке качества подготовки студентов вузов и ссузов на различных этапах обучения. Участники – представители администраций ОО, рядовые преподаватели и, конечно, сами обучающиеся. 

Коротко о проектах [1]. «Диагностическое тестирование студентов 1-го курса» – оцениваем уровень фундаментальной и психологической подготовки первокурсников к обучению в вузе/ссузе. «Федеральный интернет-экзамен в сфере профессионального образования (ФЭПО) – проводим внешнюю независимую оценку уровня образовательных достижений студентов на каждом этапе обучения. «Интернет-тренажеры в сфере образования» – готовим к процедурам промежуточного и итогового контроля, а также процедурам внешней независимой оценки качества образования. «Федеральный интернет-экзамен для выпускников бакалавриата (ФИЭБ)» – проводим внешнюю независимую сертификацию выпускников бакалавриата.

Основные или, если можно так выразиться, идеологические особенности проектов – это независимость от органов управления образованием, самих образовательных организаций и каких-либо третьих лиц; добровольность участия и признания результатов независимой оценки.

Если обратиться к техническим особенностям, то еще раз подчеркну: все проекты реализуем с использованием инструментария онлайн-тестирования, и все взаимосвязи между пользователями также интегрированы в онлайн-систему платформы i-exam.ru.

Говоря об особенностях внутренних алгоритмов и процессов, следует отметить предварительную глубокую проработку методической составляющей будущих измерений. Во время подготовки к запуску любого из проектов первоначально выстраиваем модели педагогического измерительного материала и оценки результатов тестирования, после чего запускаются процессы, связанные непосредственно с разработкой тестовых заданий и технических решений по созданию соответствующих онлайн-сервисов. Все методические решения, положенные в основу того или иного проекта, доступны на сайте института i-exam.ru и представлены во многих наших публикациях. 

Ещё одна особенность – выстраивание системы таким образом, чтобы любой проект мог успешно функционировать на постоянной основе, с учётом постоянных изменений. Например, во ФГОС. 

Упомяну и масштабность проектов, то есть количественные показатели по объему тестирования. В этом смысле смело можем назвать себя крупнейшим оператором независимой оценки качества подготовки студентов в стране: ежегодно проводим свыше 1,3 млн. сеансов тестирования с участием более 400 тыс. обучающихся.

– (2) Деятельность НИИ МКО напрямую не связана с ранжированием: мы измеряем качество подготовки студентов в конкретных образовательных организациях без необходимости сравнивать их показатели. Наверное, нам повезло больше, чем тем, кто занимается составлением рейтингов. Мы всегда сравниваем результат с некой константой, а именно ФГОС, и в этой связи наше тестирование можно смело назвать критериально-ориентированным. 

Одной из проблем российской системы ранжирования, на мой взгляд, является недостаточная прозрачность образовательных организаций. Решить эту проблему в определенной степени может размещенная на платформе i-exam.ru информация о результатах успешного прохождения НОК подготовки студентов. Уверен, эти сведения займут заслуженное место в перечне данных, на основе которых формируются рейтинги. 

– (3) Относительно недавно при прохождении государственной аккредитации законодательно была закреплена обязанность учитывать успешные результаты НОК подготовки студентов без проведения дополнительной экспертизы. Мы такие данные предоставляем образовательным организациям для последующей передачи в аккредитационный орган. Несмотря на некоторые проблемы при реализации этого механизма, считаю его очень правильным, так как он позволяет проще и быстрее проходить некоторые аккредпроцедуры. В связи с тем, что результаты независимой оценки уже сейчас оцениваются как довольно весомые, вполне логичным будет учитывать позиции в рейтинге и при рассмотрении вопроса об аккредитации.

– (4) Используемые при тестировании педагогические измерительные материалы разрабатываются специалистами из разных образовательных организаций. Например, подготовка материалов ФИЭБ зачастую представляет собой весьма сложную и новую для абсолютного большинства преподавателей задачу, поэтому движемся мы не всегда настолько интенсивно, как хотелось бы. На сегодняшний день ещё много направлений подготовки бакалавриата нуждается в разработке для ФИЭБ. И здесь совершенно очевидно: чем активнее образовательные организации будут откликаться на предложения института о сотрудничестве, тем больше у них будет возможностей провести НОК подготовки студентов и повлиять на собственный рейтинг. 

– (5) В период пандемии многие процессы перешли в онлайн. Сейчас сложно сказать, какие из них закрепятся там надолго, а какие нет, однако замечу, что проводимые нами измерения и до последних событий осуществлялись в таком режиме. Более того, мы видим заметный рост посещаемости наших ресурсов, и это несмотря на организационные сложности, с которыми сталкиваются сегодня образовательные организации. В каком-то смысле наши сервисы опередили время, и мы продолжаем усиливать во многом именно техническую составляющую системы. Так как с ростом функциональности и популярности онлайн-систем растут и требования к их надежности и безопасности, в этом направлении также прилагаем всё больше усилий.

Очевиден и рост числа онлайн-экзаменов. Это заставляет искать новые и совершенствовать текущие инструменты обеспечения достоверности результатов. Другими словами, необходимо решать задачу «защиты от списывания» в случаях, когда студент сдает экзамен из дома и, кроме результатов его работы в онлайне, других данных для выставления итоговой оценки у преподавателя нет. Одним из очевидных и серьезно способствующих решению проблемы инструментов является подсистема прокторинга (наблюдение за процессом тестирования через веб-камеру компьютера), над которой активно работаем и уже в этом учебном году внедряем на нашей платформе.

Переходя от организационно-технических нововведений к содержательным, необходимо отметить, что задолго до текущих событий одним из основных приоритетов НИИ МКО была установка на создание интерактивных заданий, то есть заданий-конструкторов, позволяющих эффективнее и нагляднее оценивать компетенции студентов – «знания, умения и навыки в действии». Именно эти действия и позволяют осуществлять в процессе тестирования такие интер­активные задания. Особую актуальность упомянутые задачи приобретают в рамках ФИЭБ. Сейчас на этом направлении деятельности мы сосредотачиваем всё больше усилий, планируем кратно увеличить объём такого материала.

– (6) Уверен, что рейтинги и независимая оценка (которая, несомненно, должна учитываться в рейтингах) займут важнейшее место в новой модели контрольно-надзорной деятельности. Пока можем только предполагать, какие очертания приобретет эта модель. Однако уже сейчас достаточно очевидно: независимой оценке быть, и на её основе будут приниматься определенные управленческие решения. На мой взгляд, основное опасение в этой связи у государства и общественности вызывает вопрос объективности и доверия тому или другому механизму, поэтому вполне логичным будет выстраивание некой системы «аккредитации оценщиков», либо верификации данных от оценщика со стороны, например, работодателя. Так или иначе, но для признания результатов оценки со стороны государства, работодателя или общества в целом должна быть высокой степень доверия к независимому оценщику. Механизм этот мы будем только приветствовать и способствовать его выстраиванию: уже накоплен достаточно богатый опыт методической работы, создания и внедрения технических решений, позволяющих решать задачу независимой оценки эффективно и прозрачно.

Система оценки/мониторинга качества образования НИИ МКО. Источник i-exam.ru.