Прямая оценка качества подготовки

Научно-исследовательский институт мониторинга качества образования (НИИ МКО) подвел итоги очередного этапа Федерального интернет-экзамена для выпускников бакалавриата (ФИЭБ). На вопросы корреспондента «АО» ответили генеральный директор НИИ МКО, доктор технических наук, профессор Владимир НАВОДНОВ и его заместитель, кандидат технических наук Владислав ПЫЛИН.

Владимир НАВОДНОВ — генеральный директор Научно-исследовательского института мониторинга качества образования, доктор технических наук, профессор.

Владислав ПЫЛИН — заместитель генерального директора Научно-исследовательского института мониторинга качества образования, кандидат технических наук.

– Владимир Григорьевич, говоря о качестве образования, мы подразумеваем, прежде всего, достигнутые результаты. Оценивать их можно по-разному. Иногда то, что с высоких трибун декларируется как оценка качества по сути таковой не является. Вот, например, мониторинг эффективности деятельности вузов. Как вы считаете, эта процедура – инструмент оценки или предназначение его совсем другое?

– Хороший вопрос. Вы знаете, это совсем про другое, но это отдельная тема. Недавно мне попалась на глаза одна очень интересная статья коллег из МИСиС – как раз про мониторинг¹. Так вот, хочу обратить ваше внимание на один из сделанных ими выводов: оценка эффективности образовательных организаций по значениям критериев, предложенных министерством, вызывает недоумение. Авторы полагают, что оценка деятельности вузов должна заключаться в оценке процессов, осуществляемых в образовательных организациях, и их результатов в виде качественной подготовки выпускников. Но что происходит на самом деле? Критерий «развитие передовых образовательных программ» оценивается показателем «доля программ магистратуры, реализуемых на иностранном языке», критерий «внедрение новых форм получения профессионального образования» – показателем «доля студентов, охваченных кредитно-модульной системой»... Согласен с коллегами, что критерии вполне правомерны, но оценивают они результативность частных подпроцессов (операций) образовательного процесса. В то время как все эти мероприятия (критерии) должны работать на достижение основной цели образования – обеспечение качества подготовки выпускников, а эффективность процессов (оптимальное расходование ресурсов) должна определяться отдельно и серьезно анализироваться с учетом полученных результатов.

В настоящее время ФИЭБ – фактически единственный в стране эксперимент по прямому измерению качества подготовки выпускников бакалавриата. Проект был иници­ирован Ассоциацией ведущих вузов в области экономики и менеджмента (АВВЭМ). Взяв на себя существенную часть подготовки экзаменационных материалов, члены ассоциации совместно с НИИ МКО проделали колоссальную работу. По техническим дисциплинам были привлечены разработчики педагогических измерительных материалов (ПИМ) из Санкт-Петербургского государственного технологического института (технического университета), Московского авиационного института (национального исследовательского университета) (МАИ) и других известных университетов. Всего в разработке ПИМ для ФИЭБ участвовали 249 авторитетных преподавателей из ведущих вузов страны.

В будущем могут и, наверняка, будут появляться и другие инструменты независимой оценки качества подготовки. Это правильно, естественный ход развития. Будет улучшаться технология ФИЭБ. Это нормально, на каждом этапе происходит что-то новое. А вузы, достигающие высоких результатов, конечно, заслуживают уважения и признания.

– Да, у нас любят поругать, а вот похвалить – не всегда. Как будто бы высокие результаты – это само собой разумеющееся, так и должно быть. Мы считаем, что об успехах отечественной высшей школы надо писать больше. Расскажите, пожалуйста, о лидерах ФИЭБ.

– С удовольствием. Весной этого года в экзамене приняли участие 5230 студентов из 110 российских вузов. Наибольшее количество бакалавров – 1110 человек – прошли тестирование по экономике. Распределение результатов экзамена по направлениям подготовки представлено в материалах педагогического анализа по итогам ФИЭБ-2016 (см. диагр. 1).

Кстати сказать, педагогический анализ – это уникальный материал. По решению организационного комитета в этом году отчет по результатам ФИЭБ направлен не только вузам-базовым площадкам, но и вузам-участникам с репре­зентативной выборкой экзаменовавшихся. Особенно важно, что данные анализа привязаны к структуре ПИМов. По ним видно, какие предметы хорошо освоены, какие плохо. Это бесценная информация для преподавателей выпускающих кафедр и, очень может быть, полезная для принятия организационно-управленческих решений. Если результаты экзамена по какой-то одной дисциплине плохие по всей стране, значит плохая дисциплина. А если по стране результаты более-менее нормальные, а ваши студенты завалились, значит надо что-то делать. Реальная обратная связь очень важна для корректировки учебного процесса.

Каждый студент, принявший участие в федеральном интернет-экзамене, получил именной сертификат: 582 (11,13 %) – золотой, 864 (16,52 %) – серебряный, 1403 (26,83 %) – бронзовый, и 2381 (45,52 %) студент – сертификат участника (см. диагр. 2). Все сертификаты внесены в единый реестр, размещенный на сайте НИИ МКО www.i-exam.ru.

Работа по проведению ФИЭБ была организована на 71 базовой площадке в 41 регионе страны. Площадки распределены по стране равномерно и повсеместно – от Сахалина и Владивостока до Калининграда. Это удобно, потому что далеко на экзамен ездить не надо. Топ-25 базовых площадок по результатам ФИЭБ-2016 представлен в виде таблицы (см. табл. 1).

Здесь можно провести параллель с Олимпийскими играми. Этот топ – своеобразный неофициальный медальный зачет, свидетельствующий, что количество студентов, которые выступают на самом высоком уровне, достаточно велико. Правда, интерпретировать результаты необходимо очень аккуратно. Например, привезла на те же соревнования Ямайка 2 спортсменов и выиграла 2 золотые медали или, допустим, Штаты привезли 300 человек и выиграли 100 золотых медалей. Какой результат лучше? Процентное соотношение? Нет, нельзя здесь сравнивать. Иначе все будут привозить одного, и он будет выигрывать. Поэтому вот и здесь не надо абсолютизировать эти результаты.

– Если сравнить результаты ФИЭБ этого этапа с предыдущим, какая наблюдается динамика?

– Прежде всего важно отметить, что в этом году количество направлений подготовки, по которым проводился экзамен, увеличилось на 50 процентов. При этом общий объем заданий ПИМ тоже увеличился, примерно на четверть.

Как обычно, при регистрации на экзамен студент имел право выбора дисциплин в первой части ПИМ. Из примерно 10 изученных дисциплин профессионального цикла он выбирал не менее 4. Вторая часть ПИМ состояла из квази­реальных кейсов. По трем направлениям подготовки появились интерактивные кейс-задания. (О моделях ПИМ стоит впоследствии поговорить отдельно.) И в целом динамика положительная – количество студентов, прошедших тестирование, возросло на 22 процента. Доля первой десятки вузов по количеству участников стала гораздо большей. Таким образом, топовые университеты стали ещё более сильными, явными и активными лидерами.

На следующем этапе количество направлений подготовки, по которым будет проводиться тестирование, тоже изменится. Каждый год мы планомерно их увеличиваем: сначала было 10, потом 15, сейчас будет 18.

Фактически результаты ФИЭБ можно трактовать как неофициальный рейтинг по качеству подготовки. Чем он интересен, например, для абитуриентов? По данным исследований Юлии Хорстшреер (Julia Horstschraer) (Центр экономических исследований, Германия) высокие позиции в рейтингах увеличивают конкурс в вуз примерно на 20 процентов(2). Поэтому попадание вузов в топы может сыграть для них очень существенную роль и при проведении приемных кампаний. Победа дорогого стоит, о ней нужно говорить.

– Владислав Владимирович, какие преимущества дают именные сертификаты, получаемые участниками ФИЭБ?

– Вузы и работодатели добровольно признают сертификаты ФИЭБ. Кстати, добровольность, конфиденциальность и независимость – наши ключевые принципы: добровольность участия студентов, конфиденциальность индивидуальных результатов выпускника, независимость оценки как от органов управления и контроля в сфере образования, так и от вузов.

В прошлом году сертификаты официально учитывались вузами – базовыми площадками (в процентах): при сдаче государственных экзаменов – 24,3 вуза, при приеме в магистратуру – 18,6, при сдаче государственных экзаменов и приеме в магистратуру – 10, при сдаче текущих экзаменов, зачетов – 2,8, как индивидуальные достижения – 2,8, как элемент портфолио – 1,4. По 2016 году статистика ещё не сведена. Надеемся, проценты возрастут.

Что касается работодателей, то здесь у нас тоже есть хорошая обратная связь, иногда даже несколько неожиданная. Поясню. Недавно мы что-то искали на HeadHunter и ради интереса решили в поисковой строке набрать ФИЭБ. Результаты запроса приятно удивили: нашлось несколько резюме, где студенты-выпускники указали сертификат ФИЭБ и ссылочку, ведущую на сайт НИИ МКО www.i-exam.ru.

Пока рано говорить, что это тренд, но что различные сертификаты вскоре будут значить не меньше, чем диплом о высшем образовании, очевидно. Допустим, получил молодой человек сертификат Microsoft – работодателю это более интересно, чем просто диплом какого-то вуза. И выпускники абсолютно правы, указывая в своих резюме наши сертификаты как реальное подтверждение качества их подготовки для работодателей.

– Каждый студент, участвовавший в экзамене, получил доступ к справочнику образовательных программ магистратуры ведущих отечественных вузов.

– Да, уже второй год участники ФИЭБ получают доступ к этому электронному справочнику на нашем сайте³. Доступен он также и в виде бесплатного приложения для мобильных устройств на Apple Store и на Google Play. Справочник небольшой, но очень удобный для всех, кто хочет поступать в магистратуру. Важно, что находится он в свободном доступе, а не только для участников интернет-экзамена.

Справочник располагает базой данных как по территориальному, так и по другим параметрам: стоимость, форма обучения (очная, заочная) и ещё ряд критериев, по которым можно осуществлять поиск. База содержит сведения о программах магистратуры, реализуемых в национальных исследовательских и федеральных университетах, вузах, вошедших в программу «5-100», и других ведущих вузах страны, включая те, студенты которых участвовали в ФИЭБ.

– Как совершенствуется технология внешней независимой сертификации выпускников бакалавриата?

– Технология совершенствуется ежегодно. Все изменения и дополнения отражаются в Положении о ФИЭБ на текущий учебный год. Самое значимое ноу-хау этого года – введение нового сервиса «Тренажер ФИЭБ». Это целенаправленная тренировка студентов в процессе многократного решения различных вариантов заданий по выбранному направлению подготовки.

С учетом опыта прошлого года, зная, какие задачи решаются хорошо, какие плохо, методисты НИИ МКО разработали базы заданий с ответами. Как правило, подобного рода системы должны включать (и у нас включают) задания прошлых лет, то есть это такой виртуальный решебник. Пользуясь им, студенты имеют возможность ознакомиться с заданиями, которые решали их предшественники, но есть и уникальные новые задания.

Работа с тренажером нацелена не только на ознакомление с материалом с целью подготовки, но и на то, чтобы студент мог поработать с системой так, как работал бы в реальном режиме тестирования. Так же, как во время интернет-экзамена, система требует выбрать дисциплины в первой части и виды профессиональной деятельности во второй части ПИМ. Таким образом, происходит ознакомление и с материалом, и с системой.

В тренажере есть два режима – подготовка и самоконтроль. В рамках подготовки студент не только решает, но и может видеть решение, что, безусловно, очень важно. В режиме самоконтроля он сам себя проверяет, не решая, а перемещаясь по заданиям.

В числе значимых новаций ФИЭБ 2016 года – разработка специальных типов заданий ПИМ и алгоритмов, позволяющих провести частичную оценку правильности решения задач. Когда студент указывает в системе результаты промежуточных вычислений, можно увидеть, на каком этапе он совершил ошибку, если совершил, и оценить правильно выполненную часть задания.

Появился новый статус – «вуз-участник ФИЭБ». Для образовательных организаций, которые желают испытать себя в интернет-экзамене, но не могут по каким-либо причинам (организационным или техническим) стать базовой площадкой, это хорошая возможность на договорной основе обеспечить массовое участие своих студентов в экзамене. Правда, пока этим воспользовались всего 7 вузов, но, наверняка, на следующем этапе их количество возрастет.

Введена процедура предварительной проверки аудиторий, задействованных при проведении экзамена, на соответствие техническим требованиям. Наши специалисты оценили, насколько правильно в каждом вузе – базовой площадке поставлены камеры, насколько у них верный угол обзора, четкая картинка и прочее. В результате мы добились гораздо более качественных видеотрансляций. Следует также отметить, что суммарно в этом году было использовано 487 камер, что почти на сотню больше, чем в прошлом. И работали они в автоматическом режиме: первый студент зашел в аудиторию – web-трансляция на сайте i-exam.ru стартовала, последний вышел – завершилась.

Впервые была реализована возможность проведения экзаменационных сеансов по различным направлениям подготовки в один день. График проведения экзамена стал более компактным, да и когда в одной аудитории экзаменационное тестирование проходят инженеры и гуманитарии – это хорошая профилактика различных списываний, консультаций и прочего.

Увеличилось время, отведенное на формирование графика ФИЭБ в личных кабинетах базовых площадок, а также время на регистрацию студентов. Изменилась технология предоставления именных сертификатов: с 2016 года они выпускаются не только в электронном, но и печатном виде.

С каждым годом технологических новаций всё больше. И мы видим, что они реально улучшают условия организации и проведения ФИЭБ, что, в свою очередь, привлекает большее количество участников.

СНОСКИ

1. Соловьев В.П., Перескокова Т.А., Кочетов А.И., Крупин Ю.А. Мониторинг образовательных организаций: правильный ли путь мы выбрали? // «Высшее образование сегодня», 2016. – № 6. – С. 2-10.
2. Подробнее об этом в ряде статей профессора А.Е. Воробьева: Национальный рейтинг как фактор эффективного развития вуза // «Аккредитация в образовании», 2016. – № 1 (85). – С. 31-33; Глобальный или национальный рейтинг вузов? // «Современные технологии управления», 2016. – № 6 (66). – Режим доступа: http://sovman.ru/article/6601/;
3. Глобальный или национальный рейтинг – что вузам выбрать? // «Alma mater. Вестник высшей школы», 2016. – № 8. – С. 5-11. Режим доступа: http://bit.ly/FiebMHB