ФИЭБ: история с продолжением

«Крайне важное звено». 
О том, как рождался проект

В 2007 году, 15 лет назад, под руководством профессора, доктора технических наук Владимира Григорьевича Наводнова в стенах НИИ мониторинга качества образования (НИИ МКО) была окончательно сформирована новая команда, результатом деятельности которой стал запуск портала по независимой оценке качества (НОК) подготовки обучающихся i-exam.ru.

Шаг за шагом портал наполнялся инновационными сервисами, нацеленными на независимую и, что особенно важно, добровольную оценку качества подготовки студентов, обучающихся на разных курсах по широчайшему диапазону направлений подготовки и специальностей. В период с 2007 по 2014 годы основными проектами портала были «Федеральный интернет-экзамен в сфере профессионального образования (ФЭПО)», «Интернет-тренажеры в сфере образования», а также «Диагностическое интернет-тестирование студентов первого курса». Эти три основных продукта закрывали необходимость образовательных организаций во «входной оценке» первокурсников, текущей/промежуточной и итоговой аттестации студентов 2-3 курсов. При этом участники проекта могли проходить онлайн-тестирование в режиме 24/7 по более чем 200 различным дисциплинам и практически по всем направлениям подготовки и специальностям. 

Для эффективной работы системы программисты НИИ разработали многомодульный комплекс ПО, размещенный на нескольких серверах для поддержания безопасности и отказоустойчивости системы. Методическое же подразделение команды института курировало разработку и обновление базы заданий портала i-exam.ru, наполнение которого к 2014 году суммарно достигало 200 тысяч заданий. 

Согласно сформированной в НИИ МКО многоэтапной схеме разработки педагогических измерительных материалов (ПИМ), составителями непосредственно заданий являются представители различных, зачастую ведущих в своей области, вузов и ссузов разных регионов РФ (см. рис. 1). Такой подход позволяет разрабатывать максимально универсальные и выверенные банки ПИМ, что, в свою очередь, обеспечивает возможность участия в проектах i-exam.ru практически любого ссуза и вуза РФ.

Рисунок 1. Схема разработки педагогических измерительных материалов (ПИМ)

В результате такого максимально гибкого подхода к проектированию созданного в НИИ МКО инструмента НОК, а также с учетом «принципа доверия», который означает полную конфиденциальность результатов тестирования и предоставление данных только непосредственному участнику проекта, суммарные объемы тестирования к 2014 году стали возрастать. Вместе с тем существовало вполне конкретное понимание, что в линейке продуктов i-exam.ru отсутствует крайне важное звено, а именно оценка образовательных достижений студентов-выпускников. Как раз тогда, в 2014 году, родилась и приобрела ясные очертания идея запуска онлайн-экзамена для обучающихся этой категории, впоследствии получившего название «Федеральный интернет-экзамен для выпускников бакалавриата (ФИЭБ)». 

«Экзамен с высокими ставками». О составляющих ФИЭБ

При создании ФИЭБ было совершенно очевидно, что ПИМ для такого экзамена должны иметь комплексный характер и не ограничиваться просто заданиями из нескольких дисциплин, так как такой «прямой» полиПИМ не в состоянии дать объективную оценку уровня подготовки выпускника. Кроме этого необходимо было учесть и различие образовательных программ разных вузов по одному и тому же направлению подготовки бакалавриата, в связи с чем была разработана специальная уникальная структура и модель ПИМ для проведения ФИЭБ (см. рис. 2). Здесь важно отметить не только комплексный характер предложенной модели, но и такие её свойства, как гибкость и вариативность, позволившие каждому выпускнику самостоятельно сформировать для себя структуру измерителя. 

Рисунок 2. Структура и модель ПИМ для проведения ФИЭБ

Очень активное участие в разработке ФИЭБ принимал профессор, доктор педагогических наук, академик РАО, научный руководитель Центра мониторинга качества образования ИО НИУ ВШЭ Виктор Александрович Болотов (см. фото). Именно благодаря Виктору Александровичу в структуру ПИМ и схему проведения ФИЭБ был внесен ряд коррективов, которые впоследствии в полной мере продемонстрировали свою эффективность и стали неотъемлемой частью экзамена.

Помимо содержательной части экзамена, отдельного внимания требовал и организационно-технический аспект, поскольку результаты тестирования могут напрямую влиять на итоговую выпускную аттестацию студента. С этого момента ФИЭБ становится так называемым «экзаменом с высокими ставками», а для таких процедур, особенно если они проводятся в режиме онлайн, необходим дополнительный комплекс организационно-технических мер, позволяющий обеспечить максимальный уровень объективности на протяжении всего экзамена, а также целостности и валидности результатов. В связи с этим в НИИ МКО, который впоследствии выступил в качестве генерального оператора ФИЭБ, была предложена, апробирована и реализована основная технология проведения экзамена.

В основу схемы легло понятие «вуз – базовая площадка». Этот статус присваивается вузам, готовым взять на себя организационно-техническое бремя по проведению непосредственно экзаменационных сеансов ФИЭБ согласно заранее сформированному графику. Кроме всего, такие вузы берут на себя обязательства по учёту результатов ФИЭБ (например, при поступлении выпускников бакалавриата в магистратуру) или же рассматривают результаты при ГИА, при этом у образовательной организации есть возможность получить бонус – минус 30% от суммы оплаты участия в экзамене студентов других ОО, приехавших для сдачи ФИЭБ в данный вуз-базовую площадку. 

Так как местом проведения ФИЭБ является сеть вузов-базовых площадок, основными организационно-техническими особенностями проведения экзамена становятся следующие моменты: одновременное проведение ФИЭБ на всей территории РФ в базовых вузах, активное использование онлайн-видеотрансляций из аудиторий базовых площадок, случайная рассадка студентов в аудиториях и уникальный вариант ПИМ для каждого студента-участника ФИЭБ. 

Важнейшей составляющей ФИЭБ также является модель оценки результатов, и здесь в основу положен так называемый «олимпийский принцип», при котором все результаты по направлению подготовки ранжируются от большего к меньшему: 10% участников, продемонстрировавших лучшие результаты по направлению подготовки, получают золотые сертификаты ФИЭБ, следующие 15% – серебряные, следующие 25% – бронзовые, остальные – сертификат участника. Такой достаточно простой подход полностью оправдал себя, так как многие вузы при учете сертификатов ФИЭБ стали ориентироваться не на набранный выпускником абсолютный балл, а на «цвет» сертификата, который фактически служит индикатором результата в сравнении с другими студентами.

«Не выходя из дома». 
О новых векторах развития 

ФИЭБ в пилотном режиме был впервые запущен в декабре 2014 года, а в апреле 2015-го проведен первый «рабочий» экзамен с участием свыше 4,2 тысяч студентов. Проводился ФИЭБ тогда по 10-ти направлениям подготовки, и, начиная с 2015 года, стало доброй традицией ежегодно увеличивать их количество. 

Вместе с ростом числа направлений подготовки ежегодно увеличивается и количество вузов-базовых площадок, и количество студентов-участников ФИЭБ (см. рис. 3). Исключением стал «карантинный» период, когда не все вузы и студенты смогли быстро перестроиться и полностью перейти в онлайн. Именно этот период стал триггером для ФИЭБ с точки зрения необходимости использования и разработки новых инструментов, которые позволили бы быстро реконфигурировать технологию проведения экзамена в ситуациях, когда вузы-базовые площадки оказываются выключенными из процесса. 

Рисунок 3. Динамика развития проекта «ФИЭБ» (2015-2022 гг.)

Итак, с 2020 года одним из главных векторов развития ФИЭБ стала направленность на активное применение технологий индивидуального прокторинга, который позволял бы студентам сдавать экзамен, «не выходя из дома». Эта технология решает не только проблему взаимодействия с вузами – базовыми площадками во время карантинных ограничений, но также позволяет расширять аудиторию ФИЭБ за счет студентов-выпускников, которые по разным причинам физически не могут попасть в вуз – базовую площадку. В процессе внедрения процедуры прокторинга в ФИЭБ были использованы разные подходы. Например, в 2020 году использование прокторинга на экзамене было возможно лишь через интеграцию в систему стороннего решения. Понимая все риски, связанные с этим подходом, предоставление выбора такого варианта прохождения ФИЭБ было ограничено, и в режиме «с протокторингом» экзамен сдавали порядка 50 студентов. Отметим, что даже при участии такого небольшого числа пользователей в полной мере были заметны трудности сопровождения этого процесса, так как в системе появлялся еще один независимый от генерального оператора ФИЭБ компонент – сервис прокторинга, который сопровождала отдельная сторонняя команда. Такая конфигурация оказалась не очень эффективна, и команда технических специалистов от этого решения вынуждена была отказаться, предполагая гораздо большие трудности при кратном росте участников в режиме прокторинга. В итоге был выбран курс на разработку собственного решения, позволяющего проводить онлайн-тестирование студентов на платформе i-exam.ru в режиме «с прокторингом», что предполагает гораздо более эффективную интеграцию подсистем друг с другом при их разработке и сопровождении одной и той же командой.

Таким образом, при проведении ФИЭБ в 2021 году была впервые апробирована (159 студентов в режиме «с прокторингом») вновь разработанная внутренняя система прокторинга портала i-exam.ru, а в 2022-м в рамках ФИЭБ эта система использовалась уже без ограничений. Это позволило порядка 20% студентов от общего числа участников ФИЭБ сдать экзамен, «не выходя из дома». Отдельно стоит упомянуть, что еще одним нововведением ФИЭБ 2022 года стало синхронное использование веб-камеры компьютера/ноутбука при тестировании с прокторингом и камеры мобильного телефона.

Такой подход позволил обеспечить еще больший уровень достоверности результатов при использовании прокторинга. Ряд результатов студентов был аннулирован в связи с очевидными нарушениями, которые не остались незамеченными системой прокторинга. В целом же, говоря об основных показателях ФИЭБ 2022 года, необходимо отметить, что тестирование проводилось по 28-ми направлениям подготовки бакалавриата, суммарно в тестировании приняли участие более 6,5 тысяч студентов из 109 вузов (см. таблицу 1).

Таблица 1

«Бежать как минимум вдвое быстрее». О промежуточных итогах 
и ближайших перспективах

За 8 этапов, начиная с 2015 года, через систему ФИЭБ уже прошли более 47 тысяч студентов, что, несомненно, можно назвать успешным показателем, особенно учитывая то, что экзамен проводится абсолютно добровольно для всех студентов и вузов без какого-либо государственного финансирования. При этом, если вернуться к показателям участия студентов всей платформы i-exam.ru, то суммарное количество сеансов тестирования по всем проектам на данный момент достигает 1,5 млн сеансов в год, общий банк ПИМ включает более 300 тысяч заданий. Заметим, что в РФ подобные объемы имеет только система Единого государственного экзамена, однако, что касается ЕГЭ, только сравнительно недавно началась дискуссия о переходе отдельных предметов в онлайн, тогда как экзамены на портале i-exam.ru проходят исключительно в онлайн-режиме уже с начала запуска платформы в 2007 году. 

Возвращаясь к ФИЭБ, необходимо отметить, что все эти годы команда НИИ МКО под руководством В.Г. Наводнова прилагает максимум усилий для того, чтобы экзамен развивался, наполнялся новыми заданиями, часто в новых интерактивных форматах, обеспечивая непрерывный процесс пополнения и обновления банка заданий ПИМ. И здесь уместно вспомнить знаменитую цитату из «Алисы в стране чудес» Л. Кэрролла: «Нужно бежать со всех ног, чтобы только оставаться на месте, а чтобы куда-то попасть, надо бежать как минимум вдвое быстрее!»

С каждым годом количество направлений подготовки ФИЭБ увеличивается. На 2023 год запланировано серьезное обновление кейс-заданий части 2 ПИМ (в следующем году состоится первый масштабный выпуск студентов, которые заканчивают курс обучения по программам бакалавриата в соответствии с ФГОС 3++). Это стало причиной того, что теперь кейс-задания части 2 ПИМ ФИЭБ представят не по видам профессиональной деятельности, а по типам профессиональных задач. Зачастую содержание этих задач серьезно меняется по сравнению с предыдущим ФГОС 3+. Усовершенствуют и систему прокторинга: запланировано глобальное обновление системы, включающее еще большую автоматизацию процесса выявления нарушений с минимальным участием оператора-проктора, впервые будут использованы алгоритмы распознавания сгенерированного контента (deep fakes).

Рабочее совещание перед запуском ФИЭБ в «пилотном» режиме. 
На фото В.А. Болотов, В.Г. Наводнов и сотрудники НИИ МКО. Йошкар-Ола, октябрь 2014 г.