ВСОКО vs контрольная модель: как выйти из «ловушки недоверия»?

Два контура оценки

Делая экскурс в историю, научный сотрудник лаборатории образовательного права Института образования НИУ ВШЭ Надежда Княгинина рассказала о том, что вопрос о качестве образования возник в мире в 70-80-е годы прошлого века, когда начался процесс «массовизации образования», появилась потребность контролировать вливаемые в него государственные средства и анализировать ход и результаты этого процесса. Для этого в рамках неолиберальной экономики страны и образовательные организации стали вырабатывать некое понимание качества, которое можно было бы определять, измерять, выстраивать механизмы отчетности, а университеты могли бы самостоятельно работать с этим качеством, улучшая его или, по крайней мере, поддерживая. 

Известно, что есть два контура оценки качества образования: внешний и внутренний. В России внешний контур, как считает Надежда Княгинина, представляет на данный момент государственная аккредитация и, может быть, общественная. Контур внутренний представлен, соответственно, внутренними системами оценки качества – например, известной по бизнесу системой менеджмента качества ISO, ВСОКО и прочими. Когда внутренняя оценка учитывается внешней, речь идет о системе аудита качества. Эти два контура оценки существуют в разных вариациях во всех странах.

В России под качеством образования подразумевалось соответствие федеральным государственным образовательным стандартам, которое проверялось при государственной аккредитации, когда представители Рособрнадзора брали образовательный стандарт и проверяли, соответствует ли ему то, что содержится в документации университета. Соответствует – значит, качественно; не соответствует – качества нет. Понятно, что до недавней поры во втором случае вуз не получал аккредитацию. Поэтому можно сказать, что в нашей стране доминирующей стала контрольная модель оценки качества.

ВСОКО: произошло ли становление? 

ВШЭ изучала ВСОКО в контексте того, как университет определяет внутри себя, насколько качественное у него образование, как он его измеряет и что предпринимает по итогам этих измерений. С 2017 года государство начало «намекать» российским университетам на то, что неплохо бы им вести какую-то собственную, внутреннюю работу над качеством. Через федеральные стандарты государство стало просить о привлечении работодателей к оценке качества, об учете мнения студентов, но это требование, по сути, не было обязательным. При реформе системы госаккредитации университетам стали давать аккредитацию по набору показателей, по ним проходит и аккредитационный мониторинг. Одним из показателей стало наличие в вузе внутренней системы оценки качества, за что он может получить сразу 10 баллов. И вполне понятно, что ВСОКО при прохождении аккредмониторинга на всякий случай лучше все-таки иметь, чем не иметь. 

– Если университеты до этого не сталкивались с внутренними системами оценки качества, – вводит в курс дела Надежда Княгинина, – то у них от государства были методические рекомендации по организации таких систем, которые написаны довольно хорошим рекомендательным стилем. Это документ без управленческих механизмов, он описывает набор процедур, что и как оценивать в университете, дает некие советы по реализации, например, проводить опросы студентов в конце года, а не в начале. И понятно, почему государство это делает – потому что университеты сами должны придумать ту систему, то качество и те процедуры оценки, которые им релевантны. Страна большая, университеты разные, у каждого своя специфика. И в этом смысле, может быть, наши университеты и разработали эти системы? Может быть, российские университеты, имея министерские методические рекомендации, или зная зарубежный опыт, или посмотрев на стандарты ISO, сделали их своей системой? Вот эти вопросы нас очень заинтересовали и поиск ответов стал нашей исследовательской целью. Нас интересовало и то, смогли ли ВСОКО стать некой управленческой системой, потому что надзор и контроль никуда не делся… 

Простая сложная методика

Аналитик лаборатории образовательного права ВШЭ Евгений Пучков, говоря о методологии исследования, назвал ее, с одной стороны, довольно простой, с другой – сложной. Исследователи проводили контент-анализ положений о внутренней системе оценки качества в «гражданских» вузах страны. Университеты взяли из списка прошедших мониторинг эффективности 2021 года, набралось 697 вузов. И начали искать соответствующие документы «вручную» – на вузовских сайтах, через поиск и таргетированные запросы в Google, Яндексе – везде, где можно. 

– По сути, мы собирали отдельно каждую процедуру оценивания, которая есть в этой системе, – объясняет Евгений Пучков. – Так мы зафиксировали порядка 3 000 процедур и смогли проанализировать, что происходит в вузах. У данного подхода, конечно же, есть некоторое количество допущений и ограничений. Во-первых, вуз на тот момент, до аккредитационного мониторинга, не был обязан размещать какие-то дополнительные нормативные акты на сайте. И поэтому оставался шанс, что такие акты мы просто не найдем. Как вариант: практики оценки могут быть разнесены по 20 отдельным локальным нормативным актам. Мы также не могли учесть неформальные практики. Есть еще одно допущение или ограничение, связанное с результатами анализов – работа с абсолютно абстрактными формулировками, которые можно увидеть в текстах документов: «ежегодно», «в начале года», «в конце года», «мы оцениваем все, что оцениваем», «все ложится в отчет», «все ложится в план». В таком случае шли просто по тексту, выделяли в этих актах все то, с чем они работают, если там написано «всё», значит, говорили, что всё это есть. Но, конечно, это определенная аппроксимация. И еще одно, наверное, самое логичное допущение – то, что написано в этих актах, не всегда то, что есть на самом деле. 

Статистика и первые выводы

Итак, ВСОКО – по документам – обнаружили в 461 вузе, или в 66% университетов, проходивших мониторинг эффективности в 2021 году. Из них в контент-анализ попал 361 университет. Забавно, но сама Вышка не попала в анализ, так как на тот момент внутренней системы оценки качества у вуза не было. К слову, у части образовательных организаций акты с информацией о ВСОКО оказались в закрытом доступе. У 33 университетов, по словам Евгения Пучкова, тексты документов анализу не подлежат, так как в них не указаны объекты оценивания, поэтому было невозможно понять, что в них происходит на самом деле. В акте могло быть написано, что оценка качества проводится, ей руководит отдел по оценке качества, пишется план действий по результатам оценки качества, и… он кладется «в стол». Вузов с такой ВСОКО набралось 33. В целом же исследователи проанализировали акты 361 вуза.

Как оказалось, в 352 вузах ВСОКО была очень схожа по тексту с упомянутыми выше методическими рекомендациями: те же формулировки, те же процедуры, очень схожий текст. В 229 университетах существует система менеджмента качества по стандартам ISO и СМК. Их определили по типичным «ритуальным» формулировкам из сферы бизнеса. В 120 вузах есть и то, и другое. 

Что вузы оценивают, используя ВСОКО? В лидерах этой категории – студенты и сотрудники. Первых оценивали 84,76% университетов, вторых – 74,79%. Чуть реже оценивают ресурсы – 44,04%, затем – удовлетворенность (36,9%), далее – образовательный процесс (31,3%), документы (17,17%), кафедры (8,86%), выпускников (3,6%), еще единичные примеры какой-то инновации. Поэтому исследователи делают вывод о том, что объекты оценки типовые.

Чаще всего оценка проводится через анкеты и опросы. И по виду оценивания понятно, что они связаны со студентами: аттестация, входной контроль, контроль остаточных знаний, тесты и т.п. Это процедуры, которые используются в вузе, и они упомянуты в методических рекомендациях. То есть вузы все-таки в рамках ВСОКО пытаются использовать механизмы, которые у них уже есть. 

– И это, на самом деле, хорошо, – считает Евгений Пучков. – Потому что не нужно «городить» какую-то новую дополнительную систему, да и в рекомендациях Минобрнауки написано: «Использовать то, что есть». Просто нужно уметь обращаться с полученными результатами правильно и на их основании вырабатывать управленческие решения. 

Увы, по словам исследователя, результаты деятельности вузовской ВСОКО далеко не всегда становились поводом для принятия конкретных управленческих решений. 

Об управленческой применимости

Вот еще данные исследования. Большинство университетов – 80,61% – по итогам оценки ВСОКО делает отчет, а две трети вузов, по их сообщениям, вносят изменения в свою работу (однако не конкретизируют, о каких изменениях идет речь). Немалая часть на основании данных ВСОКО строит планы (41,27%), у трети вузов эти данные выносятся на обсуждение (35,73%), почти в каждом пятом вузе (19%) даже принимаются кадровые решения. И у небольшой (7,48%) доли университетов (и вот тут уже появляется конкретика) – по итогам оценки ВСОКО предусмотрены бонусы, премии, статус лучшего преподавателя и т.п. 

– Анализируя полученные в ходе исследования данные, можно сказать, что внутренняя оценка качества существует, в первую очередь, для отчетов, и документация важнее, чем реальная деятельность. Это как раз очень характерно для того, что называют «контрольной моделью» качества образования, – рассуждает аналитик. – Возникает вопрос: а может ли ВСОКО в принципе быть управленческим механизмом в текущей парадигме? Жизнеспособна ли процедура? И можно ли вести речь о «полноте процедуры»? (Аналогичный критерий применяется в некоторых бизнесовых системах оценивания. «Полнота процедуры» – это оценка ее жизнеспособности, применимости в управлении). Мы предусмотрели три варианта с шестью критериями: если документ <с результатами ВСОКО> дает ответы на все критериальные вопросы – это самая полная процедура, где все необходимые элементы присутствуют. Неполная процедура – если присутствуют не все элементы, но самые важные имеются. И третий вариант – «критически неполная процедура», когда документ не отвечает нам хотя бы на один из трех самых важных вопросов: кто оценивает? когда оценивает? как оценивает?  Так вот, к критически неполной процедуре можно отнести ВСОКО у почти 80% вузов – в их документах нет ответов на эти три главных вопроса. А если мы не можем ответить на эти вопросы, то сложно понять, что это за процедура оценивания, как она работает, насколько часто действует, и можно ли собирать по ней релевантные данные для управленческих решений. То есть у российских вузов с полнотой и управленческой применимостью ВСОКО – большие проблемы… 

«Анализируя полученные в ходе исследования данные, можно сказать, что внутренняя оценка качества существует, в первую очередь, для отчетов, и документация важнее, чем реальная деятельность. Это как раз очень характерно для того, что называют «контрольной моделью» качества образования… Возникает вопрос: а может ли ВСОКО в принципе быть управленческим механизмом в текущей парадигме? Жизнеспособна ли процедура?»

«Ловушка недоверия»

Итак, исследователи столкнулись с тем, что две трети российских университетов формально имеют внутренние системы оценки качества образования, но, если к ним присмотреться, понимаешь, что эти системы подозрительно похожи друг на друга: удивительно сходная структура, подозрительно однообразные процедуры. И почти у 80% – нежизнеспособны. 

– Мы понимаем, что университет с такими документами, по всей видимости, сам над своим внутренним качеством не работает, – делает вывод Надежда Княгинина. – Он просто принимает локальный акт, говорит: смотри, государство, я молодец, смотри, внешний контролер, у меня все есть, я работаю над качеством, у меня даже локальный акт есть в разделе «Сведения об образовательной организации», во вкладке «Документы»! И мы приходим к тому, что остаемся в «конт­рольной модели» оценки качества – университет продолжает что-либо делать только для того, чтобы контролер его не наказал. Короче говоря, мы получили подтверждение тому, что бумаги, которые размещаются на сайтах университетов, на самом деле являются «церемониальной ширмой». 

Кстати, лаборатория образовательного права ВШЭ планирует в следующем году провести еще одну волну этого исследования в связи с аккредитационным мониторингом. Гипотеза исследователей заключается в том, что университеты еще больше примут локальных актов. Но будет ли что-то за этими документами и красивыми формулировками?

– Мы понимаем, что в образовании такое формальное – не только ВСОКО, не только этот локальный акт, – говорит Надежда Княгинина. – Пугает то, что реальная внутренняя работа над качеством не может сосуществовать с сильной «контрольной моделью». То есть, ты не можешь параллельно у себя в эти процессы вникать, разбираться и выстраивать, и вместе с тем доказывать контролеру, что ты молодец и все делаешь по правилам. Это довольно тяжело сочетаемо, если контроль доминирует. Более того, сильный контроль мешает работать с подотчетностью. В ситуации, когда тебя наказывают – за любые ошибки грозят оштрафовать или лишить аккредитации, это заставляет тебя скрывать свои слабые стороны, недоработки и не показывать при подотчетности, что ты где-то не дотянул, в чем-то еще недостаточно хорош. И больше всего пугает меня то, что в текущей работе с качеством, кажется, мы попадаем в так называемую «ловушку недоверия». Если в системе есть недоверие, появляется запрос на контроль за происходящим. Если этот запрос удовлетворяется, то недоверия становится больше, а раз там кого-то проверяют, значит, там что-то не так, нужно проверять еще больше. Недоверие возрастает – снова запрос на контроль… Мне кажется, это не только про качество образования, но и про ситуацию в системе образования в целом. 

«Очень глубокие вопросы»

Как подчеркнула директор Национального центра профессионально-общественной аккредитации Галина Мотова, выступавшая на открытом семинаре в качестве дискуссанта, наличие внутренней системы оценки качества образования – не просто один из аккредитационных показателей. Он единственный является предметом изучения во всех трех процедурах государственной регламентации: госаккредитации, аккредитационного мониторинга и федерального государственного контроля. Оценив масштаб и значимость исследования, Г. Мотова отметила, что оно ставит очень глубокие вопросы перед академической общественностью и органами управления. Что обусловило такое положение? Почему системы качества есть документально, а по факту о них ничего не известно? Почему локальные акты написаны «как под копирку»? Почему не предполагается автономия и самостоятельность вузов, например, в использовании различных моделей систем качества? Почему внешние системы регламентации (в данном случае, например, аккредитационные показатели, методические рекомендации) оказывают влияние на формирование внутренних систем качества, но не наоборот? То есть наличие эффективной ВСОКО не учитывается при процедурах регламентации, внешней оценки, внешнего контроля и т.д.? 

– Что дальше? – резюмирует Галина Мотова. – Учитывая этот срез, хотелось бы задать вопросы: сможет ли аккредитационный мониторинг обеспечить деятельность и эффективность систем оценки качества образования в вузах? Ведь чаще всего, действительно, все сводится к тому, что мы «нарисуем» локальные акты и этим отчитаемся. Потому что недостаточно понятна государственная образовательная политика: какие системы должны быть, что они должны обеспечить? Чтобы что было в вузах на самом деле – только бумажная отчетность или все-таки качественная эффективная работа? Далее. Очень существенную роль сыграло и то, что мы в свое время отказались от институционального подхода <в обеспечении качества> и перешли на программный уровень, сместив таким образом ответственность за качество на уровень деканатов и кафедр, а роль руководства вузов с тех пор остается недостаточно прописанной и недостаточно понятной. Этот вопрос также требует прояснения. Наконец, как обеспечить известный «принцип integrity», означающий, что каждый на своем месте должен делать работу правильно «даже тогда, когда за тобой никто не наблюдает»? Собственно, речь идет о добросовестности, о честности в работе – именно этот показатель стоит во главе угла многих систем аккредитаций, задекларирован в ключевых документах вузов…

– Думаю, что исследование в любом случае привлекает внимание к теме качества, – поделилась мнением директор Центра качества организации учебного процесса Университета ИТМО Кристина Тишкина. – Другой вопрос, как будут использоваться результаты этого исследования? С одной стороны, для Минобрнауки или Рособрнадзора это может стать поводом к тому, чтобы «зарегламентировать» ВСОКО, и чтобы мы делали документы еще в большей степени «под копирку». Не хотелось бы к такому прийти. 

Правило хороших практик

– Самое тревожное в том, что со ВСОКО будет делать Рособрнадзор, с этой дихотомией: есть акты или нет актов, даем 10 баллов или не даем, – признается Надежда Княгинина. – Бюрократизировать процессы и оставлять, как есть, тоже бессмысленно. Я этот показатель о наличии ВСОКО просто убрала бы из аккредмониторинга, так как не верю в то, что такое «палочное» стимулирование поможет университетам работать над качеством. С другой стороны, когда мы обсуждали реформу госаккредитации с коллегами из разных органов власти, разговор был про то, чтобы менять систему более кардинально, чем мониторинг, – ввести систему аудита внутренних систем оценки качества, когда профессионалы могли бы приезжать в университет и смотреть документы, общаться со студентами. Они проверяли бы не результаты, не показатели, а то, есть ли в университете внутренняя система оценки качества, работает ли он над качеством, и на основании этого уже решали, достоин ли вуз государственной аккредитации. 

– По поводу того, что на сайтах университетов зачастую нет информации о ВСОКО, или она закрыта для публичного доступа, – резюмировала Надежда Княгинина. – Сайт – это инструмент общения с внешним миром, а не для собственного внутреннего документооборота. Для обеспечения качества образования необходимо быть максимально открытым, демонстрировать определенную культуру. Особенно тем университетам, которые имеют хорошие практики – для блага общества им стоит быть более открытыми. С другой стороны, нужно спокойно говорить о недоработках, чтобы не превращать это действо в церемониальный акт, пуская пыль в глаза.

В завершение семинара Евгений Пучков отметил, что команда исследователей, конечно же, находила и выделяла хорошие практики. Объединяло эти практики, как заметили исследователи, одно общее правило – неформальный подход к обеспечению качества – когда люди глубоко понимают, что делают, выстраивая систему ВСОКО.

Подготовил Алексей Батанов