Уровень компетенции выявляют тесты

Один из самых актуальных вопросов нашего времени – как оценить качество профессиональной подготовки студентов и выпускников колледжей и техникумов. Совершенно очевидно, что для этого нужны новые методы и инструменты, экономичные и удобные в использовании процедуры. И как выяснилось, они уже есть. Так, в Санкт-Петербурге силами малого инновационного предприятия «Академия информационных технологий» разработано и внедрено в практику несколько компьютерных систем (программ), позволяющих оперативно диагностировать уровень ведущих профессиональных компетенций студентов, обучающихся по специальностям «Медицинская оптика», «Фельдшер скорой медицинской помощи», «Лабораторная диагностика», а также работников соответствующих профилей (подробнее – www.ait.spb.ru). Аналогичные системы можно создать и для многих других специальностей, способствуя тем самым повышению качества профессионального образования и информатизации процесса оценивания компетентности работников.

Новый метод диагностики профессионализма специалистов среднего звена представляют генеральный директор Академии информационных технологий, кандидат педагогических наук Александр ХОДАКОВ, председатель Совета директоров ссузов Санкт-Петербурга, кандидат педагогических наук Виктор СМИРНОВ и исполнительный директор Совета директоров ссузов Санкт-Петербурга, заслуженный учитель РФ Роман ПАХАЛЮК.

Мы исходим из того, что специалист – целостный субъект профессиональной деятельности, обладающий комплексом специальных компетенций. Учитывая, что на практике профессиональная деятельность представляет собой совокупность типичных, повторяющихся задач-проблем, решаемых специалистом, можно предложить такое рабочее определение профессиональных компетенций как готовность (способность) работника на основе сознательно усвоенных знаний, умений, приобретенного опыта, всех своих внутренних ресурсов самостоятельно анализировать и практически решать значимые профессиональные проблемы, типичные задачи (проблемные ситуации).

Чтобы провести профессиональную диагностику, следует воспользоваться набором ведущих итоговых компетенций для конкретной специальности. Допустим, это будет фельдшер скорой медицинской помощи. Для данной специальности доктор медицинских наук, профессор И.П. Миннуллин выделил 10 ведущих итоговых компетенций: понятийную, диагностическую, технико-диагностическую, фармакологическую, учебно-манипуляционную, технико-аппаратную, лечебно-тактическую, организационно-тактическую, психологическую и деонтологическую. Все они соответствуют основным требованиям профессионального стандарта и в совокупности могут служить комплексной оценкой компетентности, то есть показывать уровень профессиональной подготовленности и соответствия требованиям современной практики как студента-выпускника, так и специалиста, много лет проработавшего в медицинском учреждении. Другими словами, это компетенции, которые отражают итог освоения профессии. Они должны быть логически связаны с «модульными», предназначенными для текущего контроля образовательного процесса и привязанными к отдельным учебным модулям, предусмотренным новыми образовательными стандартами. Ведущие итоговые компетенции обобщают «модульные», интегрируют их.

Для оперативной диагностики профессиональных компетенций в компьютерных программах используются системы специальных тестов. Тот или иной тест моделирует конкретную производственную или познавательную ситуацию, в которой испытуемый должен осмыслить типичную профессиональную проблему, проявить своё понимание ее сути и предложить способы правильного и наилучшего решения. Никаких умозрительных вопросов с перечнем готовых ответов, среди которых преобладают ложные суждения, он не предполагает.

Тестовым заданиям по возможности придан такой характер, при котором испытуемому приходится активно мыслить, выполнять некоторые условные действия, искать и принимать осознанные решения, максимально мобилизуя свои внутренние ресурсы. Они предназначены не столько для измерения конкретных знаний, сколько для оценивания уровня понимания испытуемого, степени зрелости его профессионального мышления.

Разрабатывались тестовые задания опытными специалистами. В частности, для фельдшеров скорой медицинской помощи они были составлены сотрудниками Санкт-Петербургского НИИ скорой помощи им. И.И. Джанелидзе.

Выполнение тестовых заданий оценивается по единой схеме:

• подсчитывается число правильных (ответов) решений (А);
• подсчитывается число ошибок (В);
• фиксируется время, которое затрачивается на выполнение тестового задания (Т).

Для каждого испытуемого программа по команде пользователя автоматически вычисляет пять разных оценок, отражающих различные особенности профессиональной подготовленности. Результаты отображаются в форме таблиц и графиков.

Величина основной оценки для любой компетенции – Оn вычисляется по следующей формуле:

, где Аmax – максимальное число правильных решений для данного теста. Во всех случаях она изменяется в пределах от 0 до 10. В качестве индивидуальной итоговой оценки рассматривается сумма всех оценок (максимально возможная – равна 100).

В процессе апробации системы, предназначенной для специалистов скорой помощи, протестированы 16 студентов-практикантов и 106 медработников. И у первой, и у второй группы основные оценки оказались в диапазоне от 43 до 74. С одной стороны, это говорит о высокой измерительной способности использованных тестовых систем, которые успешно фиксируют индивидуальные различия в подготовке обследованных студентов и работников, а с другой – о разнице (неоднородности) в уровне профессиональной компетентности как выпускников колледжа, так и персонала. И в обычной практике традиционными методами эту разницу корректно не зафиксировать.

Программа легко и быстро вычисляет и групповую (суммарную) оценку всех компетенций – Оп (среднее значение для данной выборки). Для студентов, которые осваивают специальность «Фельдшер скорой медицинской помощи», эта оценка оказалась равной 57,5, для медицинских работников – 70. Также без затруднений программа строит и профиль профессиональных компетенций для каждой группы лиц, прошедших тестирование.

Рисунок 1. Групповой профиль профессиональных компетенций для студентов и работников скорой медицинской помощи.

Таким образом, компьютерная диагностика позволяет получить развернутую характеристику уровня подготовленности группы студентов и одновременно увидеть, что усвоено лучше, что хуже (сильные и слабые стороны подготовки). Если провести тестирование в середине завершающего года обучения, можно вовремя внести коррективы в учебную работу и за оставшееся время целенаправленно устранить недостатки в подготовке выпускников. А если учесть, что программа четко ранжирует протестированных лиц по величине оценки и таким образом выявляет наиболее и наименее хорошо овладевших компетенциями студентов, получается, что руководитель учебного заведения имеет возможность сделать вывод, с какими профессиональными задачами будущие специалисты смогут справиться успешно, а какие – вызовут у них затруднения.

Профиль профессиональных компетенций (индивидуальный график) можно построить для любого участника тестирования. Надо только, чтобы при входе в систему он заполнил электронную личную карточку, в которой указал фамилию, имя, пол. Студенты отмечают курс обучения, а медицинские работники – образование и стаж работы по специальности.

Один щелчок мыши, и перед пользователем возникнут таблицы, в которых будут представлены сравнительные оценки компетенций. Приведем для примера данные, полученные в результате тестирования группы студентов Санкт-Петербургского медико-технического колледжа, обучающихся по специальности «Медицинская оптика» (табл. 1).

Таблица 1. Средние оценки профессиональных компетенций для студентов разных курсов (53 человека).

Представленная информация наглядно показывает эффект профессионального обучения: суммарная (итоговая) оценка компетентности оказывается заметно выше у студентов старшего курса.

Преимущество разработанной компьютерной программы в том, что имеется возможность проанализировать динамику показателей, относящихся к разным видам компетенций. По таблице хорошо видно, что наибольший «прирост» профессиональной подготовленности дают производственная, технологическая и инструментальная компетенции.

Программа позволяет построить таблицы, которые показывают динамику компетентности работника при увеличении его трудового стажа (пример в табл. 2).

Таблица 2. Основные оценки профессиональных компетенций работников скорой медицинской помощи с разным трудовым стажем.

Таблица выявляет сложную и противоречивую динамику профессиональной компетентности. Оценка Оn постепенно возрастает при переходе от первой группы медработников к третьей. Самое интересное: складывается впечатление, что при накоплении определенного рабочего опыта компетентность специалиста застывает на достигнутом уровне, хотя весьма значительные резервы профессионального роста у него имеются (оценка Оn, равная 71 не является пределом компетентности). Подобная информация крайне важна для совершенствования системы повышения квалификации специалистов.

Компьютерное тестирование – хороший инструмент индивидуальной диагностики профессиональной подготовленности студента (специалиста).

Для каждого испытуемого, прошедшего тестирование, легко получить персональный профиль профессиональной компетентности, так как таблицы и графики наглядно отражают многие важные особенности подготовленности конкретного студента-выпускника или работника.

Отметим, что компьютерная программа позволяет дополнительно вычислять (по каждому тесту) оценку продуктивности действий – Ра и оценку точности действий – Рb.

где As – среднее число правильных ответов по выборке

где Bs – среднее число ошибок по выборке

Персональные данные показывают, по каким параметрам наблюдается высокий уровень подготовленности студента, а по каким – обнаруживаются провалы в подготовке. Для примера приведем данные тестирования двух студентов, обучающихся в Санкт-Петербургском медицинском колледже №3 по специальности «Лабораторная диагностика» (для простоты изложения названия компетенций не приводятся):

Рисунок 2. Персональные профили профессиональных компетенций студентов А и Б (оценки Ра).

По всем компетенциям результаты тестирования студента А оказались ниже средних значений по группе (все оценки Ра отрицательны), причем хуже всего данные по компетенциям 2, 3 и 9. У студента Б картина иная. За исключением тестов №1 и 4 испытуемый демонстрирует результаты выше, чем в среднем по выборке.

Для каждого студента можно построить профиль компетенций, используя оценку Рb. Он будет хорошей основой для индивидуальной работы.

По результатам данных тестирования профессиональных компетенций составляются специальные таблицы. Ниже приведен фрагмент одной из них – для фельдшера скорой медицинской помощи, у которого основная оценка Оn оказалась ниже среднего значения по выборке (табл. 3).

Таблица 3. Оценки профессиональных компетенций фельдшера скорой медицинской помощи.

По всем компетенциям, за исключением психологической, оценка Ра отрицательна. Самое слабое место в подготовленности этого специалиста – выполнение лечебных манипуляций: низкий результат в сочетании с большим количеством ошибок. Немалые трудности возникают у него и при работе с технико-диагностической аппаратурой, а также при решении организационно-тактических задач.

По команде пользователя программа создает содержательное заключение объёмом в шесть страниц для каждого лица, прошедшего тестирование. Это весьма облегчает процедуру анализа результатов.

Персональные результаты отражают важные индивидуальные особенности работников и специалистов. Обнаруживаются медлительные и быстрые сотрудники; работающие аккуратно, точно и допускающие много профессиональных ошибок; результативные при решении определенных профессиональных задач и недостаточно компетентные в некоторых вопросах своей деятельности и т.д. Основываясь на этих результатах, можно точнее определить характер консультационной помощи, в которой нуждается конкретный работник для повышения уровня своей компетентности.

Полезно проводить «входное» тестирование претендентов на вакансии, имеющиеся в данной организации.

Большую пользу получат и учебное заведение, и производственная организация, если введут в практику регулярный мониторинг профессиональной компетентности студентов-выпускников и специалистов.

Компьютерные системы, предназначенные для диагностики компетенций, отличаются принципиальной новизной, простотой технических решений, удобством в использовании, большими информационно-аналитическими возможностями.

На наш взгляд, предлагаемый методический инструмент может быть успешно использован в создающихся центрах сертификации и профессиональной квалификации, которые призваны осуществлять независимую экспертизу уровня подготовленности выпускников вузов и колледжей.