Проблемы и риски процедур оценивания

ПЕТРОВА Надежда Владимировна – ведущий специалист Центра оценки и контроля качества образования Ярославской области.

Оценивание уровня подготовленности обучающихся – одна из основных функций педагога в школе. Некоторые специалисты могут выступать в роли экспертов, осуществляя оценку¹ профессиональной деятельности коллег. Выявлено, что эксперт­ная оценка базируется не столько на наблюдении, сколько на интерпретации и, прежде всего, демон­страции личного и профессионального мнения², а это сопряжено с определенной долей погрешности производимого измерения.

ИСТОЧНИКАМИ искажений в ходе экспертизы могут выступать процедура оценивания, шкала оценки и субъект оценивания.

Зачастую эксперт вынужден производить оценку по очень большому числу параметров, на которые не всегда хватает внимания. Еще одно препятствие на пути к объективному мнению – многодневная процедура оценивания, приводящая к утомляемости эксперта.

Проблемы также возникают вследствие частичного перекрытия категорий шкалы оценки. Например, при оценивании в обычной 5-балльной шкале нередко отсутствуют отметки «1» и «2», но используются отметки «4 с плюсом», «5 с минусом». Все это говорит о неоптимальном функционировании данной шкалы как инструмента дифференциации обучающихся.

На появление погрешности нередко влияют и сами эксперты. К наиболее распространенным искажениям с их стороны относят ошибки межличностного восприятия – эффекты снисходительности/строгости, ореола, центральной тенденции и другие.

Эффект снисходительности/строгости, например, проявляется в склонности эксперта оценивать слишком высоко или низко. Это стабильная черта (личностное качество) эксперта, которая вносится во все ситуации оценивания.

Эффект ореола как внутренняя тенденция оценивать за общие заслуги, когда необходимо оценить по конкретному параметру, может возникнуть при оценивании учителями хорошо знакомых людей. В результате оценки приходятся на верхнюю часть шкалы, напоминая рыночную класси­фикацию яиц, согласно которой самые маленькие экземпляры называют «средними», средние – «большими» и так далее.

Эксперты, у которых присутствует эффект центральной тенденции, часто используют средние оценки, избегая крайних категорий шкалы по причине боязни ставить слишком высокие или низкие баллы.

Хаотичную изменчивость в своих оценках демонстрируют эксперты, подверженные действию эффекта случайности. Такие специалисты не всегда имеют достаточную подготовку, для того чтобы различать и оценивать требуемые параметры на должном уровне. Вместо этого, по-видимому, они присваивают баллы бессистемно, поэтому их оценки отличаются от оценок других экспертов.

Наблюдаются и такие искажения в экспертных оценках, как ошибки, связанные с первым впечатлением и порядком следования объектов оценивания, уровнем самооценки и когни­тивной сложности эксперта, а также ряд других, которые, тем не менее, можно прогнозировать и корректи­ровать.

СУЩЕСТВУЮТ стратегии, позволяющие минимизировать/предотвращать подобные погрешности.

Для осуществления процедуры точного оценивания в первую очередь необходим отбор экспертов, имеющих достаточный уровень образования и опыта в своей области. Некоторые эксперты могут быть отсеяны из-за определенных убеждений или личных характеристик, оказывающих неблагоприятное влияние на их деятельность.

Еще одной очевидной стратегией повышения качества экспертизы является обучение. В рамках соответствующей подготовки экспертам следует давать информацию о наи­более типичных погрешностях, которые могут возникнуть в процессе оценивания. Чтобы эксперт мог доказать свою способность успешно дифференцировать испытуемых, тренировка должна проходить с привлечением наиболее неодно­значных примеров.

Не менее важный этап – оптимальная организация процедуры оценки. Например, обязательное обсуждение критериев экспертами перед процедурой оценивания, вторичная проверка случайно выбранных работ, тренировочная проверка, соблюдение оптимального режима отдыха. Сбор статистической информации о работе каждого эксперта позволяет выявить его особенности, проблемы и использовать эту информацию для оптимизации деятельности.

1. В данной статье экспертиза рассматривается как частный случай процедуры оценивания.
2. Подробнее: Carol M. Myford, Edward W. Wolfe Detecting and Measuring Rater Effects Using Many-Facet Rasch Measurement: Part II // «Journal of applied measurement», 2004. – № 5 (2). – С. 189-227.