Преподаватели Казанского университета раскритиковали физиков Канады

Преподаватели КФУ советуют не верить, что пишут в СМИ, а обращаться к первоисточникам. По их мнению, найденная учеными из университета Брока универсальная стратегия поиска правильного ответа : фикция. Казанские ученые поставили под сомнение разработку физиков университета Брока, которые обнаружили, что ответы на задания в учебниках физики и химии подчиняются статистическому закону Бенфорда. Рациональную стратегию поведения в этом случае ученые описали в статье, препринт которой выложен в архиве Корнельского университета. Кратко о работе пишет блог Technology Review.

В русской версии это опубликовали ряд СМИ, вызвав тем самым резкую критику профессора кафедры общей физики Дмитрия Таюрского: "Прежде всего еще раз убеждаюсь в том, что очень часто СМИ "гонятся" за сенсацией, вырывают часть информации, которая им кажется интересной и интригующей, не обращая внимания на то, что полная информация часто не позволяет сделать такие "яркие, скоропалительные" выводы", - негодует Дмитрий Альбертович. "Интересующимся читателям я бы рекомендовал, по возможности, обращаться к первоисточникам и попытаться составить свое мнение".

Что же озвучили физики из Брока? Авторы исследования решили применить наблюдения, согласно которому во многих массивах реальных данных числа чаще начинаются с 1, 2, и 3, а не с 7, 8, 9, для того чтобы угадывать ответы на задачи в учебниках физики и химии. В ходе анализа массива реальных тестов оказалось, что правильные ответы действительно хорошо подчиняются закону Бенфорда. То есть правильные ответы чаще начинаются с 1, чем с 9. Вот как комментирует это зав. кафедрой вычислительной физики и моделирования физических процессов Анатолий Мокшин: "Вполне очевидно, - заметил Анатолий Васильевич, - что нормальный набор тестов должен удовлетворять следующему критерию: номера с правильными ответами должны подчиняться распределению случайной величины при условии, что все тестовые задания характеризуются одинаковым интервалом возможных значений, а количество самих тестов достаточно настолько, чтобы выполнить статистический анализ (т.е. порядка 100 и более тестов). Так называемый закон (или правило) Бенфорда анализирует совсем другое: он подсчитывает частоту появления самой первой цифры (в данном случае номера правильного ответа). При этом этот "закон" более менее справедлив в случае многозначных чисел. Совсем не уверен, что тестовые задания подразумевают выбор правильного ответа из тысячи и более вариантов. Поэтому воспользоваться "результатами" данной заметки при прохождении тестов : а именно нажимать почаще варианты "1", "1x", "1xx", чуть реже - "2", "2x", "2xx"... и совсем забыть про такие варианты как "9", "9x", "9xx" : вряд ли получится. По крайней мере, не рекомендовал бы так поступать."

В том, что стратегия поиска правильного ответа не работает, убежден и профессор Таюрский: "Попытка "взлома" банков тестовых заданий по физике с помощью закона Бенфорда не дала никаких результатов, - делает вывод Дмитрий Альбертович. "И причины этого объясняются в статье. Ни о какой стратегии рационального поведения с использованием закона Бенфорда, которая давала бы существенное превосходство над стратегией "случайного выбора ответов", в тексте самой статьи не говорится. Для читателя было бы интересно отметить, что часто "успешные" стратегии заполнения тестовых заданий без реальных знаний связаны прежде всего с плохим качеством составления самих тестов".

Такие публикации в СМИ - это способ показать свою значимость, считает старший научный сотрудник кафедры физики твердого тела Ниазбек Усеинов. "Физики из университета Брока приняли какой-то (выдуманный из головы) статистический закон Бенфорда, - говорит Ниазбек Хамзович. "Тем самым, они сами завели себя в тупик. Теперь пытаются из него вылезти, придумывая снова рациональную стратегию поведения. Делается все, чтобы раздуть свою значимость. Ответы на задания в учебниках физики, химии, биологии и других не подчиняются никакому закону. Правильные ответы возникают только после личного общения преподавателя и студента.

О ЗАКОНЕ БЕНФОРДА

Закон получил название по фамилии физика Френка Бенфорда, который в 1938 году обнаружил, что данные о площади бассейна рек, удельной теплоёмкости, молекулярном весе химических соединений и многие другие начинаются на единицу с вероятностью 1/3, а не 1/9 как можно было ожидать, если бы речь шла о случайном распределении. В настоящее время наблюдение Бенфорда используется преимущественно для поиска фальсификаций и подтасовок в банковских данных, результатах выборов и так далее.

Ссылка на оригинал статьи