Evidence Centered Design при разработке программ (и оценивания)

ECD, или Evidence Centered Design был разработан Р.Мислеви (и коллегами) в рамках подхода к разработке оценивания. Это зонтик методов, позволяющих оценивать сложные, комплексные характеристики, которые нельзя оценить простыми методами.

Характеристики, не поддающиеся оцениванию стандартными методами (линейкой, например), называют Конструктами. Конструктом может быть довольно много привычных в образовании понятий: критическое мышление, кооперация, креативность. Все эти понятия являются конструктами.

Всё бы хорошо, но довольно часто то, чему мы учим и является такой характеристикой).

Разные разработчики (программ и тестов) вносят разное в конструкты. Программы отличаются не только тематическом планом, но и реальными образовательными результатами студентов. Это и есть разные конструкты, только не все разработчики программ их описывают так, чтобы можно было достоверно оценить, что будет реализовано.

Вы с этим сталкивались, когда анализировали определения разных понятий, разные ученые выделяют несколько разные элементы, или выделяют разные фокусные точки. Такое рабочее определение, структура взаимосвязей, специальным образом описанные и называются рамкой оценивания. На основе этой рамки и разрабатываются инструменты оценивания. В этом случае ничего удивительного, что разные инструменты оценивания оценивают разное, хотя название конструкта может быть одинаковым.

Этот же подход можно успешно применять при разработке образовательной программы для того, чтобы образовательные результаты были достоверными и оцениваемыми.

Зачем нам необходим данный подход при разработке программ? Очень просто – он нужен для того, что бы мы 1) точно учили тому, чему планируем, 2) точно оценивали именно то, чему учим.

Разве может быть иначе?

Пример, который мы рассматриваем со студентами на занятии. Вы проводите занятие по театру. В рамках занятия ваши ученики изображают эмоции, людей, ситуации и даже предметы. Развиваете ли вы творческое мышление?

Классический ответ: конечно. Кроме того, во всех уроках, где мы используем групповую работу можно писать в документации “развитие коммуникации и кооперации”. Происходит ли это на самом деле? И главное? у какого количества учеников это происходит? Если мы разрабатываем программу, то проектируем учебную деятельность так, чтобы те результаты, которые мы определили формировались у всех учеников или студентов.

Но разве в примере не происходит формирование творческого мышления? Почему это вызывает вопросы?

Потому что на первом уровне нам нужно определить из чего вообще-то состоит творческое мышление. Или креативность. И сначала определить, а какие конкретно проявления мы считаем доказательствами развития творческого мышления? Т.е. описать конструкт, сформировать связь между образовательными результатами и конструктом. Потому что в данном случае недостаточно сделать анализ вакансий и описать карту компетенций.

Некоторое время назад, при разработке игры Allotrop Reaction я занималась вопросами построения таких аргументов в образовательной игре, чтобы снизить вероятность использования готовых решений игроками. Причем это касалось программирования - казалось бы куда более прикладной навык. Именно в тот момент и нашла подходящую методологию.

Если мы работаем с вами только с хард скилс, то хорошо написанная карта компетенций (структурированная), позволяет нам разрабатывать занятия и материалы, точнее формирующие навыки и компетенции, и довольно точные инструменты оценивания.

Проблема в том, что Evidence Centered Design меняет отношение к алгоритму построения программ: условие конструктивной согласованности выполняется автоматически, через алгоритм разработки.

Аргумент зависимости навыка от выполнения студентам действия -> Задание -> Данные

Фокус в данном подходе не на обработку цифровой информации, это обязательная часть любой учебной аналитики, а на том, что вы проверяете именно то, что позволяет студенту работать над своими компетенциями.

1. Когда мы хотим обучать сложным, комплексным навыкам. Именно в этот момент никакое снятие данных не докажет то, что вы учите именно тем навыкам, которые нужны. С другой стороны, вряд ли кто-то сможет доказать, что вы учите чему-то другому.

2. Когда мы хотим оптимизировать обучение – сократить время и сделать обучение оптимальным с точки зрения времязатрат студента именно на выполнение заданий (не на время осмысления контента).

Концепция подхода: обучение, основанное на данных, это способ проектирования программ, в основе которого лежит разработка конструкта, т.е. того, что именно мы называем критическим мышлением. С учетом текущих особенностей студентов и способов обучения.

Проще всего к этому методу подходить через разработку оценивания. Как это делать в нашей методической реальности (где на оценивание у нас времени меньше всего) в нашем новом курсе по разработке оценивания.

Курс прошёл несколько апробаций: первый поток, курс для студентов магистратуры и курс для 80ти преподавателей высшей школы.

Mislevy R. J., Almond R. G., & Lukas J. F.(2003). A brief introduction to evidence-centereddesign. (ETS Research Report RR-03-16).Princeton, NJ: Educational Testing Service. 2003.