Дата-инжиниринг для всех. Как научиться анализировать образовательные данные
Образовательный дата-инжиниринг – новое направление, но масштабное внедрение онлайн-обучения сделало его жизненно необходимым для каждой организации. Расскажем, как запустить работу с данными прямо сейчас, какие именно образовательные данные обрабатывать и какими инструментами пользоваться. Мастер-класс от Андрея Комиссарова, директора направления «Развитие человека на основе данных» Университета 20.35.
С чем работать
Цифровая трансформация образования включает несколько базовых элементов.
Детально разработанный рубрикатор образовательных результатов. Он отвечает на вопросы, что должен знать и уметь человек, прошедший образовательную программу. Рубрикатор может быть сделан в виде списка, дерева, таксономии, привязан к ситуации на рынке труда. В любом случае, без рубрикатора грамотная разметка данных невозможна.
Диагностика и цифровой след. Вы должны знать аудиторию, с которой работаете, ее специфику. Поэтому с того момента, когда обучающиеся начинают погружаться в программу, нужно размечать, собирать, анализировать и интерпретировать цифровой след образовательного опыта. Цифровой след – это основа дата-инжиниринга.
Компетентностный профиль. Создается на основе цифрового следа, является одновременно и зачеткой, которая показывает глубину освоения материала, и портфолио, если углубиться в специфику цифрового следа и посмотреть, что конкретно сделал каждый обучающийся.
Как работать
Создав рубрикатор по схеме выше, выбираем показатели для диагностики, которые для вас наиболее важны. Может быть, это уровень цифровой грамотности, специфика мышления и т.д. Можно обратиться к цифровому сервису Университета 20.35 «Data+ диагностика».
И когда после диагностики вы уже знаете что-то про студентов, то на уровне педагогического дизайна определяете, какой именно цифровой след вам нужен.
Цифровой след – это закрепленные в данных показатели образовательного опыта. Что человек усвоил, запомнил, понял? Как он взаимодействует с системами, материалами, другими людьми и что ощущает в этот момент (его эмоциональное состояние, фокус, мотивация)?
Подавляющее большинство цифрового следа – тексты.
Для чего собирать цифровой след? Для принятия управленческих решений на основе данных. Цифровой след также позволяет при наличии массивного материала и большого числа обучающихся строить индивидуальные образовательные траектории.
Что можно понять по цифровому следу:
- Способна ли образовательная программа дать тот результат, который заявлен. Если нет, то почему и что нужно изменить.
- Способны ли обучающийся или группа достичь этих образовательных результатов. Если не получается, что именно. Проблема может быть в понимании, вовлеченности и т.д.
- В каком состоянии находятся обучающиеся и какое отношение они демонстрируют к материалу. Без правильного отношения не будет достаточной фокусировки и результата. Поэтому измерять эмоциональный фидбэк необходимо.
- Часто преподаватели и руководители образовательных организаций действуют в состоянии когнитивного искажения. Они занимаются своей темой давно, им кажется, что все понятно. Обучающиеся же приходят из другой среды, и для них могут оказаться важными не те образовательные результаты, которые предполагались.
Я сам по первому образованию политолог, окончил факультет государственного управления МГУ с красным дипломом. Выпустившись, понял, что не пойду в политологию, но при этом вынес для себя из обучения в МГУ настоящее сокровище. И оно не было связано непосредственно с политологией, но оно было связано с тем, что мы делали. Это системное мышление. Этим навыком, этой компетенцией я зарабатываю всю жизнь. Но при этом в самой образовательной программе этот образовательный результат вообще не значится. Цифровой след помогает понять: что именно важного выносят для себя обучающиеся, в том числе такого, о чем мы с вами не подозревали.
- Рефлексия. В конце любого модуля можно дать обучающимся небольшую google-форму с вопросами, на которые нужно отвечать своими словами. Что именно изучалось на модуле? Как это может быть применимо в вашей жизни или профессиональной деятельности? Прокомментируйте свое отношение к материалу, хорошо ли вы его поняли? Ответы обрабатываются с помощью семантического анализа.
- Вопросы во время лекций. Их анализ также дает много полезной информации о том, что интересует обучающихся.
- Привязка к LMS (Moodle, Google Class). С ее помощью можно оценить этапность прохождения программы, глубину понимания видеоматериала.
- Чат-логи. Как известно, на конференциях все самое интересное происходит в кулуарах. Вам тоже нужно создать т.н. кулуары, среду, где обучающиеся смогут просто общаться.
- Контрольно-измерительные материалы и тесты с привязкой к рубрикатору.
- Анализ выполнения задач, также в привязке к рубрикатору.
- Мини-эссе на подтверждение понимания пройденного материала.
- Взаимооценка мини-эссе. Обучающиеся оценивают друг друга, например, через приложение Peergrade.
Как обрабатывать цифровой след:
- Строить дашборды. Например, через Google Data Studio или Power BI. Это не очень сложно, и к работе можно привлечь студентов IT-направлений. Примеры дашбордов можно посмотреть здесь и здесь.
- Проводить семантический или семантико-онтологический анализ. Это основа работы с цифровыми следом. Он помогает понять, как меняется понимание материала обучающимися в процессе курса.
Доступные инструменты для семантического анализа:
- Российский Advego. Позволяет выявить частотность слов.
- Испанский Dandelion. Выдает смысловые кластеры, которые вычисляет в тексте. Работает с разными языками, в том числе с русским.
- Word2Vec, Bert. Более сложные нейросетевые инструменты. Понадобится первичное понимание работы с данными.
Цифровой профиль
После работы с цифровым следом вы получаете информацию о том, чему из запланированного удалось научить курс, а также какие неожиданные знания обучающиеся получили.
Можно создать как упрощенные, так и более сложные цифровые профили программ и самих обучающихся, вплоть до культурного кода и таймлайна развития.
Для тех, кто хочет получить более системные знания, Университет 20.35 проводит онлайн-школы цифровой трансформации. Это практико-ориентированные интенсивы, по итогам которых 80% обучающихся сразу готовы приступать к дата-инжинирингу.
Материал подготовлен по итогам мастер-класса Андрея Комиссарова в рамках Лаборатории EdCrunch Labs «Искусственный интеллект и данные в образовании». Иди в EDE! Образовательный дата-инжиниринг — работа с данными в образовании.