Дата-инжиниринг для всех. Как научиться анализировать образовательные данные

Образовательный дата-инжиниринг – новое направление, но масштабное внедрение онлайн-обучения сделало его жизненно необходимым для каждой организации. Расскажем, как запустить работу с данными прямо сейчас, какие именно образовательные данные обрабатывать и какими инструментами пользоваться. Мастер-класс от Андрея Комиссарова, директора направления «Развитие человека на основе данных» Университета 20.35.

Цифровая трансформация образования включает несколько базовых элементов.

Детально разработанный рубрикатор образовательных результатов. Он отвечает на вопросы, что должен знать и уметь человек, прошедший образовательную программу. Рубрикатор может быть сделан в виде списка, дерева, таксономии, привязан к ситуации на рынке труда. В любом случае, без рубрикатора грамотная разметка данных невозможна.

Диагностика и цифровой след. Вы должны знать аудиторию, с которой работаете, ее специфику. Поэтому с того момента, когда обучающиеся начинают погружаться в программу, нужно размечать, собирать, анализировать и интерпретировать цифровой след образовательного опыта. Цифровой след – это основа дата-инжиниринга.

Компетентностный профиль. Создается на основе цифрового следа, является одновременно и зачеткой, которая показывает глубину освоения материала, и портфолио, если углубиться в специфику цифрового следа и посмотреть, что конкретно сделал каждый обучающийся.

Создав рубрикатор по схеме выше, выбираем показатели для диагностики, которые для вас наиболее важны. Может быть, это уровень цифровой грамотности, специфика мышления и т.д. Можно обратиться к цифровому сервису Университета 20.35 «Data+ диагностика».

И когда после диагностики вы уже знаете что-то про студентов, то на уровне педагогического дизайна определяете, какой именно цифровой след вам нужен.

Цифровой след – это закрепленные в данных показатели образовательного опыта. Что человек усвоил, запомнил, понял? Как он взаимодействует с системами, материалами, другими людьми и что ощущает в этот момент (его эмоциональное состояние, фокус, мотивация)?

Подавляющее большинство цифрового следа – тексты.

Для чего собирать цифровой след? Для принятия управленческих решений на основе данных. Цифровой след также позволяет при наличии массивного материала и большого числа обучающихся строить индивидуальные образовательные траектории.

Что можно понять по цифровому следу:

• Способна ли образовательная программа дать тот результат, который заявлен. Если нет, то почему и что нужно изменить.
• Способны ли обучающийся или группа достичь этих образовательных результатов. Если не получается, что именно. Проблема может быть в понимании, вовлеченности и т.д.
• В каком состоянии находятся обучающиеся и какое отношение они демонстрируют к материалу. Без правильного отношения не будет достаточной фокусировки и результата. Поэтому измерять эмоциональный фидбэк необходимо.
• Часто преподаватели и руководители образовательных организаций действуют в состоянии когнитивного искажения. Они занимаются своей темой давно, им кажется, что все понятно. Обучающиеся же приходят из другой среды, и для них могут оказаться важными не те образовательные результаты, которые предполагались.

• Рефлексия. В конце любого модуля можно дать обучающимся небольшую google-форму с вопросами, на которые нужно отвечать своими словами. Что именно изучалось на модуле? Как это может быть применимо в вашей жизни или профессиональной деятельности? Прокомментируйте свое отношение к материалу, хорошо ли вы его поняли? Ответы обрабатываются с помощью семантического анализа.
  
• Вопросы во время лекций. Их анализ также дает много полезной информации о том, что интересует обучающихся.
• Привязка к LMS (Moodle, Google Class). С ее помощью можно оценить этапность прохождения программы, глубину понимания видеоматериала.
• Чат-логи. Как известно, на конференциях все самое интересное происходит в кулуарах. Вам тоже нужно создать т.н. кулуары, среду, где обучающиеся смогут просто общаться.
• Контрольно-измерительные материалы и тесты с привязкой к рубрикатору.
• Анализ выполнения задач, также в привязке к рубрикатору.
• Мини-эссе на подтверждение понимания пройденного материала.
• Взаимооценка мини-эссе. Обучающиеся оценивают друг друга, например, через приложение Peergrade.

Как обрабатывать цифровой след:

• Строить дашборды. Например, через Google Data Studio или Power BI. Это не очень сложно, и к работе можно привлечь студентов IT-направлений. Примеры дашбордов можно посмотреть здесь и здесь.
• Проводить семантический или семантико-онтологический анализ. Это основа работы с цифровыми следом. Он помогает понять, как меняется понимание материала обучающимися в процессе курса.

Доступные инструменты для семантического анализа:

• Российский Advego. Позволяет выявить частотность слов.
• Испанский Dandelion. Выдает смысловые кластеры, которые вычисляет в тексте. Работает с разными языками, в том числе с русским.
• Word2Vec, Bert. Более сложные нейросетевые инструменты. Понадобится первичное понимание работы с данными.

После работы с цифровым следом вы получаете информацию о том, чему из запланированного удалось научить курс, а также какие неожиданные знания обучающиеся получили.

Можно создать как упрощенные, так и более сложные цифровые профили программ и самих обучающихся, вплоть до культурного кода и таймлайна развития.

Для тех, кто хочет получить более системные знания, Университет 20.35 проводит онлайн-школы цифровой трансформации. Это практико-ориентированные интенсивы, по итогам которых 80% обучающихся сразу готовы приступать к дата-инжинирингу.

Материал подготовлен по итогам мастер-класса Андрея Комиссарова в рамках Лаборатории EdCrunch Labs «Искусственный интеллект и данные в образовании». Иди в EDE! Образовательный дата-инжиниринг — работа с данными в образовании.