Разработано бесплатное приложение для коммуникации детей с аутизмом

Сначала – формальное представление.

«Мой Коммуникатор» - это мобильное приложение, предназначенное для организации общения и формирования речевых навыков у детей с нарушениями речи.

А мы, команда АНО Центр «Без ограничений» - разработчики «Коммуникатора» и мобильной платформы AR Tutor.

А теперь – немного истории.

Можно сказать, что проект AR Tutor появился в результате случайного стечения обстоятельств. В 2016 году несколько энтузиастов выпустили забавную книжку. «Азбука 2.0» - азбука с технологией дополненной реальности. Для каждой буквы было написано короткое стихотворение и сделан небольшой интерактивный 3D мультик, который активизировался, если на страницу направить камеру смартфона. Диктор читал стишок, трехмерные зверюшки танцевали, и дети, играя, запоминали букву.

И вдруг, совершенно неожиданно для нас, мы начали получать обратную связь от читателей: нам сообщили, что «особенные» дети очень хорошо воспринимают формат с интерактивом и дополненной реальностью. Были случаи, когда за неделю удавалось выучить десяток букв, чего ранее не получалось за год!

Мы обратили на это внимание и решили выпустить отдельное издание для «особенных» деток.

Так родился проект AR Tutor.

Дальше последовали годы работы, проб и ошибок. Если первый Тьютор был результатом творчества дилетантов, то последующие приложения уже разрабатывались с ведущими специалистами – дефектологами, педагогами, психологами.

Задача платформы AR Tutor – помочь в социализации, абилитации и обучении детям с ментальными нарушениями. Сегодня, по данным Центра по контролю и профилактике заболеваний США, примерно 1 из каждых 44 детей страдает расстройствами аутистического спектра. А еще есть иные расстройства, разнообразные нарушения речи, синдром дефицита внимания и гиперактивности…

Потребность в специальном образовании и социализации только в России испытывают десятки тысяч детей.

Методики обучения «особенных» детей существуют и показывают достаточно высокую эффективность. Их главная сложность заключается в необходимости участия высококвалифицированного специалиста. Увы, специалистов такого уровня категорически не хватает.

Мы смогли «оцифровать» эти методики, сделать их доступными и предложить простой и понятный интерфейс. В результате с приложением могут работать как занимающиеся с детьми профессионалы, так и сами родители в домашних условиях.

Основные принципы AR Tutor:

• Яркая анимация, иллюстрирующая все действия и понятия
• Аудио сопровождение – дикторский текст и обязательные звуковые эффекты
• Интерактив
• Геймификация занятий
• Контроль результатов

Последним и самым продвинутым в линейке AR Tutor стало приложение «Мой Коммуникатор».

Скачать в App Store

Скачать в Google Play

Одно из самых распространенных следствий ментальных нарушений у детей – это расстройство речевых функций. Степень расстройства бывает разная – от небольших дефектов речи до ее полного отсутствия. В любом случае, такие дети имеют значительные проблемы не просто в социализации, но и в повседневном общении.

«Коммуникатор» – это, фактически, переводчик, позволяющий полноценно общаться неговорящим детям. Помимо «перевода» приложение развивает речевые навыки и расширяет словарный запас.

Приложение «Коммуникатор» основано на технологии PECS (Picture Exchange Communication System) – системы альтернативной коммуникации посредством специальных карточек с изображениями предметов или действий. Из карточек-слов составляются предложения – так и идет общение. Под альтернативной коммуникацией понимается общение без использования речи. Другие примеры альтернативной коммуникации – это язык жестов, письмо, азбука Морзе и тому подобные невербальные инструменты.

Для кого будет полезен «Коммуникатор»?

Апробация показала, что использование приложение показана при следующих ментальных особенностях:

• Двигательные нарушения, приводящие к нарушениям речи, в частности, детский церебральный паралич.
• Задержка речевого развития, в том числе, синдром Ретта.
• Общая или умственная отсталость, в том числе, синдром Дауна.
• Расстройства аутистического спектра.

Поговорим о функционале.

Когда начинали работать с приложением, то понимали, что наши дети – особенные: с особым восприятием, особыми эмоциональными реакциями. Очень важно побудить интерес и втянуть в занятия. Необходимо подобрать нужную игровую активность и правильно структурировать учебный материал.

Также следует предоставить возможность персонализировать приложение, создавать пользовательский контент – это позволит «подобрать ключик» к каждому ребенку с его ментальными особенностями.

«Коммуникатор» состоит из пяти блоков:

• Модуль 1. Кнопки
• Модуль 2. Выбор варианта
• Модуль 3. Составление предложений
• Модуль 4. Расширение словаря
• Блок Геймификация

«Кнопки» - это базовый модуль, обучающий работе с приложением.

Модуль формирует понимание логики работы приложения: если нажать на кнопку, за этим последует какое-то действие. Ребенок ставится в ситуацию выбора, что способствует развитию сначала непроизвольного, а затем и произвольного принятия решения.

Эмоциональная реакция на визуальные и звуковые эффекты провоцирует проявление эмоций: улыбку, смех, жесты, мимику. Цветовая гамма и особый визуальный стиль анимации способствуют снятию напряжения, уменьшают зрительную нагрузку и позволяют более продуктивно взаимодействовать с приложением.

Модуль предполагает совместную работу педагога и ребенка. Совместная деятельность помогает формировать навык общения. Выполняя геймифицированные задания, ребенок учиться устанавливать причинно-следственные связи, приобретает навык выбора и получает мотивацию к совместной деятельности.

Работа в модуле «Выбор варианта» ориентирована на формирование у ребенка осознанного выбора. Чтобы получить реальный предмет, необходимо нажать на соответствующую картинку – это помогает научиться соотносить предмет с картинкой.

Уровень сложности может меняться за счет увеличения или уменьшения количества предметов.

Занимаясь с ребенком, необходимо подкреплять выбор бонусом – реальным объектом, изображенным на картинке.

Фактически, перед нами – коммуникационная доска, на которой из карточек с визуальными изображениями выстраиваются предложения.

Пользователь может загружать собственные изображения, что расширяет коммуникационные возможности ребенка. Во время апробации дети быстро учились использовать в качестве удобного инструмента коммуникации, особые успехи показали дети с синдромом Дауна и расстройствами аутистического спектра.

Модуль представляет собой обучающую игру, направленную на изучение предметов. В модуле загружены альбомы с карточками, разделенные по лексическим темам. В карточке приведены изображение предмета и соответствующее звуковое сопровождение. Аудиовизуальный контент позволяет задействовать разные сенсорные анализаторы, следовательно, улучшается концентрация внимания и повышается эффективность запоминания.

Здесь можно создавать собственные словари и расширять активный словарь ребенка.

Цель блока Геймификация заключается в повышении мотивации к взаимодействию через структуру «задание - награда». Блок – это конструктор, позволяющий педагогу формировать индивидуальную игровую обучающую активность для каждого занятия. Мини-игры привычны и понятны детям вне зависимости от уровня развития, помощь виртуальному персонажу способствует развитию эмоциональной сферы, создает ситуацию успеха и помогает укреплению самооценки. Простой сюжет, яркие персонажи и смена выражений на лицах в процессе игры воспринимаются ребенком как забавный интерактивный мультик.

Самостоятельный курс коррекционно-развивающих занятий. Различные модули, расположенные по типу усложнения заданий, позволяют скорректировать нагрузку и выбрать оптимальное задание, исходя из возможностей и потребностей образовательного процесса.Отдельные модули приложения могут быть использованы как дополнение к основной коррекционно-развивающей программе в качестве:

1. двигательной разминки;

2. гимнастики для глаз;

3. тренировки точности мелкой моторики;

4. пособия по формированию обобщающих понятий;

5. пособия для расширения общих знаний ребенка;

6. упражнений по отработке коммуникативных навыков (жестовая коммуникация);

7. тренировки узнавания себя на фото;

8. планирования собственной деятельности на ближайшее время.

В качества мобильной коммуникативной доски. При общении в кругу семьи:

1. для улучшения качества взаимодействия и уровня понимания среди членов семьи, что позволит уменьшить количество конфликтных ситуаций.

2. для повседневного общения.

Приложение AR Tutor «Коммуникатор» прошел апробацию в специализированных центрах: ЦСПР “Семь-Я”, ЦСПР “Формула роста”, ЦССВ “Маяк”, ЦСПР “Роза ветров”.

В апробации участвовало 512 детей с инвалидностью и 21 эксперт. В ходе апробации исследовался каждый модуль и были выявлены положительные результаты по каждому модулю с % детей, достигших показателей эффективности от 67,2% до 82,2%.

Результаты апробации подтверждают заявленную эффективность приложения.

«Мой Коммуникатор» - это первый этап разработки инструмента для полноценной коммуникации детей с ментальными нарушениями. Мы видим перспективу в расширении функционала, контента и добавления возможности дистанционного общения пользователей в режиме мобильного мессенджера. Фактически мы работаем над мессенджером с функцией переводчика с языка карточек PECS на письменную и устную речь.

Скачать в App Store

Скачать в Google Play