Оглавление

Описание

Приложение «Эмоции. Аутизм» предназначено для обучения детей с РАС распознаванию и выражению эмоций с помощью мимики. Для начала занятий родители/специалисты должны создать учётную запись и сделать первоначальную настройку приложения.

Для достижения эффективного результата родители должны постоянно контролировать использование приложения ребёнком. Мы создали специальные видеоуроки, которые рекомендуем посмотреть перед началом занятий непосредственно с приложением.

Создание учётной записи учителя или родителя

При первом запуске приложения необходимо создать учётную запись родителя/специалиста введя необходимые данные, а также прочитать и согласиться с лицензионным соглашением.

Примечание. При создании учетной записи необходимо придумать пароль длиной не менее 7 символов, который понадобится для входа в настройки приложения. В силу частого его введения, рекомендуется делать пароль простым. Задача пароля – предотвратить попадание ребенка в настройки, где он случайно может удалить пользователей.

Добавление ученика и начало обучения

Добавление ученика происходит в разделе настроек. Этот раздел предназначен для родителей и специалистов. Для входа в него необходимо ввести пароль учётной записи родителя. Мы рекомендуем родителям и специалистам добавить себя также в качестве ученика, чтобы познакомиться с приложением и только после этого приступать к обучению детей.

Выбор или добавление пользователя

*Если уже создано несколько пользователей, то тот, который сейчас активен, обозначается зеленой галочкой. Поле поиска необходимо, если список пользователей длинный и не помещается на экране.  

Нажмите кнопку Добавить и введите имя. Для этого может быть использована как латиница, так и кириллица. После набора имени нажмите кнопку «создать».

Добавить пользователя

Для дальнейшей работы необходимо создать нейтральное фото пользователя. Для этого следует нажать на изображение человека со знаком вопроса.

Создание нейтрального фото

Нейтральное фото необходимо для правильной работы режима обучения навыку выражения эмоций «Показывать». Именно оно служит точкой отсчета в работе алгоритма компьютерного зрения. От того, насколько правильно будет сделана эта фотография, зависит эффективность обучения выражению эмоций.

Для того чтобы сделать хорошую нейтральную фотографию:

Подробные инструкции Вы можете посмотреть в обучающем видео «Правила работы с мобильным приложением «Эмоции. Аутизм» на сайте эмоции-аутизм.рф в разделе «Видео».

Нажмите на любую из кнопок «сфотографировать». Если при фотографировании взгляд пользователя опускается вниз, на кнопки, то рекомендуется организовать ситуацию так, чтобы на кнопку нажимал помощник.

Нейтральное выражение

Приложение обработает полученное изображение и расставит на лице кодировочные точки. Пользователю (или его помощнику) необходимо убедиться, что все эти точки совпадают с чертами лица. Если это так, следует нажать кнопку «ок», если нет – кнопку «повтор» и переделать нейтральное фото.

Кодировочные точки

После введения имени пользователя и создания его нейтрального фото можно начинать работу с приложением. Для этого следует нажать на кнопку «начать обучение».

Начать обучение

Выбор героя

При первом запуске Вам будет предложено выбрать героя, лицо которого будет использоваться в качестве базового изображения в разделе «Учиться», а также будет выступать в качестве образца в разделе «Показывать». Героя можно сменить в настройках.

Выбор героя

Главный экран

На главном экране находятся все доступные игры и режимы обучения, а также настройки и иконка текущего пользователя.

Settings  Значок пользователя

Главный экран

 

Активация игрыДеактивация игры

В настройках Вы можете активировать/деактивировать любую из игр или режимов обучения. 

Деактивация одного из режимов

Также в настройках можно поменять героя. Для этого в аккаунте конкретного пользователя нужно нажать на кнопку «сбросить героя» и при следующем нажатии на кнопку «начать обучение» Вам будет предложено выбрать его снова.

Для удаления пользователя выберите его из списка во вкладке «пользователи», войдите в аккаунт и нажмите на кнопку «удалить».

Раздел Учиться

Это раздел выстроен таким образом, чтобы при его использовании у ученика формировалась стратегия рассматривания лица с фокусом на участках, значимых для распознавания эмоций. Ученик сначала попадает на экран выбора эмоций, где ему необходимо выбрать эмоцию с которой он хотел бы работать дальше. Чтобы вернуться на главный экран необходимо нажать кнопку назад на планшете.

Экран выбора эмоций

Затем ученик последовательно просматривает изображения лица выбранного героя с дифференцированным представлением значимых элементов этой эмоций.

Изображения выстроены в следующем порядке:

а) лицо, выражающее эмоцию;

б) то же изображение, но замутненное почти полностью, с единственной четкой зоной; таким образом, с помощью изменения четкости изображения в центр внимания помещается значимый элемент экспрессии, например в нижней части лица – рот;

в) значимый элемент дополнительно выделяется желтым контуром ;

г) затем с помощью изменения четкости изображения в центр внимания помещается верхняя часть лица (для отвращения – средняя);

д) значимый элемент(ы) дополнительно выделяется контуром;

е) изображение демонстрируется полностью, вместе с наложенными контурами значимых элементов и обозначением эмоции .

Учиться 1 экран Учиться 2 экран Учиться 3 экран

Учиться 4 экран Учиться 5 экран

Каждое изображение остается на экране 8 секунд, затем сменяется следующим. На 6 секунде в правом нижнем углу экрана появляется кнопка, с помощью которой можно сменить изображение быстрее.

Появление стрелочки

Также смену изображения можно совершить в любой момент с помощью движения «свайп», т.е. быстро провести пальцем по экрану планшета справа налево.

На шестом экране к изображению эмоции присоединяется ее название и пиктограмма. Кнопка повтора предлагает просмотреть значимые черты эмоции еще раз. Для перехода на следующий экран сделайте свайп налево.

Учиться 6 экран

Далее на экране появляется изображение лица, выражающего ту же эмоцию, которая демонстрировалась ранее по частям, и шесть вариантов ответов. Ученику нужно прочесть названия эмоций и выбрать правильное, если это навык для ребена недоступен, родитель или специалист читает вслух названия, а ребенок ориентируется по пиктографическим изображениям.

Раздел Учиться_тест Раздел Учиться_успех

В случае правильного выбора ученик получает положительное звуковое и визуальное подкрепление, в случае неправильного выбора – отрицательное. Если ученик сделал неверный выбор, то после отрицательного подкрепления (неприятный звук и красная рамка), следует несколько подсказок, позволяющих еще раз вспомнить важные элементы эмоции и сделать верный выбор.

Первая подсказка – контуры значимых для распознавания эмоции элементов. После второй ошибки внимание пользователя будет снова обращено на области лица со значимыми для распознавания эмоции чертами – это вторая подсказка.

Подсказка_1  Подсказка_2

Эффективность обучения будет выше, если во время просмотра ребенком экранов помощник будет комментировать изображения, проговаривая признаки эмоций.

Эмоция

Значимые части лица

Признаки

Как комментировать для ребенка

Радость

рот

уголки губ растянуты и приподняты, могут быть как сомкнуты, так и разомкнуты

улыбка

глаза

глаза немного прищурены из-за того, что приподняты щеки

глаза прищурены

Грусть

рот

уголки губ опущены вниз

уголки губ опущены вниз

глаза

взгляд расфокусирован

*

 

Удивление

брови

внутренние уголки бровей подняты, брови немного сдвинуты

брови как крыша домика

рот

губы разомкнуты, челюсть расслаблена и опущена

рот круглый

глаза

раскрыты, радужка видна полностью

широко открыты

 

Страх

брови

высоко подняты

высоко подняты / брови как дуги

рот

губы разомкнуты, уголки губ оттянуты назад и вниз

рот как полукруг

глаза

вернее веко поднято, над радужкой виден белок, нижнее веко может прикрывать немного радужку

глаза огромные / сверху много белого

 

Злость

брови

средние и внешние части подняты, внутренние уголки сдвинуты и приподняты

брови подняты / брови прямые

рот

губы сжаты, мышцы вокруг напряжены

губы сжаты / рот прямой

глаза

верхние веки подняты, взгляд направлен на оппонента

*

 

Отвращение

брови

нахмурены (внутренние уголки сдвинуты и опущены)

брови нахмурены / брови вниз

рот

верхняя губа приподнята

верхняя губа приподнята

6. Раздел Показывать

Этот раздел направлен на формирование у ученика навыков выражения эмоций с помощью мимики. После выбора пункта “Показывать”, ученику необходимо выбрать эмоцию над которой он хочет работать. Чтобы вернуться на главный экран необходимо нажать кнопку назад на планшете.

Экран выбора эмоций

Затем, на экране появляется образец эмоции на лице выбранного раннее персонажа, две кнопки для фотографирования (под любую удобную руку) и окошко с изображением с фронтальной камеры планшета. Задача ученика – выстроить выражение своего лица в соответствии с образцом и сделать фотографию. Поскольку ребенку может быть сложно и выстраивать свою мимику и фотографировать одновременно, родитель или специалист может придерживать планшет и сам нажимать кнопку, когда ученик сделал нужное выражение. 

Режим показывать_1

Чтобы сделать хорошую фотографию:

Подробные инструкции Вы можете посмотреть в обучающем видео «Правила работы с мобильным приложением «Эмоции. Аутизм» на сайте эмоции-аутизм.рф в разделе «Видео».

После нажатия на кнопку «сфотографировать» специально разработанный для приложения алгоритм компьютерного зрения оценивает полученное изображение. Если выражение сделано правильно, то пользователь получает визуальное подкрепление (в виде мигающей зеленой рамки и надписи «все правильно»).

Показывать_правильно

Кнопка «повтор» позволяет продолжить тренировку выражения той же эмоции. Кнопка «назад» позволяет прекратить тренировку и выйти на экран выбора эмоций.

Если выражение сделано неправильно, то пользователь получает подсказки, указывающие, что нужно изменить, чтобы выражение получилось. Подсказки бывают двух видов:

Показывать_неправильный вариант

В верхней части экрана над рамкой камеры располагается счетчик попыток. Приложение предлагает пользователю пять раз попробовать сделать одно и то же мимическое выражение. Повторение движения несколько раз подряд лучше его закрепляет. Счетчик попыток позволяет визуально показать ребенку, сколько попыток осталось (взрослый обычно в этот момент комментирует: «Смотри, осталось еще три раза»). Зеленый шарик – неиспользованная попытка, серый – совершенная.

Счетчик попыток

Раздел Угадывать

В этом игровом режиме пользователю крупным планом показывается изображение лица, выражающего эмоцию. Под ним находятся кнопки с названиями и пиктограммами эмоций. Задача пользователя - идентифицировать эмоцию.

Угадывать

На первом находятся простые для восприятия бедные на детали изображения эмоций и эмоции на лицах людей, созданных средствами компьютерной графики. На втором – фотографии реальных людей, изображающих эмоции по правилам системы П.Экмана (EMFACS). На третьем – изображения, взятые из сети Интернет, которые обладают рядом затрудняющих восприятие характеристик: сложный фон, очки, челки, поворот головы, немного отличающиеся от правил системы Экмана выражения и пр. Третий уровень рекомендуется проходить, только когда навыки распознавания будут уверенно сформированы.

Угадывать_уровни

В нижней части экрана появляются кристаллы, отмечающие успешность прохождения игры.

Раздел Находить

Игра «Находить» построена на принципе сортировки: из набора изображений разных эмоций ребенку необходимо выбрать только те, которые соответствуют эмоции, указанной в инструкции в верхней части экрана. Одновременно на экране могут присутствовать несколько правильных изображений, но достаточно выбрать хотя бы одно из них. После каждого выбора все изображения на экране обновляются.

Находить

Каждый успешный выбор отмечается оранжевой звездочкой. В случае ошибки появляется серая звездочка.

Сбросить результаты и начать сначала можно с помощью кнопки «повтор». С помощью кнопки «назад» можно выйти из игры и вернуться на главный экран.

По завершению пяти попыток появляется экран, предлагающий либо завершить игру (кнопка «закрыть»), либо повторить ее (кнопка «играть еще раз»). Независимо от результата, появление экрана сопровождается положительным визуальным и звуковым подкреплением.

Находить_завершение