Оглавление

• Описание
• Создание учётной записи специалиста или родителя
• Добавление ученика и начало обучения
• Выбор героя
• Раздел Учиться
• Раздел Показывать
• Раздел Угадывать
• Раздел Находить

Описание

Приложение «Эмоции. Аутизм» предназначено для обучения детей с РАС распознаванию и выражению эмоций с помощью мимики. Для начала занятий родители/специалисты должны создать учётную запись и сделать первоначальную настройку приложения.

Для достижения эффективного результата родители должны постоянно контролировать использование приложения ребёнком. Мы создали специальные видеоуроки, которые рекомендуем посмотреть перед началом занятий непосредственно с приложением.

Создание учётной записи учителя или родителя

При первом запуске приложения необходимо создать учётную запись родителя/специалиста введя необходимые данные, а также прочитать и согласиться с лицензионным соглашением.

Примечание. При создании учетной записи необходимо придумать пароль длиной не менее 7 символов, который понадобится для входа в настройки приложения. В силу частого его введения, рекомендуется делать пароль простым. Задача пароля – предотвратить попадание ребенка в настройки, где он случайно может удалить пользователей.

Добавление ученика и начало обучения

Добавление ученика происходит в разделе настроек. Этот раздел предназначен для родителей и специалистов. Для входа в него необходимо ввести пароль учётной записи родителя. Мы рекомендуем родителям и специалистам добавить себя также в качестве ученика, чтобы познакомиться с приложением и только после этого приступать к обучению детей.

*Если уже создано несколько пользователей, то тот, который сейчас активен, обозначается зеленой галочкой. Поле поиска необходимо, если список пользователей длинный и не помещается на экране.  

Нажмите кнопку Добавить и введите имя. Для этого может быть использована как латиница, так и кириллица. После набора имени нажмите кнопку «создать».

Для дальнейшей работы необходимо создать нейтральное фото пользователя. Для этого следует нажать на изображение человека со знаком вопроса.

Нейтральное фото необходимо для правильной работы режима обучения навыку выражения эмоций «Показывать». Именно оно служит точкой отсчета в работе алгоритма компьютерного зрения. От того, насколько правильно будет сделана эта фотография, зависит эффективность обучения выражению эмоций.

Для того чтобы сделать хорошую нейтральную фотографию:

• камера планшета должна располагаться напротив лица пользователя;
• взгляд пользователя должен быть направлен в камеру или чуть ниже («в глаза» своему изображению);
• нужно максимально расслабить мышцы лица, лицо не должно ничего выражать.

Подробные инструкции Вы можете посмотреть в обучающем видео «Правила работы с мобильным приложением «Эмоции. Аутизм» на сайте эмоции-аутизм.рф в разделе «Видео».

Нажмите на любую из кнопок «сфотографировать». Если при фотографировании взгляд пользователя опускается вниз, на кнопки, то рекомендуется организовать ситуацию так, чтобы на кнопку нажимал помощник.

Приложение обработает полученное изображение и расставит на лице кодировочные точки. Пользователю (или его помощнику) необходимо убедиться, что все эти точки совпадают с чертами лица. Если это так, следует нажать кнопку «ок», если нет – кнопку «повтор» и переделать нейтральное фото.

После введения имени пользователя и создания его нейтрального фото можно начинать работу с приложением. Для этого следует нажать на кнопку «начать обучение».

Выбор героя

При первом запуске Вам будет предложено выбрать героя, лицо которого будет использоваться в качестве базового изображения в разделе «Учиться», а также будет выступать в качестве образца в разделе «Показывать». Героя можно сменить в настройках.

Главный экран

На главном экране находятся все доступные игры и режимы обучения, а также настройки и иконка текущего пользователя.

 

 

В настройках Вы можете активировать/деактивировать любую из игр или режимов обучения. 

Также в настройках можно поменять героя. Для этого в аккаунте конкретного пользователя нужно нажать на кнопку «сбросить героя» и при следующем нажатии на кнопку «начать обучение» Вам будет предложено выбрать его снова.

Для удаления пользователя выберите его из списка во вкладке «пользователи», войдите в аккаунт и нажмите на кнопку «удалить».

Раздел Учиться

Это раздел выстроен таким образом, чтобы при его использовании у ученика формировалась стратегия рассматривания лица с фокусом на участках, значимых для распознавания эмоций. Ученик сначала попадает на экран выбора эмоций, где ему необходимо выбрать эмоцию с которой он хотел бы работать дальше. Чтобы вернуться на главный экран необходимо нажать кнопку назад на планшете.

Затем ученик последовательно просматривает изображения лица выбранного героя с дифференцированным представлением значимых элементов этой эмоций.

Изображения выстроены в следующем порядке:

а) лицо, выражающее эмоцию;

б) то же изображение, но замутненное почти полностью, с единственной четкой зоной; таким образом, с помощью изменения четкости изображения в центр внимания помещается значимый элемент экспрессии, например в нижней части лица – рот;

в) значимый элемент дополнительно выделяется желтым контуром ;

г) затем с помощью изменения четкости изображения в центр внимания помещается верхняя часть лица (для отвращения – средняя);

д) значимый элемент(ы) дополнительно выделяется контуром;

е) изображение демонстрируется полностью, вместе с наложенными контурами значимых элементов и обозначением эмоции .

Каждое изображение остается на экране 8 секунд, затем сменяется следующим. На 6 секунде в правом нижнем углу экрана появляется кнопка, с помощью которой можно сменить изображение быстрее.

Также смену изображения можно совершить в любой момент с помощью движения «свайп», т.е. быстро провести пальцем по экрану планшета справа налево.

На шестом экране к изображению эмоции присоединяется ее название и пиктограмма. Кнопка повтора предлагает просмотреть значимые черты эмоции еще раз. Для перехода на следующий экран сделайте свайп налево.

Далее на экране появляется изображение лица, выражающего ту же эмоцию, которая демонстрировалась ранее по частям, и шесть вариантов ответов. Ученику нужно прочесть названия эмоций и выбрать правильное, если это навык для ребена недоступен, родитель или специалист читает вслух названия, а ребенок ориентируется по пиктографическим изображениям.

В случае правильного выбора ученик получает положительное звуковое и визуальное подкрепление, в случае неправильного выбора – отрицательное. Если ученик сделал неверный выбор, то после отрицательного подкрепления (неприятный звук и красная рамка), следует несколько подсказок, позволяющих еще раз вспомнить важные элементы эмоции и сделать верный выбор.

Первая подсказка – контуры значимых для распознавания эмоции элементов. После второй ошибки внимание пользователя будет снова обращено на области лица со значимыми для распознавания эмоции чертами – это вторая подсказка.

 

Эффективность обучения будет выше, если во время просмотра ребенком экранов помощник будет комментировать изображения, проговаривая признаки эмоций.

Эмоция	Значимые части лица	Признаки	Как комментировать для ребенка
Радость	рот	уголки губ растянуты и приподняты, могут быть как сомкнуты, так и разомкнуты	улыбка
	глаза	глаза немного прищурены из-за того, что приподняты щеки	глаза прищурены
Грусть	рот	уголки губ опущены вниз	уголки губ опущены вниз
	глаза	взгляд расфокусирован	*
Удивление	брови	внутренние уголки бровей подняты, брови немного сдвинуты	брови как крыша домика
	рот	губы разомкнуты, челюсть расслаблена и опущена	рот круглый
	глаза	раскрыты, радужка видна полностью	широко открыты
Страх	брови	высоко подняты	высоко подняты / брови как дуги
	рот	губы разомкнуты, уголки губ оттянуты назад и вниз	рот как полукруг
	глаза	вернее веко поднято, над радужкой виден белок, нижнее веко может прикрывать немного радужку	глаза огромные / сверху много белого
Злость	брови	средние и внешние части подняты, внутренние уголки сдвинуты и приподняты	брови подняты / брови прямые
	рот	губы сжаты, мышцы вокруг напряжены	губы сжаты / рот прямой
	глаза	верхние веки подняты, взгляд направлен на оппонента	*
Отвращение	брови	нахмурены (внутренние уголки сдвинуты и опущены)	брови нахмурены / брови вниз
	рот	верхняя губа приподнята	верхняя губа приподнята

6. Раздел Показывать

Этот раздел направлен на формирование у ученика навыков выражения эмоций с помощью мимики. После выбора пункта “Показывать”, ученику необходимо выбрать эмоцию над которой он хочет работать. Чтобы вернуться на главный экран необходимо нажать кнопку назад на планшете.

Затем, на экране появляется образец эмоции на лице выбранного раннее персонажа, две кнопки для фотографирования (под любую удобную руку) и окошко с изображением с фронтальной камеры планшета. Задача ученика – выстроить выражение своего лица в соответствии с образцом и сделать фотографию. Поскольку ребенку может быть сложно и выстраивать свою мимику и фотографировать одновременно, родитель или специалист может придерживать планшет и сам нажимать кнопку, когда ученик сделал нужное выражение. 

Чтобы сделать хорошую фотографию:

• держите планшет так, чтобы камера располагалась напротив лица ребенка, примерно на уровне глаз;
• уберите из кадра руки;
• заколите челку так, чтобы она не закрывала брови и не перекрывала лоб больше, чем на половину высоты;
• фотографируйте при естественном рассеянном освещении или при искусственном верхнем (когда под глазами и носом образуются небольшие тени).

Подробные инструкции Вы можете посмотреть в обучающем видео «Правила работы с мобильным приложением «Эмоции. Аутизм» на сайте эмоции-аутизм.рф в разделе «Видео».

После нажатия на кнопку «сфотографировать» специально разработанный для приложения алгоритм компьютерного зрения оценивает полученное изображение. Если выражение сделано правильно, то пользователь получает визуальное подкрепление (в виде мигающей зеленой рамки и надписи «все правильно»).

Кнопка «повтор» позволяет продолжить тренировку выражения той же эмоции. Кнопка «назад» позволяет прекратить тренировку и выйти на экран выбора эмоций.

Если выражение сделано неправильно, то пользователь получает подсказки, указывающие, что нужно изменить, чтобы выражение получилось. Подсказки бывают двух видов:

• анимированный контур, появляющийся поверх фотографии в том месте, где располагается неправильно выполненный элемент, и демонстрирующий движение, которое необходимо совершить;
• текстовые инструкции, появляющиеся в нижней части экрана.

В верхней части экрана над рамкой камеры располагается счетчик попыток. Приложение предлагает пользователю пять раз попробовать сделать одно и то же мимическое выражение. Повторение движения несколько раз подряд лучше его закрепляет. Счетчик попыток позволяет визуально показать ребенку, сколько попыток осталось (взрослый обычно в этот момент комментирует: «Смотри, осталось еще три раза»). Зеленый шарик – неиспользованная попытка, серый – совершенная.

Раздел Угадывать

В этом игровом режиме пользователю крупным планом показывается изображение лица, выражающего эмоцию. Под ним находятся кнопки с названиями и пиктограммами эмоций. Задача пользователя - идентифицировать эмоцию.

На первом находятся простые для восприятия бедные на детали изображения эмоций и эмоции на лицах людей, созданных средствами компьютерной графики. На втором – фотографии реальных людей, изображающих эмоции по правилам системы П.Экмана (EMFACS). На третьем – изображения, взятые из сети Интернет, которые обладают рядом затрудняющих восприятие характеристик: сложный фон, очки, челки, поворот головы, немного отличающиеся от правил системы Экмана выражения и пр. Третий уровень рекомендуется проходить, только когда навыки распознавания будут уверенно сформированы.

В нижней части экрана появляются кристаллы, отмечающие успешность прохождения игры.

Раздел Находить

Игра «Находить» построена на принципе сортировки: из набора изображений разных эмоций ребенку необходимо выбрать только те, которые соответствуют эмоции, указанной в инструкции в верхней части экрана. Одновременно на экране могут присутствовать несколько правильных изображений, но достаточно выбрать хотя бы одно из них. После каждого выбора все изображения на экране обновляются.

Каждый успешный выбор отмечается оранжевой звездочкой. В случае ошибки появляется серая звездочка.

Сбросить результаты и начать сначала можно с помощью кнопки «повтор». С помощью кнопки «назад» можно выйти из игры и вернуться на главный экран.

По завершению пяти попыток появляется экран, предлагающий либо завершить игру (кнопка «закрыть»), либо повторить ее (кнопка «играть еще раз»). Независимо от результата, появление экрана сопровождается положительным визуальным и звуковым подкреплением.