Une application de réalité augmentée pour aider les enfants atteints d'autisme

La société de logiciels PTC, en partenariat avec l'hôpital pour enfants de Boston, a développé un prototype d'application de réalité augmentée (RA) pour aider à l'apprentissage et à la communication des enfants atteints d'autisme.

Les résultats des tests cliniques montrent une amélioration considérable pour ces enfants en termes d'attention portée à l'activité, de parler en phrases de trois mots, de participer à des jeux de rôle ou de suivre des directives en une seule étape.

Lors de la conférence sur la transformation numérique LiveWorx20, organisée exceptionnellement sur une base virtuelle cette année en raison de Covid-19, le Dr Howard Shane, directeur du Center for Communication Enhancement à l'hôpital pour enfants de Boston, a expliqué que les enfants atteints de troubles du spectre autistique (TSA) ont peu ou pas de langage fonctionnel, mais un intérêt marqué pour les médias électroniques sur écran :

"Si vous regardez leur développement, vous verrez qu'ils avaient des sons de parole très limités au début : C'étaient des enfants plutôt silencieux et c'est souvent l'un des premiers indicateurs que quelque chose ne va pas dans leur développement. Ces enfants ont également une très forte prédilection pour ce qui est visuel. L'internet est un grand attrait pour eux. Ils aiment les graphiques informatiques, les animations, les clips vidéo, etc. En outre, ils ont des difficultés extraordinaires à comprendre le langage parlé. Une grande partie de leur apprentissage se fait en regardant. Ils ont un processus visuel d'apprentissage très fort par rapport à l'auditif"

Il a ajouté :

"Le canal visuel est un moyen de reconstruire leurs capacités linguistiques et leur aptitude à comprendre. La technologie de réalité augmentée nous offre donc une opportunité vraiment fascinante"

Une application multisensorielle

En 2018, une équipe d'employés de la PTC a commencé à faire du bénévolat pour comprendre l'autisme et les conditions requises pour créer une solution efficace en matière de RA. Ils ont mis au point un prototype d'application de RA qui offrirait une expérience multisensorielle à l'utilisateur.

Ils ont imaginé une réplique virtuelle d'un jouet traditionnel pour enfants : une ferme avec différents personnages tels qu'un garçon, un cheval, une grange, une poule, un œuf, etc. Ce jouet permet de prendre des animaux, de les faire entrer et sortir de la ferme, etc. Ce jouet permet de prendre des animaux, de les faire entrer et sortir de la ferme, etc. L'utilisateur peut, à partir d'une tablette, superposer la technologie AR.

Une fois qu'elle est verrouillée sur la ferme, l'animation AR révèle certains verbes, noms et prépositions associés à des indices visuels que l'enfant peut voir. L'enfant peut créer une phrase de trois mots en utilisant les icônes, puis l'animation montre le résultat de ce qu'il a créé. Par exemple, si le résultat est "le garçon monte à cheval", une voix synthétique donne, en même temps, un indice auditif : "le garçon monte à cheval" Cela se transforme en quelque chose que les enfants autistes peuvent vraiment comprendre.

Christina Yu, orthophoniste à l'hôpital pour enfants de Boston, a expliqué :

"Si nous donnons ce jouet à un enfant autiste sans aucun indice visuel ni instruction, il n'interagira pas nécessairement avec lui de manière appropriée. Il peut se contenter de ramasser les différents personnages et ne pas mettre la poule à côté des œufs ou faire monter le garçon sur le cheval. Mais avec ces supports visuels utilisant la RA, les enfants sont capables de traiter les informations visuelles et d'interagir avec le jouet de manière appropriée"

Don Busiek, vice-président senior des alliances stratégiques chez PTC, a déclaré

"Le CTP a construit le prototype, l'équipe de l'hôpital pour enfants a travaillé sur certains essais cliniques et nous avons mis à jour l'application en fonction des résultats de l'évaluation clinique. Il y a maintenant une transition de l'équipe de volontaires vers des employés à plein temps qui travaillent à la construction du prototype de la prochaine génération"

L'application AR peut être appliquée à une variété d'objets.

Tests cliniques

L'équipe du Boston Children's Hospital dirigée par le Dr Shane et Christina Yu a effectué une série de tests cliniques. L'un d'entre eux a été réalisé avec Jessica, une fillette de six ans souffrant de troubles du spectre autistique. L'équipe lui a présenté le jouet sans l'application AR et avec l'application AR.

Sans l'application AR, elle a assisté à l'activité pendant une période très limitée. Elle a pu étiqueter les noms tels que garçon, vache et cochon, mais elle n'a pas pu combiner les mots en phrases complètes. Elle n'a donc pas pu dire que le garçon monte à cheval. Pour ce qui est du jeu de simulation, elle n'a fait qu'un seul pas : Elle a mis le garçon dans la grange, mais elle n'a pas pu faire les autres étapes du jeu de simulation qu'un enfant de six ans ferait normalement. Enfin, elle n'a pas été capable de suivre une directive en une seule étape telle que "Pouvez-vous mettre la poule à côté du nid ?

Lorsqu'ils ont présenté la demande de RA, elle a assisté à l'activité beaucoup plus longtemps. Elle ne s'est pas levée une seule fois et elle a pu étiqueter les noms. Elle a sélectionné chacune des icônes et elle a répété après la sortie vocale. Elle était capable de parler en phrases de deux ou trois mots, ce qu'elle ne pouvait pas faire auparavant, puis elle a séquencé trois icônes ensemble pour dire "le cochon est dans la grange" Elle a pu répéter cette phrase de trois mots à haute voix.

A déclaré Christina Yu :

"C'est vraiment important parce que nous travaillons sur des phrases de deux ou trois mots depuis plus d'un an maintenant en orthophonie, et cela ne lui a pas vraiment collé à la peau. Ses parents ont également travaillé très dur sur ce sujet à la maison. Cette application lui permet donc de rester intéressée et d'assister aux séances. Et nous savons que lorsqu'un enfant assiste à une activité et qu'il est plus intéressé, il traite l'information et l'apprend plus rapidement"

En ce qui concerne le jeu de rôle, il n'est pas naturel pour les enfants autistes, a déclaré Christina Yu. Et ici, grâce à la réalité augmentée, Jessica a pu participer à de nombreux jeux de simulation. Enfin, en termes de directives à une seule étape, en général, si le médecin disait "Pouvez-vous mettre le garçon à côté du cheval ?" Jessica ne pourrait pas le faire. Mais avec le mode visuel utilisant la RA, elle a rempli toutes les directives en une seule étape.

A déclaré le Dr Shane :

"Compte tenu de notre histoire de travail avec la technologie et les enfants souffrant de toute une série de troubles du développement, l'application AR a été essentielle pour les aider à améliorer leurs capacités. Nous commençons à voir que c'est une technologie qui peut être un différentiateur essentiel"

Selon les Centres pour le contrôle et la prévention des maladies (CDC), 1 enfant sur 88 souffre d'une forme de TSA aux États-Unis, soit une augmentation de 78 % par rapport à il y a dix ans.