Move Your Story
Move Your Story

Move Your Story

Description

Memoways propose une application mobile intitulée Memowalk, qui crée des films en fonction des déplacements d'une personne. Le projet Move Your Story permettra d'améliorer la plateforme Memoways en prenant en compte le comportement et les intérêts actuels de l'utilisateur.

Type de projet
Recherche
Status
Terminé
Dates
November 12, 2012 → October 16, 2014
URL

Le projet de recherche Move Your Story

TAM et Memoways présentent le projet de recherche Move Your Story. Une application mobile génère un film composé de petits clips vidéo sélectionnés en fonction de la position de l'utilisateur et de son comportement actuel.

À cette fin, nous avons implémenté un module de reconnaissance d'activité qui est capable de reconnaître les activités en cours, comme la marche, le vélo ou les déplacements en véhicule, en utilisant l'accéléromètre et le GPS intégrés dans un smartphone. De plus, nous avons ajouté différents niveaux d'intensité de marche à l'algorithme de reconnaissance, ainsi que la possibilité d'utiliser l'application dans n'importe quelle position.

Memoways propose une application mobile intitulée Memowalk, qui crée des films en fonction des déplacements d'une personne. Le projet Move Your Story permettra d'améliorer la plateforme Memoways en prenant en compte le comportement et les intérêts actuels de l'utilisateur. Ces informations seront obtenues en analysant les données produites par les différents capteurs d'un smartphone.

Voir les billets rédigé à l’époque sur le site de Ulrich Fischer:

Les résultats techniques de ce projet

image

Dans l'application mobile Memowalk pour Android, l'utilisateur peut voir comment son comportement est détecté et catégorisé dans le temps, avec des fenêtres temporelles courtes et moyennes.

La détection d'activité et de comportement « aidera » le moteur de montage en fournissant un modèle comportemental qui sera traduit en un modèle de montage.

image

La suivante est une capture d'écran de l'application complète qui a été utilisée pour effectuer tous les tests.

image

Les activités et comportements suivants sont détectés par le module :

Activities
Orientation
Behaviours
Static
Low left
Regular
Walking slowly
Medium left
Visiting – calm
Walking
High left
Chaotic
Walking fast
Low right
Sportive
Running
Medium right
Vehicle
High right
Bicycle

Un autre algorithme a été ajouté pour améliorer l'expérience utilisateur : un module appelé GRM (Module de Reconnaissance des Gestes).

Les gestes suivants peuvent être automatiquement détectés lorsque l'utilisateur effectue un mouvement avec son appareil. Le module de reconnaissance des gestes a été calibré et adapté pour déterminer le bon mouvement parmi d'autres mouvements comme la marche. De plus, il peut reconnaître si le geste a été effectué avec la main gauche ou la main droite.

Le module analyse les données de l'accéléromètre et du gyroscope. Le geste est ensuite reconnu grâce à un algorithme d'apprentissage automatique qui a été entraîné par six sujets ayant effectué pendant 5 jours un total de 3600 enregistrements de gestes.

Device in the left hand
Device in the right hand
Answering call
Answering call
Pointing forward
Pointing forward
Pointing on the left
Pointing on the left
Pointing on the right
Pointing on the right
Looking at the screen*
Looking at the screen*
Checking the time**
Checking the time**

*Mouvement commençant avec l'appareil dans une poche et se terminant à hauteur des yeux de l'utilisateur

**Comme le mouvement "Regarder l'écran", mais se terminant à mi-hauteur

Merci à l'équipe @ TAM pour le précieux travail et la belle collaboration : Jody Hausmann, Kevin Salvi et Michel Deriaz.