Memoways propose une application mobile intitulée Memowalk, qui crée des films en fonction des déplacements d'une personne. Le projet Move Your Story permettra d'améliorer la plateforme Memoways en prenant en compte le comportement et les intérêts actuels de l'utilisateur.
Le projet de recherche Move Your Story
TAM et Memoways présentent le projet de recherche Move Your Story. Une application mobile génère un film composé de petits clips vidéo sélectionnés en fonction de la position de l'utilisateur et de son comportement actuel.
À cette fin, nous avons implémenté un module de reconnaissance d'activité qui est capable de reconnaître les activités en cours, comme la marche, le vélo ou les déplacements en véhicule, en utilisant l'accéléromètre et le GPS intégrés dans un smartphone. De plus, nous avons ajouté différents niveaux d'intensité de marche à l'algorithme de reconnaissance, ainsi que la possibilité d'utiliser l'application dans n'importe quelle position.
Memoways propose une application mobile intitulée Memowalk, qui crée des films en fonction des déplacements d'une personne. Le projet Move Your Story permettra d'améliorer la plateforme Memoways en prenant en compte le comportement et les intérêts actuels de l'utilisateur. Ces informations seront obtenues en analysant les données produites par les différents capteurs d'un smartphone.
Voir les billets rédigé à l’époque sur le site de Ulrich Fischer:
Les résultats techniques de ce projet
Dans l'application mobile Memowalk pour Android, l'utilisateur peut voir comment son comportement est détecté et catégorisé dans le temps, avec des fenêtres temporelles courtes et moyennes.
La détection d'activité et de comportement « aidera » le moteur de montage en fournissant un modèle comportemental qui sera traduit en un modèle de montage.
La suivante est une capture d'écran de l'application complète qui a été utilisée pour effectuer tous les tests.
Les activités et comportements suivants sont détectés par le module :
Activities | Orientation | Behaviours |
Static | Low left | Regular |
Walking slowly | Medium left | Visiting – calm |
Walking | High left | Chaotic |
Walking fast | Low right | Sportive |
Running | Medium right | |
Vehicle | High right | |
Bicycle |
Un autre algorithme a été ajouté pour améliorer l'expérience utilisateur : un module appelé GRM (Module de Reconnaissance des Gestes).
Les gestes suivants peuvent être automatiquement détectés lorsque l'utilisateur effectue un mouvement avec son appareil. Le module de reconnaissance des gestes a été calibré et adapté pour déterminer le bon mouvement parmi d'autres mouvements comme la marche. De plus, il peut reconnaître si le geste a été effectué avec la main gauche ou la main droite.
Le module analyse les données de l'accéléromètre et du gyroscope. Le geste est ensuite reconnu grâce à un algorithme d'apprentissage automatique qui a été entraîné par six sujets ayant effectué pendant 5 jours un total de 3600 enregistrements de gestes.
Device in the left hand | Device in the right hand |
Answering call | Answering call |
Pointing forward | Pointing forward |
Pointing on the left | Pointing on the left |
Pointing on the right | Pointing on the right |
Looking at the screen* | Looking at the screen* |
Checking the time** | Checking the time** |
*Mouvement commençant avec l'appareil dans une poche et se terminant à hauteur des yeux de l'utilisateur
**Comme le mouvement "Regarder l'écran", mais se terminant à mi-hauteur
Merci à l'équipe @ TAM pour le précieux travail et la belle collaboration : Jody Hausmann, Kevin Salvi et Michel Deriaz.