Interpretation des mouvements de la main - Reconnaissance d'images

Stage Master 2 SDS 2018/2019

Soutenu par : Antony ARSLANYAN

Encadré par : Eric REMILLERET

Logo de l'université d'Angers Logo d'Aubay Logo de l'Ensta

Résumé

Le projet Drive With Your Hands constitue mon projet de fin d'études dans le cadre de mon cursus à l'ENSTA Bretagne ainsi que dans le master recherche SDS d'Angers. Ce projet à pour but de fluidifier les interractions entre l'homme et la machine en détéctant et interprétant les gestes et mouvements de la main. Une fois interprétés, ce mouvements peuvent être convertis en action telles que le clic ou le défilement.

Les points clefs de ce projet sont :
  • Localiser en direct les mains sur un flux vidéo
  • Effectuer un traitement sur les images de mains afin d'en extraire les points clefs
  • Détecter en direct les mouvements effectuées
  • Traduire et effectuer l'action souhaitée

Le point de vue innovant de ce projet provient du fait que le seul matériel nécéssaire est une webcam standard. Aucune caméra infrarouge ou stéréo n'est utilisé pour la détéction.
Le projet à été réalisée majoritairement en C++ avec une interface graphique Qt. Le projet utilise Keras pour un premier réseau de neurones et You Only Look Once pour le second. Ce projet s'appuie sur un état de l'art ayany permis de conclure sur les techniques à utiliser.

Mots-Clés : Intelligence artificielle, traitement d'images, C++, recherche

Abstract

Drive With Your Hand is my final year project as part of my cursus at ENSTA Bretagne along with the SDS research master of Angers. The aim of this project is to fluidify the interractions between man and machine by detecting and interpreting hand gestures and movements. Once interpreted, this movement can be converted into actions such as clicking or scrolling.

The key points of the project are :
  • Localize hands live on a video stream
  • Process hand images to extract key points
  • Detecting the movements made
  • Translate and perform the desired action

The innovative point of view of this project comes from the fact that the only material needed is a standard webcam. No infrared or stereo cameras are used for detection.
The project was mainly carried out in C++ with Qt as graphical interface. The project uses Keras for the first neural network and You Only Look Once for the second. This project is premised on a state of the art that has allowed us to conclude on the techniques to be used.

Keywords: Artificial Intelligence, image processing, C++, research