tshijika tshineva patlose BAC 3 ELECTRO (1)

La communication entre les personnes sourdes ou malentendantes et les personnes entendantes demeure difficile lorsque ces dernières ne maîtrisent pas la langue des signes. Le présent travail porte sur la conception et la réalisation d’un prototype de robot interprète capable de reconnaître un ensemble limité de gestes de la langue des signes et d’en restituer la signification sous forme textuelle et vocale. L’objectif poursuivi est de proposer une solution technologique associant vision par ordinateur, intelligence artificielle, électronique embarquée et actionnement électromécanique afin de contribuer à réduire cette barrière de communication. Le prototype est construit autour d’une tête de mannequin en silicone intégrant les principaux organes du système. L’acquisition visuelle est assurée par un module ESP32-CAM, tandis qu’une carte ESP32-S3 N16R8 commande le servomoteur responsable de l’ouverture et de la fermeture de la bouche. Le traitement est réalisé sous Python à l’aide d’OpenCV et de MediaPipe. Ce dernier permet de détecter jusqu’à deux mains et d’extraire vingt-et-un points caractéristiques par main. La restitution vocale repose sur le moteur Piper, un module audio MAX98357A et un haut-parleur de 4 Ω / 5 W. L’alimentation du prototype a été dimensionnée à 5 V / 5 A afin de couvrir les besoins des différents sous-systèmes avec une marge de sécurité. Les essais réels documentés montrent que le système détecte les mains et reconnaît plusieurs gestes avec des scores de confiance compris entre 56 % et 100 %. En complément, un protocole quantitatif de cinq class.