Andrew H. Fagg: l’informatique portable et l’interaction homme-machine

Il existe actuellement de nombreux appareils électroniques grand public qui promettent d’améliorer notre vie quotidienne en effectuant un large éventail de tâches – en particulier liées aux fonctions de communication et de mémoire. Cependant, dans la pratique, ces appareils nécessitent une plus grande attention personnelle de la part de l’utilisateur, ce qui nuit à leurs avantages. Une solution consiste à développer des appareils capables de faire automatiquement des suppositions intelligentes quant aux informations dont l’utilisateur aura besoin au cours des prochaines minutes. Ces informations doivent ensuite être présentées sous une forme qui minimise la distraction des utilisateurs. En réduisant le besoin de l’utilisateur de s’intéresser aux mécanismes d’interaction avec les appareils, nous ouvrons un large éventail de possibilités pour de nouvelles utilisations de ces systèmes informatiques portables.

Interfaces informatiques portables multimodales

J’ai développé un modèle de service distribué pour résoudre ces problèmes. Un ensemble d’agents indépendants est responsable de la collecte d’informations qui peuvent être utiles à l’utilisateur à tout moment (par exemple, e-mail, actualités et notes « collantes » dépendantes de l’emplacement). Cependant, ces agents ne communiquent pas directement à l’utilisateur, mais soumettent à la place des informations à un processus d’interaction central. Ce processus est chargé de prendre des décisions contextuelles sur la question de savoir si les informations doivent être présentées à l’utilisateur et comment elles doivent être présentées (affichées sous forme de texte ou chuchotées à l’oreille de l’utilisateur). J’aborde ce problème de décision comme un problème de contrôle dans lequel une représentation de l’activité de l’utilisateur se traduit par une action de présentation appropriée. Cette perspective de contrôle de l’interface utilisateur nous permet d’engager une variété d’approches d’apprentissage automatique, y compris des techniques d’apprentissage supervisé et de renforcement.

À ce jour, cette perspective a été appliquée dans deux expériences. Tout d’abord, j’ai montré qu’une association efficace peut être acquise entre une représentation de l’activité actuelle de l’utilisateur et un document auquel elle aura accès dans ce contexte. Cette prédiction s’acquiert en regardant par-dessus l’épaule de l’utilisateur et en observant les modèles réguliers d’accès aux documents. Les documents prédits sont présentés à l’utilisateur sous forme de menu et peuvent être sélectionnés avec un nombre minimal de touches, ce qui augmente la vitesse à laquelle de nombreux documents peuvent être récupérés. Deuxièmement, un de mes élèves a examiné un problème de gestion de l’alimentation sensible au contexte dans lequel un ordinateur portable doit décider à tout moment de suspendre pendant une courte période ou de continuer à être actif afin de répondre aux demandes des utilisateurs ou aux événements sensoriels critiques . Nous avons formulé le problème en termes de SMDP et utilisé Q-Learning (une forme d’apprentissage par renforcement) pour optimiser la sélection des actions de contrôle. La politique de contrôle apprise a acquis une représentation implicite des conditions dans lesquelles le processeur pouvait suspendre en toute sécurité tout en ne manquant qu’un petit nombre d’événements externes. Au cours du prochain semestre, nous appliquerons des techniques similaires au problème de quand / comment présenter les messages générés par l’agent.

Interaction homme-robot via des interfaces de réalité virtuelle et mixte

Les problèmes abordés dans le domaine de l’informatique portable s’appliquent également au domaine de l’interaction homme-robot. Ici, nous souhaitons maximiser l’efficacité de la communication entre l’humain et (potentiellement) de nombreux robots. Plusieurs étudiants et moi avons développé des interfaces de réalité mixte (une combinaison d’environnements réels et virtuels) à cet effet (Fagg et al., 2002; Ou, Karuppiah, Fagg et Riseman, 2004). Ici, un environnement virtuel est utilisé pour résumer l’état du monde réel tel qu’il est extrait par l’ensemble de capteurs et pour rendre explicites les relations physiques entre les différents robots et capteurs. Cette approche permet à l’utilisateur d’explorer l’espace de données de manière spatiale, puis de sélectionner des capteurs individuels pour accéder à leurs flux de données en direct ou des robots individuels à des fins de contrôle.

Apprentissage par robot grâce à l’interaction humaine

L’un des paradigmes dominants dans le contrôle des robots pour les applications spatiales ou les environnements dangereux est pour un utilisateur de téléopérer un robot. En raison de l’effort cognitif important requis pour garantir que le robot agit comme prévu par le téléopérateur, le temps de fonctionnement utile d’un utilisateur est souvent inférieur à une heure. J’ai exploré l’utilisation d’approches d’autonomie mixtes qui permettent au robot d’effectuer certaines sous-tâches de manière autonome après l’autorisation de l’utilisateur. Une approche que j’ai suivie consiste à utiliser notre système de contrôle humanoïde déjà existant comme mécanisme de reconnaissance du mouvement prévu produit par le téléopérateur. Cette technique est utilisée pour terminer de manière préventive les mouvements initiés par le téléopérateur (en lui donnant de courtes périodes de repos) et pour entraîner le système de contrôle à effectuer des séquences de sous-mouvements au cours d’une seule démonstration.

Plus d’information


Source de la page: https://www.cs.ou.edu/~fagg/research/wearables.html
Traduit par Jean-Etienne Bergemer

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *