KI-Gestützte Affordanzen in der augmentierten Realität

Wie werden wir den urbanen Raum der Zukunft erleben? Die Forschungsgemeinde im Bereich Augmented Reality (AR) rechnet damit, dass wir in Zukunft urbane Räume in Echtzeit dreidimensional augmentiert erleben werden. Eine große Herausforderung dabei ist es, die Neuinterpretation der Realität zu kommunizieren. Wir entwickelten AR-Applikationen, in denen augmentierte Umgebungsmerkmale interaktiv neu interpretiert werden. Verfahren des bestärkenden Lernens (Reinforcement Learning) werden genutzt, um Nutzern diese Affordanzen individuell zu erklären.

Augmented Reality (AR) kann genutzt werden um alltägliche Objekte im Stadtraum neu zu interpretieren. Informatik Studenten der Universität Augsburg nutzten diese Technologie um ein AR-Abenteuer Spiel zu entwickeln in dem die echte Spielerumgebung zu einem interaktiven Level wird. Zentraler Bestandteil sind dabei Rätsel die nur gelöst werden können, indem der Spieler mit alltäglichen Objekten interagiert.

Um den veränderten Angebotscharakter von Objekten in der Nutzerumgebung zu kommunizieren wurde eine KI eingesetzt, die auf Basis des Nutzerverhaltens dynamisch erlernt wie man einem Nutzer bei der Interaktion mit der augmentierten Umgebung optimal unterstützt.

Dabei wurden Techniken des bestärkenden Lernens (Reinforcement Learning, RL) eingesetzt. Der RL-Agent erlernt durch Nutzerfeedback wann der Nutzer einen Tipp möchte und wie dieser gestaltet sein sollte. Zur Ausgabe können verschiedene Modalitäten (auditiv, visuell) und Kodierungen (verbal-linguistisch, räumlich-analog) eingesetzt werden.