Die Simulation von Umgebungen, gekoppelt mit Technologien wie Virtual-Reality-Brillen, bietet schier unbegrenzte Möglichkeiten. Im Alltag werden VR-Systeme dennoch nicht viel genutzt. «Bei produktiven Tätigkeiten, etwa bei klassischen Büroarbeiten, haben sich die Technologien noch nicht etabliert», hat Christian Holz, Professor am Institut für intelligente interaktive Systeme an der ETH Zürich, beobachtet.
Dabei bestünde auch hier grosses Potenzial: Inhalte sind nicht mehr an einen Bildschirm gebunden, Nutzerinnen und Nutzer können dreidimensional, hochflexibel und intuitiv mit den Händen agieren. Das zentrale Problem liege bei der Interaktion zwischen Mensch und Technologie, sagt Holz.
Bisher wurden die Geräte mit Controllern bedient oder freihändig in der Luft, indem die Bewegungen abgefilmt werden. Stehend und mit erhobenen Händen zu arbeiten, ist ermüdend. «Ein normaler Arbeitsprozess, also die Interaktion mit dem System über mehrere Stunden, ist so nicht denkbar». Und bei virtuellen Tastaturen sind die Fingerbewegungen zu kleinräumig, um von Kameras exakt umgesetzt zu werden.
Handgelenk als Lesegerät für Fingerbewegung
Für beide Probleme bieten passive Oberflächen eine sinnvolle Alternative, finden Holz und sein Team. Das kann die klassische Tischplatte sein, aber auch eine Wand oder der eigene Körper. Das Sensorikprinzip namens «TapID», eingebettet in ein billiges Gummi-Armband, vermag winzige Unterschiede im Vibrationsprofil am Handgelenk aufzulösen, die jedem Finger charakteristisch sind. Die Regung jedes einzelnen Fingers manifestiert sich am Handgelenk unterschiedlich, und das «TapiID»-Gerät nutzt diese Differenzen.
Eine eigens entwickelte Machine-Learning-Pipeline verarbeitet dabei die gemessenen Daten in Echtzeit. In Kombination mit dem Kamerasystem einer VR-Brille, das die Position der Hände erfasst, wird so eine äusserst exakte Eingabe möglich. Die Forschenden demonstrieren das in einigen Anwendungen, die sie für ihre Entwicklung programmiert haben, etwa einer virtuellen Tastatur und einem Klavier (siehe Video).
Kompatibel, billig und mobil
In einer technischen Evaluation mit 18 Teilnehmenden konnten die Entwickler zeigen, dass das Prinzip nicht nur mit der eigens konstruierten Elektronik im Armband zuverlässig funktioniert, sondern auch mit Fitness-Armbändern und Smartwatches von etablierten Anbietern, die mit Trägheitssensoren ausgestattet sind.
Ausserdem sei das Armband billig in der Herstellung und überallhin leicht mitzuführen, rühmt Informatikprofessor Holz. Er sieht die Zukunft der virtuellen Realität darin, unabhängig von der physischen Position zusammenarbeiten zu können - nicht durch Hardware eingeschränkt, sondern so, als wäre man im selben Raum.
Video https://youtu.be/j0XEB-JcNps