ERBEN
Entwicklung einer realitätsorientierten Benutzungsoberfläche für Werkstattrechner
Projektgruppe
Dipl. Inform. Ingrid Rügge, Prof. Dr.-Ing. F.W. Bruns
Forschungszentrum Arbeit und Technik (artec)
Finanzierung
FNK Universität Bremen
Laufzeit: 15. 10. 96 - 14. 10. 99
Zielsetzung
Ziel der Arbeit ist die Entwicklung einer Benutzungsoberfläche für die rechnergestützte Modellierung von dreidimensionalen Freiformen, die das Modellieren im Gegenständlichen ermöglicht und gleichzeitig den Übergang vom stofflichen Gegenstand zum virtuellen Rechnermodell unterstützt. Mittels der sensorisierten Hände und über begriffliche Beschreibungen wird der dreidimensionale reale Gegenstand oder das gegenständliche Modellelement schrittweise charakterisiert. Der Rechner baut synchron dazu ein virtuelles Modell auf, so daß das gegenständliche Objekt an eine ähnliche rechnerinterne Modellwelt gekoppelt wird, indem es "begriffen" und "beschrieben" wird. Die BenutzerIn kann ihr gegenständliches Wissen und insbesondere ihre taktilen Möglichkeiten bei der Modellierung einsetzen, wobei ihre Aufmerksamkeit auf das reale gegenständliche Objekt gerichtet ist und nicht auf den im Hintergrund vorhandenen Rechner. In der modellerzeugenden Phase besteht eine direkte geometrische und topologische Analogie zwischen dem gegenständlichen und dem virtuellen Modell. Erst in einer nachfolgenden Phase des Experimentierens mit dem rechnerinternen Modell und dessen Variation kann eine Auseinanderbewegung der beiden Welten erfolgen.
Gegenstand
Ein relativ junges Forschungsgebiet der Mensch-Maschine-Interaktion konzentriert sich auf grifforientierte Benutzungsoberflächen (Graspable User Interfaces). Die wesentlichen Entwicklungen zielen hierbei in zwei Richtungen. Entweder wird mit "leeren" Griffen einer sensorisierten Hand über ein virtuelles Abbild der Hand auf virtuellen Objekten im Rechner operiert oder es erfolgt ein Greifen auf realen sensorisierten Objekten, die in Beziehung zu rechnerinternen Objekten stehen. Das Vorhaben verfolgt die Weiterentwicklung eines dritten, mächtigeren Konzeptes. Dieses erlaubt es, beliebige stoffliche Gegenstände als Benutzungsoberfläche zu verwenden, indem nicht die Dinge mit Sensoren ausgestattet werden, sondern die real berührende aber auch formende und manipulierende Hand. Ausgehend von einer anfänglichen Entsprechung zwischen Realität und rechnerinterner Modellwelt werden alle Handbewegungen, die zur Erfassung und Veränderung der Realwelt führen, auf den Rechner übertragen und dort zur Aktualisierung des rechnerinternen Modells verwandt. Dadurch ist eine Synchronisierung zwischen externer stofflicher und interner virtueller Modellwelt möglich.
Im Bereich der geometrischen Konstruktion werden unter dem Stichwort "reverse geometric modelling" Forschungen vorangetrieben, die eine automatische Generierung dreidimensionaler Konstruktionsmodelle aus realen gegenständlichen Objekten durch die Auswertung maschinell erzeugter Meßdaten (z.B. Scannern) zum Ziel haben. Die bisher vorliegenden Ergebnisse machen deutlich, daß auf das Eingreifen der BenutzerIn bei der Modellierung nicht verzichtet werden kann, da es keine intelligenten Algorithmen gibt, die alle relevanten Punkte und geometrischen Formen des Gegenstands aus der (Un-)Menge der akquirierten Meßdaten automatisch extrahieren können. Der Ansatz dieser Arbeit ist, daß die Integration des Wissens und der Fähigkeiten des Menschen schon im Gegenständlichen erfolgen sollte, um die zur Begriffsbildung und Modellierung ohnehin erforderliche Erfahrung und Intelligenz der BenutzerIn weitestgehend in eine reale, bekannte und mit allen menschlichen Sinnen erfahrbare Umgebung zu verlagern.
Methode
Aufbauend auf den im Forschungszentrum artec vorliegenden konzeptionellen Arbeiten zu einer Werkstattmetapher und den realisierten Softwarekomponenten zur Gestenerkennung, Geometriedatenverarbeitung und diskreten ereignisorientierten Simulation soll eine realitätsorientierte Modellierungssprache im weitesten Sinne erarbeitet werden, deren Funktionsweise anhand eines Prototypen demonstriert werden kann.
Mit dem Instrumentarium der Modelltheorie lassen sich Syntax, Semantik und die Übergänge zwischen diesen beiden semiotischen Ebenen exakt beschreiben, wie es beispielsweise aus der Definition von Programmiersprachen bekannt ist. Die syntaktischen Ausdrücke dieser Modellbildungssprache werden unter der genannten Zielsetzung mindestens aus einer Kombination von Griffen und Begriffen bestehen, die durch Sensordaten und Zeitangaben ergänzt werden. Die Interpretationsfunktion bildet diese Ausdrücke auf eine Semantik ab, die eine geeignete Repräsentationen geometrischer Eigenschaften darstellt. Der Modellierungsvorgang selbst wird dazu in mehrere klar voneinander abgrenzbare syntaktische und semantische Ebenen untergliedert, die der Komplexität des Modellbildungsprozesses Rechnung tragen und jede Phase mit geeigneten Sprachelementen unterstützen.
Perspektiven
Durch die allgemeine Formulierung und den modularen Aufbau von Syntax, Semantik und Interpretation der Modellbildungssprache wird eine gegenständliche Benutzungsschnittstelle definiert, die beliebig ausbaufähig ist. Sie soll beispielsweise durch weiterentwickelte Sensorhandschuhe und Trackingsysteme verfeinert oder um Scannertechnik und Bildverarbeitung sowie mit akustischen Rückkopplungen erweitert werden können, indem das Bestehende als Basis verwendet wird. Die Integration von Sprachelementen zur Beschreibung von Form-, Lage- und Ortsveränderungen sind weitere integrierbare Optionen.
Projektrelevante Veröffentlichungen
V. Brauer, F.W. Bruns, E. Hornecker, B. Robben, H. Rosch, I. Rügge, K. Schäfer (Hrsg.): Vom Bildschirm zum Handrad. Computer(be)nutzung nach der Desktop-Metapher, Workshop, 6.-7. Oktober 1997, artec-papers Nr.54. Workshop-Abstracts. Reader online verfügbar.
F. W. Bruns, V. Brauer: Greifendes und begreifendes Modellieren im Realen und Virtuellen. In: E. Neugebauer, S. Wiesener (Hrsg. ): FORWISS-Report zum 7. Workshop Hypermedia & KI, Hannover, Nov. 1995.
F. W. Bruns, V. Brauer: Bridging the Gap between Real and Virtual Modeling - A New Approach to Human-Computer Interaction, presented at the 2nd IFIP 5.10 Workshop on Virtual Prototyping, May 4-6 1996, Arlington Tx, USA. This paper will be published in the official conference proceedings.
W. Bruns, E. Hornecker, B. Robben, I. Rügge (Hrsg.): Vom Bildschirm zum Handrad — Computer(be)nutzung nach der Desktop-Metapher. artec-paper 59, Februar 1998, Workshop-Dokumentation.
B. Robben, I. Rügge: Mit den Händen beGreifen: Real Reality. In: Rügge et al.: Arbeiten und begreifen: Neue Mensch-Maschine-Schnittstellen. LIT-Verlag: Münster, 1998, S. 133-146.
B. Robben, I. Rügge: Real Reality: Computer(be)nutzung nach der Desktopmetapher. In: W. Bruns et al. (Hrsg.): Vom Bildschirm zum Handrad - Computer(be)nutzung nach der Desktop-Metapher. artec-paper 59, Februar 1998, Workshop-Dokumentation, S.159-173.
I. Rügge: Erben und andere Rückgriffe in die Vergangenheit. In: V. Brauer et al. (Hrsg.): Vom Bildschirm zum Handrad. Computer(be)nutzung nach der Desktop-Metapher, Workshop, 6.-7. Oktober 1997, artec-papers Nr.54. Workshop-Abstracts. S.25
I. Rügge: Zwischenbericht zum Doktorandenstipendium, 1997
I. Rügge: Wenn ich das nur (be)greifen könnte! In: Dokumentation des 24. Kongreß von Frauen in Naturwissenschaft und Technik, 21.-24. Mai 1998 (im Erscheinen.)
I. Rügge, B. Robben, E. Hornecker, F.W. Bruns (Hrsg.): Arbeiten und begreifen: Neue Mensch-Maschine-Schnittstellen. LIT-Verlag: Münster, 1998.
Ingrid Rügge, 7.9.1997