Pressemitteilungen

Mitsubishi Electric entwickelt situationsbezogene Interaktionstechnik Natürlichere und intuitive Mensch-Maschine-Interaktion durch situative Wahrnehmung

Ratingen, 3. August 2020 - Die deutsche Niederlassung der Mitsubishi Electric Europe B.V. gibt bekannt, dass ihre Muttergesellschaft Mitsubishi Electric Corporation in Tokio die nach eigener Einschätzung weltweit erste Technologie entwickelt hat, die eine besonders natürliche und intuitive Interaktion mit Menschen ermöglicht. Grundlage hierfür ist die Fähigkeit, multimodale Informationen situativ in natürliche Sprache umzuwandeln. Die neuartige Technologie, Scene-Aware Interaction, umfasst die von Mitsubishi Electric entwickelte kompakte Maisart®*-KI-Technologie zur Analyse multimodaler Informationen für eine extrem natürliche und intuitive Interaktion mit dem Menschen durch eine kontextabhängige natürliche Sprachausgabe.

Die Technologie erkennt kontextabhängige Objekte und Ereignisse auf der Grundlage multimodaler Informationen, wie zum Beispiel mit Kameras aufgenommene Bilder und Videos, mit Mikrofonen aufgezeichnete Audioinformationen und Lokalisierungsinformationen, die mit LiDAR gemessen wurden. Um diese verschiedenen Informationskategorien zu priorisieren, hat Mitsubishi Electric die „Attentional Multimodal Fusion Technologie“ entwickelt, welche heraus stechende Faktoren unimodaler Informationen automatisch gewichtet, um so die geeignete Wortwahl für eine präzise Situationsbeschreibung zu ermöglichen. Bei Benchmark-Tests mit einem gemein üblichen Testsatz erreichte die Attentional Multimodal Fusion-Technologie unter Verwendung von Audio- und Videoinformationen ein „Consensus-Based Image Description Evaluation“ (CIDEr)** Ergebnis, das 29 Prozentpunkte höher lag als im Falle der ausschließlichen Verwendung visueller Informationen. Die von Mitsubishi Electric gewählte Kombination der „Attentional Multimodal Fusion“ mit der situativen Erfassungstechnologie und der kontextbasierten natürlichen Sprachausgabe realisiert ein leistungsstarkes End-to-End-System für eine äußerst intuitive Interaktion mit Anwendern in unterschiedlichen Situationen.

  1. * Mitsubishi Electric's AI creates the State-of-the- ART in technology Maisart
  2. **CIDEr ist eine Bewertungsmetrik, die die Ähnlichkeit eines generierten Satzes im Vergleich zu einer Reihe von durch Menschen geschriebenen Grundwahrheitssätzen misst, wobei die Bedeutung von Wortsequenzen, die von Menschen relativ häufig verwendet werden, berücksichtigt wird

Bei der Autonavigation, eine der potenziellen Anwendungen, wird die situationsbezogene Interaktion dem Fahrer eine intuitive Streckenführung ermöglichen. Beispielsweise würde das System den Fahrer nicht anweisen, "in 50 m Entfernung rechts abbiegen", sondern stattdessen eine situationsbedingte Streckenführung bieten, z. B. "vor dem Briefkasten rechts abbiegen" oder "dem grauen Auto folgen, das rechts abbiegt". Darüber hinaus wird das System Sprachwarnungen, wie z.B. "ein Fußgänger überquert die Straße", erzeugen, wenn in der Nähe befindliche Objekte den Weg des Autos kreuzen. Um diese Funktionalität zu erreichen, analysiert das System Szenarien, um unterscheidbare, visuelle Orientierungspunkte und dynamische Elemente innerhalb der Szene zu identifizieren. Die erkannten Objekte und Ereignisse werden dann verwendet, um intuitive Sätze zur Streckenführung zu generieren.

Jüngste technologische Fortschritte in den Bereichen der Objekterkennung, der Videobeschreibung, der natürlichen Spracherzeugung sowie von gesprochenen Dialogen unter Verwendung tiefer neuronaler Netze ermöglichen es Maschinen, ihre Umgebung besser zu verstehen und mit Menschen natürlicher und intuitiver zu interagieren. Für die szenenbewusste Interaktions-Technologie werden vielfältige Einsatzmöglichkeiten erwartet. Dazu gehören Mensch-Maschine-Schnittstellen für Infotainment im Fahrzeug, die Interaktion mit Robotern in Gebäude- und Fabrikautomationssystemen, Systeme zur Überwachung der Gesundheit und des Wohlbefindens von Menschen, Überwachungssysteme, die komplexe Szenen für Menschen interpretieren und soziale Distanzierung fördern, Unterstützung für die kontaktlose Bedienung von Anlagen in öffentlichen Bereichen und vieles mehr.

Beispiel für eine szenenbezogene Interaktion mit kontextabhängiger Führung

Beispiel für eine szenenbezogene Interaktion zur Vermeidung von Gefahrensituationen


Hinweis

Wir möchten darauf hinweisen, dass die Pressemitteilungen zum Zeitpunkt ihrer Veröffentlichung korrekt sind. Sie können jedoch ohne vorherige Ankündigung geändert werden.


Anfrage

Ansprechpartner für Medien

Kundenanfragen