Eine neue Form der Interaktion zwischen Fahrer und Fahrzeug will BMW mit Natural Interaction realisieren. Damit soll erstmals eine echte Multimodalität bei der Bedienung möglich werden. Erste Funktionen von Natural Interaction wird ab 2021 der BMW iNEXT erhalten. Damit soll das Auto, so Christoph Grote, Senior Vice President BMW Group Electronics, "connected, intuitv, predictive und reliable" werden.

Natural Interaction gibt dem Fahrer laut BMW die Möglichkeit, ähnlich wie im zwischenmenschlichen Dialog Sprache, Gesten und Blick gleichzeitig und in Kombination miteinander für die Interaktion mit dem Auto zu nutzen. Der bevorzugte Bedienmodus kann je nach Situation und Kontext intuitiv gewählt werden. Sprachanweisungen, Gesten und die Blickrichtung werden vom Fahrzeug erkannt, kombiniert und der damit ausgedrückte Bedienwunsch umgesetzt. Die freie und multimodale Interaktion wird durch Spracherkennung, eine optimierte Sensorik und eine kontextsensitive Analyse von Gesten ermöglicht. Durch die Erfassung von Hand- und Fingerbewegungen wird neben der Art der Geste erstmals auch deren Richtung in einem auf den gesamten Fahrerarbeitsplatz ausgedehnten Interaktionsraum registriert.

Gesprochene Anweisungen werden mit Hilfe von Natural Language Understanding erfasst und verarbeitet. Ein intelligenter und lernender Algorithmus, der ständig weiterentwickelt wird, kombiniert und interpretiert die Informationen, worauf das Fahrzeug entsprechend reagieren soll.

Durch die Kombination verschiedener Modalitäten lassen sich Fahrzeugfunktionen auf unterschiedliche Weise auslösen. Der Fahrer entscheidet entsprechend seiner Vorlieben, Gewohnheiten oder der jeweiligen Situation, wie er interagieren möchte. Ist der Fahrer gerade im Gespräch, wählt er Gesten und Blick, bleibt der Blick auf der Straße, nutzt er Sprache und Gesten. Auf diese Weise lasse sich im Fahrzeug beispielsweise berührungslos Fenster oder Schiebedach öffnen oder schließen, die Luftausströmer verstellen oder eine Auswahl auf dem Control Display vornehmen.

Durch die erweiterte Gestenerkennung und den hohen Grad der Vernetzung des Fahrzuges beschränkt sich der Interaktionsraum nicht nur auf den Innenraum. Der Insasse habe vielmehr die Möglichkeit auch mit seiner direkten Umgebung - wie zum Beispiel Gebäuden oder Parkplätzen - zu interagieren. Durch einen Fingerzeig und ein Sprachkommando werden Anfragen beantwortet. "Was ist das für ein Gebäude? Wie lange hat das Geschäft noch offen? Wie heißt dieses Restaurant? Darf ich hier parken und wieviel kostet das?"

"Der Kunde soll mit dem intelligenten und vernetzten Fahrzeug auf völlig natürliche Weise kommunizieren". erklärt Grote. Bei BMW sieht man Natural Interaction als einen Schritt in die Zukunft der autonom fahrenden Fahrzeuge, wenn der Innenraum nicht mehr vorrangig auf den Fahrer ausgerichtet ist.