Tango

Erster Blogbeitrag

Dies ist dein erster Beitrag. Klicke auf den Link „Bearbeiten“, um diesen zu bearbeiten oder zu löschen, oder beginne einen neuen Beitrag. Wenn du möchtest, kannst du deinen Lesern in diesem Beitrag mitteilen, warum du diesen Blog begonnen hast und was du damit vorhast.

Beitrag veröffentlichen

Fahrerbeobachtung

Systemkomponente


CanControls GmbH entwickelt im Rahmen des Projektes die Fahrerbeobachtung mithilfe geeigneter Innenraumsensorik und stellt damit Merkmale zur Einschätzung des Fahrerzustandes der Fahrermodellierung zur Verfügung. Die Merkmale der Mimik- und Körperanalyse werden fusioniert, um auf Aktivitäten des Fahrers schließen zu können.

Bild: Gesichtsmerkmale und Heatmap der Blickrichtung

Gesichtsmerkmale
Das Gesicht verrät viel über den inneren Zustand eines Menschen. Der Fahrer wird daher mit zwei Kameras beobachtet, um eine Vielzahl von Merkmalen bei einer hohen Verfügbarkeit erfassen zu können. Dabei handelt es sich um äußerliche Merkmale wie die Gesichtsform und -position, Augen- und Mundöffnung sowie Blickrichtung, aber auch um die Zuordnung der Mimik zu Action Units nach dem Facial Action Coding System (FACS).

Körperposenschätzung
Die Analyse der Körperpose erfolgt auf Basis eines Tiefensensors. Dieser liefert eine Tiefenkarte, welche als 3D-Punktwolke interpretiert werden kann und mithilfe von Convolutional Neural Networks ausgewertet wird.

Zuordnung von Aktivitäten
Die Kenntnis darüber, wohin der Fahrer schaut oder wohin er greift, ermöglicht eine Einschätzung seiner gerade ausgeführten Tätigkeit und so eine Zuordnung zu relevanten Anwendungsfällen.

Bild: Körperposenschätzung

Fahrermodell

Systemkomponente


Das Wissen über den aktuellen Fahrerzustand kann zur Absicherung und Verbesserung des Nutzererlebnisses von automatisierten Fahrfunktionen dienen. So ist es für den Fahrer notwendig, bei teilautomatisierter Fahrt (SAE L2) die Straße und die Automatisierungsfunktion zu überwachen. Einschränkungen können durch Ablenkung bei der Beschäftigung mit Nebenaufgaben entstehen. Bei höheren Automatisierungsgraden (ab SAE L3) besteht die Gefahr, dass Fahrer durch monotone Fahrten und aufkommende Müdigkeit schlechter in der Lage sind, die Fahraufgabe nach der automatisierten Fahrt zu übernehmen. Ziel der Fahrermodellierung ist es, anhand verfügbarer fahrerbezogener Messgrößen, z. B. aus der Fahrerbeobachtung mit Innenraumkameras, solche Einschränkungen des Fahrerzustands zu erkennen und so eine bedarfsgerechte Assistenz zu ermöglichen.

Bild: Verarbeitungskette und Integration der Fahrermodellkomponente

Die Entwicklung von Algorithmen zur Fahrerzustandsschätzung erfolgt auf Grundlage der im Rahmen von TANGO erhobenen Versuchsdaten. In der Verarbeitungskette, angefangen von den Basissignalen der Fahrerbeobachtung bis hin zur Klassifikation des Fahrerzustands, finden sich mehrere Verarbeitungsschritte, beispielsweise zur fahrerindividuellen Signalnormalisierung (Bild oben). Zur Fahrerzustandsklassifikation kommen beispielsweise Verfahren auf Basis der prozentualen Verteilung der Blicke auf die Straße (PRC, Percentage Road Center) zum Einsatz (Bild unten).

Bild: Blickverteilung bei Fahrten mit und ohne visueller Nebenaufgabe (Kreis: 15° Road Center)

 

Umfeldmodell

Systemkomponente


Im Allgemeinen setzt sich eine Fahrsituation aus dem Zusammenspiel von Fahrer, Umwelt und Fahrzeug zusammen. Im Umfeldmodell wird unter anderem eine Bewertung der Fahrsituation nach ihrer Kritikalität auf Basis vorhandener Informationen vorgenommen. Das Zusammenspiel der einzelnen unterschiedlichen Kriterien aus Fahrdynamik, Umwelt, Verkehrsumfeld und Fahrzeugzustand ergibt dann die Gesamtkritikalität einer Fahrsituation (siehe Bild).

Die Kritikalität der aktuellen, aber auch der prädizierten Fahrsituation bestimmt die notwendige Fahreraufmerksamkeit. Zusätzlich können auch Aussagen über die Wahrscheinlichkeit einer Systemgrenze für automatisierte Fahrfunktionen gemacht werden und bereits früher die Fahrstrategie an die jeweilige Situation angepasst werden. Die Übergabe der Fahraufgabe an den Fahrer ( Take-Over Request [TOR] ) könnte vermieden werden oder aber eine konservativere Aufmerksamkeitswarnung an den Fahrer bei teilautomatisierter Fahrt (SAE L2) erfolgen.

Bild: Verarbeitungskette und Integration der Fahrermodellkomponente

In der ersten Integrationsstufe der Kritikalität in das Gesamtsystem werden im Umfeldmodell vorhersehbare Ereignisse wie verfügbare Spurinformationen, Verkehrsdichte und Einscherer auf die eigene Fahrspur sowie das Schadenspotenzial bei einem möglichen Unfall betrachtet. Über die Verkehrsdichte lässt sich zum Beispiel eine Aussage treffen, wie stark frequentiert die jeweiligen Fahrspuren sind. Hier liegt die Überlegung zugrunde, dass ein hoher Verkehrsfluss bei entsprechender Geschwindigkeit potentiell eher zu einer kritischen Fahrsituation führen kann. Umgekehrt kann aber auch geringer Verkehr die Monotonie des Fahrens vergrößern.

Eine gewichtete Kritikalitätsbewertung dieser jeweiligen Unterfaktoren wird anschließend vom Umfeldmodell ans Fahrermodell gesendet und dort mit weiteren Informationen aus der Fahrerbeobachtung verwendet, um Empfehlungen zur Fahrstrategie und der Interaktion zum Fahrer zu geben.

A- & A- Assistent

Systemkomponente


Der Aufmerksamkeit- und Aktivitätenassistent (AAA) koordiniert die Signale der einzelnen Komponenten (Fahrermodell, Umfeldmodell, HMI, Eingaben vom Fahrer) und leitet daraus Handlungsempfehlungen ab. Abhängig von den Signalen triggert der AAA Entscheidungen und sendet Botschaften an die anderen Komponenten.

Bild: Aufmerksamkeits- und Aktivitätenassistent

Der AAA regelt auch das Zeitverhalten der Ausführung:

  • Wie oft wird eine Empfehlung wiederholt, wenn der Fahrer nicht oder ablehnend
    reagiert?
  • Wie gestaltet sich eine Eskalationsstrategie?
    Beispiel: Ein Fahrer wird bei teilautomatisierter Fahrt (SAE L2) als abgelenkt erkannt
    Eskalation: Ablenkungswarnung → Empfehlung: Wechsel in höheres Automatisierungslevel (z. B. SAE L3) → Fahrer lehnt ab → Take-Over Request triggern

Insbesondere kommuniziert der AAA mit der Komponente HMI, welche Hinweise,
Warnungen und Empfehlungen an den Fahrer ausgibt und die vom AAA getroffenen Entscheidungen dem Fahrer mitteilt (siehe Systemkomponente HMI).

Nutzerzentriertes HMI

Systemkomponente


Das Gesamtziel des Vorhabens TANGO ist eine Verbesserung des Nutzererlebnisses und der Akzeptanz von automatisierten Fahrfunktionen im Lkw. Ein wichtiger Bestandteil ist dabei die Erarbeitung eines nutzerzentrieren und neuartigen HMI- und Cockpitkonzeptes, welches die automatisierte Fahrfunktion, den Aufmerksamkeits- und Aktivitätsassistenten (AAA) sowie alle fahrzeugspezifischen Funktionen miteinander kombiniert.

Erlebbar wird das holistische HMI über eine Kombination aus visuellen, akustischen und
haptischen Elementen, da diese dem Fahrer am transparentesten den aktuellen Systemstatus und fahrzeugspezifische Informationen vermitteln können (siehe Bild).

Bild: Übersicht der präferierten Hardware-Komponenten inkl. Eingabe- und Wahrnehmungskanälen für das neue Interieurkonzept

 Ein essentieller Bestandteil des HMIs ist der AAA, welcher als eine Art virtueller Beifahrer mit dem Fahrer interagiert. Dieser wird in einem iterativen Prozess begleitend entwickelt und erarbeitet. Dabei stellt sich vor allem die Frage, ob der AAA als abstraktes Icon oder in Form eines Avatars auftreten sollte. Der Fahrer hat zudem die Möglichkeit, die Häufigkeit und Komplexität der Interaktion mit diesem System zu konfigurieren, wobei sich dabei die Art bzw. Modalität der Ausgabe den Wünschen des Nutzers anpasst. Die sicherheitsrelevanten Informationen werden bei allen Einstellungen jedoch immer an den Fahrer durchgestellt.

Hinsichtlich der automatisierten Fahrfunktion ist ein multimodales HMI Konzept für die
transparente Übermittlung von Systemstatus und Zustandsübergängen essentiell. Der Fahrer kann bei Vorliegen geeigneter Bedingungen selbständig die Fahraufgabe über eine Aktivierung bzw. Deaktivierung der automatisierten Systeme abgeben oder aufnehmen. Außerdem gibt es systemgenerierte Events, die ein sofortiges Eingreifen des Fahrers erfordern und durch das HMI ermöglicht werden müssen.

Die gleichzeitige Verfügbarkeit einander funktional sehr ähnlicher automatisierter Fahrfunktionen (SAE L2 und SAE L3) kann zur Verwechslung beim Fahrer (Mode Confusion) führen. Dadurch ist der Systemstatus (System aktiviert vs. deaktiviert) für den Fahrer neben der Übernahmeaufforderung die wichtigste Information.

Eine Anzeige der Verfügbarkeitsdauer der hochautomatisierten Fahrfunktion (SAE L3) ermöglicht dabei ein vorausschauerndes Fahrerverhalten, vor allem nach kurzen automatisierten Fahrten. Zudem wünscht sich der Fahrer Informationen dazu, was das Fahrzeug aktuell sieht, plant und funktionsseitig ausführen kann.

Ein weiteres Nutzerbedürfnis stellt ein nutzerzentriertes Design der Innenkabine dar, welches auf potentiell neue Nebenaufgaben und Anforderungen des zukünftigen Fahrerarbeitsplatzes eingeht. Dabei sollen ein erweitertes Displaykonzept, ein beweglicher Fahrersitz, ein neuartiges Tischkonzept sowie die Interaktion über Sprache und Gestik in das Interieur integriert werden.

Der Kraftfahrer im Fokus

– nutzerzentrierte Entwicklung eines Konzepts für automatisierte Fahrfunktionen
60. Tagung experimentell arbeitender Psychologen (TeaP), Marburg, Deutschland, 2018

Dominique Stimm, Julia Schäfer und Arnd Engeln (Hochschule der Medien)


Monotonie durch stundenlange Kolonnenfahrten auf der Autobahn erhöht die Müdigkeit und die Gefahr von Sekundenschlaf bei Lastkraftfahrern, und stellt damit eine ernstzunehmende Ursache schwerer Verkehrsunfälle dar (e.g., National Transportation Safety Board Safety Recommendation, 1995).

Das BMWI-geförderte Projekt TANGO („Technologie für automatisiertes Fahren nutzergerecht optimiert“) adressiert dieses Problem in Kooperation mit den Projektpartnern Robert Bosch GmbH, MAN Truck & Bus AG, Volkswagen Aktiengesellschaft, Universität Stuttgart, CanControls GmbH und Spiegel Institut.. Zentrales Ziel des Projekts ist die Entwicklung eines Aufmerksamkeits- und Aktivitätenassistenten, der dem Kraftfahrer gezielt an seinen Fahrerzustand und das Automatisierungslevel des Fahrzeugs angepasste Nebentätigkeiten anbietet. So kann die Monotonie der Fahraufgabe durchbrochen und der Fahrer wachgehalten werden. Die Entwicklung folgt dabei den Prinzipien des nutzerzentrierten Produktentwicklungsprozesses (DIN EN ISO 9241).

Zunächst wurden ethnographische Interviews und Zielgruppenbeobachtungen (Spradley, 1979) durchgeführt, indem LKW-Fahrer auf ihrer Fahrt begleitet und im Anschluss zu ihrem Erleben befragt wurden.

Die Erkenntnisse dieser ersten Untersuchungen wurden in Form von Nutzersteckbriefen sowie daraus abgeleiteten Key Learnings und Handlungsräumen für die Optimierung des Nutzererlebens aufgearbeitet. Auf Basis dieser Handlungsräume wurden Ideen generiert, wie ein Aktivitäten- und Aufmerksamkeitsassistent realisiert werden könnte. Aktuell werden erste Konzepte entwickelt, die in iterativen Phasen evaluiert und überarbeitet werden.

Abstracts 60. TeaP 2018


← zurück zu Publikationen


Robert Bosch GmbH

Die Robert Bosch GmbH beteiligt sich mit drei Bereichen (Chassis Systems Control, Car Multimedia, Zentrale Forschung und Vorausentwicklung) am Projekt. Bosch besitzt umfassendes Know-How in der Entwicklung von Fahrerassistenz- und Fahrerinformationssystemen, der Umfelderfassung und Mensch-Maschine-Interaktion.
In TANGO liegt der Fokus auf der Fahrerbeobachtung und -modellierung, der Entwicklung des Aufmerksamkeits- und Aktivitätenmanagers und der HMI-Konzeption. Bosch kann dabei auch auf die Erfahrungen und Erkenntnisse aus anderen Projekten (z.B. UR:BAN, Ko-HAF, InCarIn, CONVERGE, PEGASUS) zurückgreifen. Die Projektkoordinierung und –leitung wird von Bosch übernommen.


Ihre Ansprechperson bei der Robert Bosch GmbH:

Ansprechpartner_BoschMichael Schulz
Robert Bosch GmbH
Chassis Systems Control – Engineering Advanced Development
Robert-Bosch-Allee 1
74232 Abstatt, Baden-Württemberg
Tel.: +49 7062-9114999
E-Mail: Michael.Schulz2@de.bosch.com


← zurück zu Partner


Volkswagen AG

Die Konzernforschung der Volkswagen Aktiengesellschaft arbeitet auf jedem Gebiet der Automobilanwendungen und ist verantwortlich für die Identifizierung, Bewertung und die Initiierung innovativer Technologien und deren Transfer in die Serienentwicklung aller Marken des Volkswagen-Konzerns. Der Fokus liegt dabei auf der Verbesserung des Nutzerlebens, des Komforts und der Verkehrsqualität. Die Volkswagen Aktiengesellschaft wird sich im Projekt TANGO intensiv in allen Projektphasen einbringen. Ein Schwerpunkt wird dabei auf der Erarbeitung und der erlebbaren Umsetzung prototypischer HMI-Konzepte liegen. Hierfür stellt die Volkswagen Konzernforschung ein Versuchsfahrzeug mit automatischer Fahrfunktion zur Verfügung.


Ihre Ansprechperson bei der Konzernforschung der Volkswagen Aktiengesellschaft:

Ansprechpartner_VWDr. Ina Othersen
Volkswagen AG – Konzernforschung
Fahrerarbeitsplatz – HMI für Augmentierung und Fahrfunktion
Brieffach 011/1777
38440 Wolfsburg
Tel.: +49 5361 9 38402
E-Mail: ina.othersen@volkswagen.de


← zurück zu Partner


MAN Truck & Bus AG

Das Forschungszentrum Fahrerarbeitsplatz im Bereich Engineering Research der MAN Truck & Bus AG hat sich zur Aufgabe gesetzt, den Nutzer in allen Phasen des Entwicklungsprozesses einzubeziehen. Dies bedeutet konkret, dass Lkw-Fahrer in die Entwicklung neuer Bedien- und Anzeigesysteme eingebunden werden, z.B. durch Befragungen oder Beobachtung in ihrem Umfeld. Vor allem durch Nutzerstudien an Fahrsimulatoren erhalten die Entwickler wertvolles Feedback der Lkw-Fahrer. Daraus ergibt sich auch die Rolle der MAN Truck & Bus AG im Projekt TANGO: Mithilfe von Fahrsimulator-Studien soll der Aufmerksamkeits- und Aktivitätenmanager auf den Nutzer, also den Lkw-Fahrer, ausgerichtet werden.


Ihre Ansprechperson bei MAN Truck & Bus AG:

Ansprechpartner_MANDr. Britta Michel
MAN Truck & Bus AG
Engineering Central Research Electronic Systems (EZRES)
Dachauer Straße 667
80995 München
Tel.: +49-89-1580-63614
E-Mail: britta.michel@man.eu


← zurück zu Partner


Universität Stuttgart IKTD

Das Institut für Konstruktionstechnik und Technisches Design befasst sich im Forschungs- und Lehrgebiet Technisches Design, unter der Leitung von Prof. Dr.-Ing. Thomas Maier, mit der ganzheitlichen Betrachtung der Mensch-Maschine-Interaktion. Der interdisziplinäre Forschungsansatz funktionale/technische und formale/gestalterische Anforderungen in eine nutzergerechte Produktentwicklung zu vereinen wird in das Projekt TANGO eingebracht. Die Gestaltung eines Aufmerksamkeits- und Aktivitäten Managers steht dabei im Forschungsfokus. Neben der Erforschung von Nebenaufgaben und der Bereitstellung situationsabhängiger Informationsdarbietungen in innovativen HMIs besteht ein weiteres Ziel in der Methodengenerierung zur Gestaltung und Evaluation automatisierter Fahrfunktionen im Straßenverkehr.


Ihre Ansprechperson an der Universität Stuttgart IKTD:

Ansprechpartner_IKTDMarcus Jenke
Institut für Konstruktionstechnik und Technisches Design
Forschungs- und Lehrgebiet Technisches Design
Universität Stuttgart
Pfaffenwaldring 9
70569 Stuttgart
Tel.: +49 711 685 66608
E-Mail: marcus.jenke@iktd.uni-stuttgart.de


← zurück zu Partner