Tango

Erster Blogbeitrag

Dies ist dein erster Beitrag. Klicke auf den Link „Bearbeiten“, um diesen zu bearbeiten oder zu löschen, oder beginne einen neuen Beitrag. Wenn du möchtest, kannst du deinen Lesern in diesem Beitrag mitteilen, warum du diesen Blog begonnen hast und was du damit vorhast.

Beitrag veröffentlichen

Fahrerbeobachtung

Systemkomponente


CanControls GmbH entwickelt im Rahmen des Projektes die Fahrerbeobachtung mithilfe geeigneter Innenraumsensorik und stellt damit Merkmale zur Einschätzung des Fahrerzustandes der Fahrermodellierung zur Verfügung. Die Merkmale der Mimik- und Körperanalyse werden fusioniert, um auf Aktivitäten des Fahrers schließen zu können.

Bild: Gesichtsmerkmale und Heatmap der Blickrichtung

Gesichtsmerkmale
Das Gesicht verrät viel über den inneren Zustand eines Menschen. Der Fahrer wird daher mit zwei Kameras beobachtet, um eine Vielzahl von Merkmalen bei einer hohen Verfügbarkeit erfassen zu können. Dabei handelt es sich um äußerliche Merkmale wie die Gesichtsform und -position, Augen- und Mundöffnung sowie Blickrichtung, aber auch um die Zuordnung der Mimik zu Action Units nach dem Facial Action Coding System (FACS).

Körperposenschätzung
Die Analyse der Körperpose erfolgt auf Basis eines Tiefensensors. Dieser liefert eine Tiefenkarte, welche als 3D-Punktwolke interpretiert werden kann und mithilfe von Convolutional Neural Networks ausgewertet wird.

Zuordnung von Aktivitäten
Die Kenntnis darüber, wohin der Fahrer schaut oder wohin er greift, ermöglicht eine Einschätzung seiner gerade ausgeführten Tätigkeit und so eine Zuordnung zu relevanten Anwendungsfällen.

Bild: Körperposenschätzung

Fahrermodell

Systemkomponente


Das Wissen über den aktuellen Fahrerzustand kann zur Absicherung und Verbesserung des Nutzererlebnisses von automatisierten Fahrfunktionen dienen. So ist es für den Fahrer notwendig, bei teilautomatisierter Fahrt (SAE L2) die Straße und die Automatisierungsfunktion zu überwachen. Einschränkungen können durch Ablenkung bei der Beschäftigung mit Nebenaufgaben entstehen. Bei höheren Automatisierungsgraden (ab SAE L3) besteht die Gefahr, dass Fahrer durch monotone Fahrten und aufkommende Müdigkeit schlechter in der Lage sind, die Fahraufgabe nach der automatisierten Fahrt zu übernehmen. Ziel der Fahrermodellierung ist es, anhand verfügbarer fahrerbezogener Messgrößen, z. B. aus der Fahrerbeobachtung mit Innenraumkameras, solche Einschränkungen des Fahrerzustands zu erkennen und so eine bedarfsgerechte Assistenz zu ermöglichen.

Bild: Verarbeitungskette und Integration der Fahrermodellkomponente

Die Entwicklung von Algorithmen zur Fahrerzustandsschätzung erfolgt auf Grundlage der im Rahmen von TANGO erhobenen Versuchsdaten. In der Verarbeitungskette, angefangen von den Basissignalen der Fahrerbeobachtung bis hin zur Klassifikation des Fahrerzustands, finden sich mehrere Verarbeitungsschritte, beispielsweise zur fahrerindividuellen Signalnormalisierung (Bild oben). Zur Fahrerzustandsklassifikation kommen beispielsweise Verfahren auf Basis der prozentualen Verteilung der Blicke auf die Straße (PRC, Percentage Road Center) zum Einsatz (Bild unten).

Bild: Blickverteilung bei Fahrten mit und ohne visueller Nebenaufgabe (Kreis: 15° Road Center)

 

Umfeldmodell

Systemkomponente


Im Allgemeinen setzt sich eine Fahrsituation aus dem Zusammenspiel von Fahrer, Umwelt und Fahrzeug zusammen. Im Umfeldmodell wird unter anderem eine Bewertung der Fahrsituation nach ihrer Kritikalität auf Basis vorhandener Informationen vorgenommen. Das Zusammenspiel der einzelnen unterschiedlichen Kriterien aus Fahrdynamik, Umwelt, Verkehrsumfeld und Fahrzeugzustand ergibt dann die Gesamtkritikalität einer Fahrsituation (siehe Bild).

Die Kritikalität der aktuellen, aber auch der prädizierten Fahrsituation bestimmt die notwendige Fahreraufmerksamkeit. Zusätzlich können auch Aussagen über die Wahrscheinlichkeit einer Systemgrenze für automatisierte Fahrfunktionen gemacht werden und bereits früher die Fahrstrategie an die jeweilige Situation angepasst werden. Die Übergabe der Fahraufgabe an den Fahrer ( Take-Over Request [TOR] ) könnte vermieden werden oder aber eine konservativere Aufmerksamkeitswarnung an den Fahrer bei teilautomatisierter Fahrt (SAE L2) erfolgen.

Bild: Verarbeitungskette und Integration der Fahrermodellkomponente

In der ersten Integrationsstufe der Kritikalität in das Gesamtsystem werden im Umfeldmodell vorhersehbare Ereignisse wie verfügbare Spurinformationen, Verkehrsdichte und Einscherer auf die eigene Fahrspur sowie das Schadenspotenzial bei einem möglichen Unfall betrachtet. Über die Verkehrsdichte lässt sich zum Beispiel eine Aussage treffen, wie stark frequentiert die jeweiligen Fahrspuren sind. Hier liegt die Überlegung zugrunde, dass ein hoher Verkehrsfluss bei entsprechender Geschwindigkeit potentiell eher zu einer kritischen Fahrsituation führen kann. Umgekehrt kann aber auch geringer Verkehr die Monotonie des Fahrens vergrößern.

Eine gewichtete Kritikalitätsbewertung dieser jeweiligen Unterfaktoren wird anschließend vom Umfeldmodell ans Fahrermodell gesendet und dort mit weiteren Informationen aus der Fahrerbeobachtung verwendet, um Empfehlungen zur Fahrstrategie und der Interaktion zum Fahrer zu geben.

A- & A- Assistent

Systemkomponente


Der Aufmerksamkeit- und Aktivitätenassistent (AAA) koordiniert die Signale der einzelnen Komponenten (Fahrermodell, Umfeldmodell, HMI, Eingaben vom Fahrer) und leitet daraus Handlungsempfehlungen ab. Abhängig von den Signalen triggert der AAA Entscheidungen und sendet Botschaften an die anderen Komponenten.

Bild: Aufmerksamkeits- und Aktivitätenassistent

Der AAA regelt auch das Zeitverhalten der Ausführung:

  • Wie oft wird eine Empfehlung wiederholt, wenn der Fahrer nicht oder ablehnend
    reagiert?
  • Wie gestaltet sich eine Eskalationsstrategie?
    Beispiel: Ein Fahrer wird bei teilautomatisierter Fahrt (SAE L2) als abgelenkt erkannt
    Eskalation: Ablenkungswarnung → Empfehlung: Wechsel in höheres Automatisierungslevel (z. B. SAE L3) → Fahrer lehnt ab → Take-Over Request triggern

Insbesondere kommuniziert der AAA mit der Komponente HMI, welche Hinweise,
Warnungen und Empfehlungen an den Fahrer ausgibt und die vom AAA getroffenen Entscheidungen dem Fahrer mitteilt (siehe Systemkomponente HMI).

Nutzerzentriertes HMI

Systemkomponente


Das Gesamtziel des Vorhabens TANGO ist eine Verbesserung des Nutzererlebnisses und der Akzeptanz von automatisierten Fahrfunktionen im Lkw. Ein wichtiger Bestandteil ist dabei die Erarbeitung eines nutzerzentrieren und neuartigen HMI- und Cockpitkonzeptes, welches die automatisierte Fahrfunktion, den Aufmerksamkeits- und Aktivitätsassistenten (AAA) sowie alle fahrzeugspezifischen Funktionen miteinander kombiniert.

Erlebbar wird das holistische HMI über eine Kombination aus visuellen, akustischen und
haptischen Elementen, da diese dem Fahrer am transparentesten den aktuellen Systemstatus und fahrzeugspezifische Informationen vermitteln können (siehe Bild).

Bild: Übersicht der präferierten Hardware-Komponenten inkl. Eingabe- und Wahrnehmungskanälen für das neue Interieurkonzept

 Ein essentieller Bestandteil des HMIs ist der AAA, welcher als eine Art virtueller Beifahrer mit dem Fahrer interagiert. Dieser wird in einem iterativen Prozess begleitend entwickelt und erarbeitet. Dabei stellt sich vor allem die Frage, ob der AAA als abstraktes Icon oder in Form eines Avatars auftreten sollte. Der Fahrer hat zudem die Möglichkeit, die Häufigkeit und Komplexität der Interaktion mit diesem System zu konfigurieren, wobei sich dabei die Art bzw. Modalität der Ausgabe den Wünschen des Nutzers anpasst. Die sicherheitsrelevanten Informationen werden bei allen Einstellungen jedoch immer an den Fahrer durchgestellt.

Hinsichtlich der automatisierten Fahrfunktion ist ein multimodales HMI Konzept für die
transparente Übermittlung von Systemstatus und Zustandsübergängen essentiell. Der Fahrer kann bei Vorliegen geeigneter Bedingungen selbständig die Fahraufgabe über eine Aktivierung bzw. Deaktivierung der automatisierten Systeme abgeben oder aufnehmen. Außerdem gibt es systemgenerierte Events, die ein sofortiges Eingreifen des Fahrers erfordern und durch das HMI ermöglicht werden müssen.

Die gleichzeitige Verfügbarkeit einander funktional sehr ähnlicher automatisierter Fahrfunktionen (SAE L2 und SAE L3) kann zur Verwechslung beim Fahrer (Mode Confusion) führen. Dadurch ist der Systemstatus (System aktiviert vs. deaktiviert) für den Fahrer neben der Übernahmeaufforderung die wichtigste Information.

Eine Anzeige der Verfügbarkeitsdauer der hochautomatisierten Fahrfunktion (SAE L3) ermöglicht dabei ein vorausschauerndes Fahrerverhalten, vor allem nach kurzen automatisierten Fahrten. Zudem wünscht sich der Fahrer Informationen dazu, was das Fahrzeug aktuell sieht, plant und funktionsseitig ausführen kann.

Ein weiteres Nutzerbedürfnis stellt ein nutzerzentriertes Design der Innenkabine dar, welches auf potentiell neue Nebenaufgaben und Anforderungen des zukünftigen Fahrerarbeitsplatzes eingeht. Dabei sollen ein erweitertes Displaykonzept, ein beweglicher Fahrersitz, ein neuartiges Tischkonzept sowie die Interaktion über Sprache und Gestik in das Interieur integriert werden.

Studie: Fahrerbeanspruchung

Fahrerbeanspruchung bei unterschiedlichen Nebenaufgaben & Automatisierungsleveln

Mit steigendem Automatisierungslevel verlagert sich das Aufgabenfeld des Fahrers von der Ausführung der Fahraufgabe hin zu einer Rolle des Überwachers oder sogar zum passiven Insassen. Dies geht mit einer Reduktion der mentalen Beanspruchung des Fahrers einher (de Winter, Happee, Martnes & Stanton, 2014). Auf der anderen Seite ist mit einer Erhöhung der Beanspruchung zu rechnen, sobald der Fahrer die dadurch freigewordenen Ressourcen dafür nutzt, um sich Nebenaufgaben zuzuwenden. Gerade in der teil- (SAE L2) und hochautomatisierten Fahrt (SAE L3) muss jedoch gewährleistet werden, dass der Fahrer jederzeit in der Lage ist, die Fahraufgabe sofort bzw. kurzfristig vom System zu übernehmen. Er darf demnach weder über- noch unterbeansprucht sein. Daher ist es von besonderer Wichtigkeit zu erfassen, wie die Beanspruchung des Fahrers durch die automatisierte Fahrt im Allgemeinen als auch durch Nebenaufgaben während der automatisierten Fahrt beeinflusst wird.

Dieser Fragestellung widmete sich die vorliegende Studie mit 32 Berufskraftfahrern. Die Fahrer absolvierten hierzu eine teil- (SAE L2) und eine hochautomatisierte Fahrt (SAE L3) in einem statischen Fahrsimulator der MAN Truck & Bus AG. In verschiedenen Abschnitten beider Fahrten führten die Probanden entweder keine Nebenaufgabe aus oder bearbeiteten eine von zwei unterschiedlichen Formen eines Quiz. Bei der ersten Form handelte es sich um eine auditive Nebenaufgabe (vergleichbar mit einem Telefonanruf), bei der zweiten um eine visuell-motorische Nebenaufgabe (vergleichbar mit der Erledigung von Office-Arbeiten auf Notebook oder Tablet). Währenddessen erfolgte stetig die Messung der mentalen Beanspruchung sowohl objektiv mittels psychophysiologischer Paramater (EKG, HRV, EDA) und Reaktionszeiten (PDT) als auch subjektiv mittels Fragebogen (Driving Activity Load Index – DALI).

Die Ergebnisse der vorliegenden Studie weisen darauf hin, dass die Bearbeitung einer Nebenaufgabe während der automatisierten Fahrt – zumindest subjektiv – eine
erhöhte Beanspruchung mit sich bringt im Vergleich zur Situation ohne Nebenaufgabe. Auditive und visuell-motorische Aufgaben wirken sich dabei jedoch unterschiedlich auf empfundenen Stress und Reaktionsfähigkeit aus.

Bild: Versuchsaufbau (visuell-motorische Nebenaufgabe, PDT)

Studie: Nebenaufgaben

Der Effekt von aktivierenden Nebenaufgaben auf den müden Fahrer (SAE L3)

In der hochautomatisierten Fahrt (SAE L3) muss der Fahrer nicht mehr selbst fahren und ist zudem nicht einmal mehr in der Pflicht, die Überwachung des Systems dauerhaft zu übernehmen. Dies geht oftmals mit einer mangelnden Stimulation des Fahrers einher, was wiederum die Chance erhöht, dass der Fahrer ermüdet und nicht mehr übernahmebereit ist. Gerade in der hochautomatisierten Fahrt (SAE L3) ist dies jedoch problematisch, da der Fahrer in bestimmten Situationen schnell wieder in der Lage sein muss das Fahrzeug zu steuern. Studienergebnisse zeigen, dass die Ausführung von Nebenaufgaben einer Ermüdung in der automatisierten Fahrt entgegenwirken kann (z. B. Verwey & Zaidel, 1999). Bisher wurde dies aber hauptsächlich als präventive Maßnahme untersucht und nicht festgestellt, ob die Ausführung von Nebenaufgaben einen bereits ermüdeten Fahrer wieder aktivieren und somit fahrtüchtig machen kann.

Daher untersuchte die vorliegende Studie diese Fragestellung am statischen Fahrsimulator der MAN Truck & Bus AG an einer Stichprobe von 29 hauptberuflichen Lkw-Fahrern. Die Probanden absolvierten drei Fahrten mit einem hochautomatisierten System (SAE L3). In den ersten 30 Minuten jeder Fahrt – der sogenannten Ermüdungsfahrt – führten die Probanden keine Nebenaufgabe aus. Darauffolgend beschäftigten sich die Fahrer für 7 Minuten entweder mit einem Chat, einem Bewegungsspiel oder mit keiner Nebenaufgabe. Im Anschluss an eine 5-minütige Messphase wurde dann durch das hochautomatisierte System (SAE L3) eine Übernahmeaufforderung (TOR) ausgegeben und die Probanden mussten von der Autobahn abfahren, um eine anspruchsvolle manuelle Fahrt (inkl. enger Kurven, Windböen) auszuführen. Während der gesamten Ermüdungsfahrt sowie in der Messphase wurde die Müdigkeit mittels Selbsteinschätzung (Karolinska Sleepiness Scale – KSS) und objektiver Bewertung (Oberserver Rating of Drowsiness – ORD) erfasst. Zudem erfolgte die Messung von Reaktionszeiten während des TOR und von Fahrdaten während der manuellen Fahrt.

Die Ergebnisse der Studie zeigen, dass die gewählten Nebenaufgaben eine aktivierende
Wirkung auf die Fahrer haben. Diese zeigt sich allerdings nur in der Müdigkeitseinschätzung (subjektiv/objektiv), aber nicht in den Fahrdaten der manuellen Fahrt.

Bild: Versuchsaufbau: a) Chat – b) Bewegungsspiel

Studie: Fahrerbeanspruchung

Fahrerbeanspruchung bei unterschieldichen Nebenaufgaben (SAE L2)

Der Fahrer muss in der teilautomatisierten Fahrt (SAE L2) das System überwachen und in der Lage sein, die Fahrzeugführung unmittelbar zu übernehmen. Aus diesem Grund ist es wichtig, den Fahrer in einem optimalen Beanspruchungszustand zwischen Unter- und Überforderung zu halten, damit er die erforderliche Überwachungsleistung bringen kann (De Waard, 1996). Eine Herausforderung ist die Frage, wie das TANGO-System (der AAA) während der Fahrt bestimmen kann, ob der Fahrer, trotz Nebenaufgabe, in der Lage ist, bei einem Systemfehler zu reagieren.

Im Rahmen einer Fahrsimulatorstudie durchliefen 34 Probanden acht Versuchsbedingungen: Zwei Baselinefahrten (manuelle und teilautomatisierte Fahrt (SAE L2) ohne Nebenaufgabe) und sechs Konditionen in einer einer teilautomatisierten Fahrt (SAE L2) mit Nebenaufgaben. Dabei handelte es sich um verschiedene Ausprägungen einer auditiven Aufgabe in Form des n-back- Tasks (1- und 2-back) sowie des Surrogate Reference Tasks (ISO14198:2012, 2012). Des Weiteren wurde eine Nebentätigkeit in Form von aktivierenden Bewegungs- und Dehnübungseinheiten sowie eine Bedingung, in der ein Video gesehen wurde, integriert. Die subjektive Beanspruchung wurde über Fragebögen, die objektive Beanspruchung mithilfe einer Schildererkennungsaufgabe erhoben. Des Weiteren wurden Blick- und Videodaten der Probanden aufgenommen. Die Ergebnisse der Studie zeigen, dass nicht der Beanspruchungsgrad einer Nebenaufgabe entscheidend ist, sondern die Wahrnehmungsmodalität. Visuelle Nebenaufgaben eignen sich nach dieser Studie nicht für eine Nebentätigkeit, wohingegen eine kognitiv beanspruchende, auditive Nebenaufgabe kein Problem darstellt.

Bild: Optimales Aktivitätsniveau (grün) & Prüfstand an der Uni Stuttgart

Studie: Fahrerübernahme

Untersuchung der Fahrerübernahme aus einer Schlafphase (SAE L4)

Das Thema Schlafen und Müdigkeit bei Fahrern spielt bei der näheren Betrachtung des automatisierten Fahrens eine große Rolle und stellt sogar ein Nutzerbedürfnis von Lkw- Fahrern dar. Innerhalb von einer teil- (SAE L2) oder hochautomatisierten Fahrt (SAE L3) ist dies jedoch strikt untersagt. Um die wirklichen Auswirkungen eines eingeschlafenen Fahrers auf die Übernahmequalität sowie die Fahrleistung zu identifizieren, wurde eine Fahrsimulatorstudie mit 25 Probanden am Würzburger Institut für Verkehrswissenschaften GmbH (WIVW) durchgeführt. Dazu wurden eine 35-minütige Wachfahrt sowie eine circa 120-minütige Müdigkeitsfahrt nach Schlafdeprivation mit einem hochautomatisierten System (entspricht somit eher SAE L4) erlebt, bei dem die Instruktion den Fahrern nahegelegt, die Fahrt zum Schlafen zu nutzen. Die Wach- und Schlafphasen wurden dabei über ein EEG mit Online-Bewertung durch einen Experten erfasst. Abhängig vom Schlafverhalten sowie der erreichten Schlafstadien wurde eine Übernahmesituation getriggert, auf die der Fahrer innerhalb von 60 Sekunden reagieren sollte.

Die Ergebnisse der vorliegenden Studie weisen darauf hin, dass ein eingeschlafener Fahrer eine schlechtere Übernahmequalität (objektive und subjektive Messkriterien, wie z. B. Absicherungsblicke, Spurhaltung, Geschwindigkeit und Fahrfehler) zeigt als ein wacher Fahrer. In Summe unterschieden sich die mittleren Reaktionszeiten zwischen den beiden Fahrerzuständen jedoch kaum voneinander. Das TANGO-HMI wurde in der Studie zudem als genau richtig in Bezug auf den Zeitpunkt und die Intensität bewertet.

Bild: Versuchsaufbau: Zeitablauf der Müdigkeitsfahr

Studie: Häufige Transitionen

Mode Confusion und Situation Awareness bei häufigen Transitionen

Das für die jeweiligen Automatisierungslevel konzeptionierte Interface ermöglicht zum einen die Beschäftigung mit Nebenaufgaben wie zum Beispiel die Tablet-Nutzung, muss aber zum anderen dem Fahrer zu jedem Zeitpunkt eindeutig darstellen, in welchem Systemzustand sich das Fahrzeug befindet. Eine eindeutige Darbietung stellt nicht nur den momentanen Systemstatus dar, sondern informiert auch über zukünftige Status und
spricht darüber hinaus auch Empfehlungen bzgl. geeigneter Automationsgrade aus.

Die zentrale Forschungsfrage dieser Simulatorstudie ist daher das Modusbewusstsein des Fahrers sowie das Fahrerlebnis zu überprüfen und mögliche Modusverwirrungen zu identifizieren. Somit stellt diese Studie nicht nur einen wichtigen Baustein für die Handhabung der in TANGO relevanten Automatisierungslevel dar, sondern dient auch der Evaluation des HMI-Prototyps für das TANGO Cockpitkonzept. Dazu fahren die Fahrer Strecken in häufig wechselnden Automatisierungsleveln (SAE L0, SAE L2 und SAE L3) und durchleben systematisierte Transitionen sowie eine Übergabe, in der die Transition durch eine kritische Situation (in SAE L2) ausgelöst wird (Stauende), die vom Fahrer selbst rkannt werden muss. Das Interface für die Automatisierungslevel lässt den Fahrer multimodal (visuell: Kombiinstrument, LED-Leiste in Scheibenwurzel, akustisch: Sprachansagen und Töne, taktil: vibrotaktile Sitzmatrix) in den jeweiligen Automatisierungslevel eintauchen.

Um das Fahrerverhalten zwischen und während der Transition erfassen zu können, werden neben der Fahrerbeobachtung (Blickdaten und Körperposen) auch Nebenaufgaben wie der PDT (Schildererkennungsaufgabe) und die automationsgradabhängige Tablet-Nutzung (Frage-Quiz) durchgeführt. Die subjektive Einschätzung der Klarheit des Automatisierungslevels, des Modusbewusstseins und der Beanspruchung bei den Transitionen wird mittels Befragung während und nach der Fahrt erhoben und mit den objektiven Daten in Zusammenhang gebracht. Die Ergebnisse werden in das umfassende HMI des TANGO Cockpitkonzepts integriert.

Bild: Versuchsaufbau: a) Nebenaufgabe in SAE L2 – b) Nebenaufgabe in SAE L3