Wie schnell es zu einer ersten automatisierten Testausführung mit der TraceTronic Automotive DevOps Platform kommt, ist von den kundenspezifischen Voraussetzungen für einen automatisierten Testprozess abhängig. Nicht selten muss erstmal Ordnung in vorhandene Daten- und Teststrukturen gebracht werden.

Welche Tools sind schon vorhanden? Wo werden die Anforderungen und Testspezifikationen verwaltet? Gibt es bereits ein Ticketsystem? Welches System wird für das Reporting genutzt? Wo und wie werden die Reports gesammelt und ausgewertet? Wie läuft der Arbeitsprozess im Allgemeinen ab? Mit einem solchen oder so ähnlichen Fragenkatalog werden die wesentlichen Rahmenbedingungen schon im Vorfeld abgesteckt. Wie die Testsuite genau aufgebaut ist, weiß das Testteam – sein Wissen ist an dieser Stelle unverzichtbar. Denn zunächst ist das Ziel, den aktuell vorliegenden Testprozess abzubilden und die verfügbaren Daten anhand von Schnittstellen effizient in die Automotive DevOps Platform zu integrieren.

Informationen über Testsuiten und Testmanagementsysteme werden meist direkt über API-Zugriffe zu den individuellen Tools abgefragt. Aber auch skriptbasierte Lösungen sind hierfür möglich. Unsere TraceTronic-Experten können Sie bei der Anpassung auf Ihren Workflow unterstützen. Steht der Inhalt der Testsuite fest, kann automatisch die Coverage – die Testabdeckung – erstellt werden. Damit hat das Testteam zu jeder Zeit Einblick in den aktuellen Status der Testaktivitäten.

Wird die Testsuite für eine neue Anforderung konzipiert, werden die relevanten Tests und die zugehörige Menge aller möglichen Parameterwerte (Parameterräume) festgelegt. Hier ist nicht der konkrete Parameterwert entscheidend, es geht eher um die abstrakte Definition der wesentlichen Größen.

Es wird geplant, was mit welchen Testfällen in physischen (HiL) oder virtuellen Umgebungen (MiL, SiL) getestet werden soll. Dem gesamten Team steht dabei jederzeit eine aktuelle Übersicht der Testumfänge sowie der Stand des Testprozesses nachvollziehbar zur Verfügung.

Ergibt die Release-Übersicht, dass nicht alle Ergebnisse zielführend waren, wird nachgeschärft. Testfälle werden angepasst, geändert oder erweitert und im Anschluss erneut zur Ausführung gebracht. So oft wie eben nötig.

Mit jeder neuen Anforderung seitens der Fahrzeughersteller werden Software-Funktionen für Steuergeräte entwickelt, die anhand von Testsuiten abgesichert werden müssen. Der Umfang dieser Testsuiten ist dabei variabel und abhängig von der Komplexität der Fahrzeugfunktion. Mindestens die definierten Vorgaben gesetzlicher Standardnormen zu den neu entwickelten Fahrzeugfunktionen müssen dabei durchgetestet werden. Das kann in Form vieler realer und virtueller Fahrkilometer erfolgen, aber auch anhand verschiedener Szenarien, in denen die neuen Fahrfunktionen kritisch geprüft und eingehend bewertet werden.

Das Testteam entwirft für die neuen Software-Funktionen abstrakte Testfälle und Test-Projekte in ECU-TEST plattformübergreifend, also für physische Testumgebungen (HiL) ebenso wie für virtuelle (MiL, SiL). Mit der Abstraktion ist nicht nur die Wiederverwendbarkeit der Testfälle gegeben, die Tests können auch anforderungsbasiert parametriert werden. Alle erstellten Testfälle inkl. aller benötigten Daten werden in einem Versionsverwaltungssystem (Git, SVN) verwaltet. Auf deren Basis erfolgt dann die Zusammenstellung der Testsuiten.

Das Testautomatisierungs-Tool, mit denen die Testfälle und Testsuiten entwickelt werden, muss dabei nicht unbedingt ECU-TEST sein – es kann auch jedes andere Automotive-Tool, wie z.B. MATLAB oder vTestStudio angebunden werden. Diese Flexibilität zeichnet unsere Automotive DevOps Platform aus und spiegelt wider, wie wir bei TraceTronic arbeiten – wir setzen den Kundennutzen immer an erste Stelle.

Während der Durchführung eines Testfalls werden Messdaten – Traces – aufgezeichnet. Diese bis ins Detail und hinsichtlich unterschiedlicher Kriterien zu untersuchen, ist Aufgabe der Trace-Analyse. Sie beginnt mit den Anforderungen, die an einen Signalverlauf gestellt werden und endet mit der vollautomatischen Erstellung eines Testreports. Ziel ist es, mehrere Traces unterschiedlicher Aufnahmequellen entlang einer gemeinsamen, synchronisierten Zeitachse zu analysieren.

Die Entwicklung von Trace-Analysen ähnelt der Testfall-Entwicklung – sowohl in der Logik als auch in der Abfolge. Messpunkt für Messpunkt werden die aufgezeichneten Signale verschiedener Werkzeuge unabhängig vom Messraster analysiert. Aussagekräftige Diagramme helfen dabei, schnell einen Überblick zu erlangen, wo Abweichungen in den Signalverläufen zu den gegebenen Anforderungen auftreten.

Eine Trace-Analyse ist generisch, also universell einsetzbar und damit leicht wiederzuverwenden. Erst wenn sie für einen bestimmten Testfall durchgeführt werden soll, werden auch die einzulesenden Signale spezifiziert.

Genaugenommen können aber nicht nur Signalverläufe ausgewertet werden. Auch die Bild-, Audio- und Videoerkennung sind mögliche Anwendungsfälle für die Analyse. Denn TRACE-CHECK, das Tool zur Trace-Analyse, liest und analysiert Messdaten jedes gängigen Automotive-Formats (CSV, MDF, DAT, MAT, STI/STZ, ASC, WAV, AVI, u. v. m.).

Egal mit welcher Testumgebung (MiL, SiL, HiL oder Fahrzeug) Traces erzeugt werden, mit generischen Trace-Analysen können Auffälligkeiten gefunden und dargestellt werden.

Die klassische Testfallausführung besteht aus: stimulieren, aufzeichnen, Signale bewerten. Testfall für Testfall. Um das nicht einzeln vornehmen zu müssen, werden die Testfälle in Testsuiten (sogenannte ECU-TEST-Projekte) gebündelt und gemeinsam ausgeführt. Für das Optimum an Automatisierung reicht das allerdings noch nicht aus. Nacheinander Projekte in einer Testumgebung anzustoßen, ist zwar schon ein großer Fortschritt, macht das Testen aber noch nicht hocheffizient. Besser ist es, alle verfügbaren Ressourcen für die auszuführenden Projekte zu nutzen, um keine Zeit zu verlieren. Läuft dann auch noch die Verteilung der Testfälle und Projekte auf den freien Ressourcen automatisiert, trägt das zu einer weiteren Zeitersparnis bei. Innerhalb der Automotive DevOps Platform übernimmt diesen Part TEST-GUIDE – unterstützt durch Playbooks und den ResourceAdapter.

Playbooks können in ECU-TEST und TEST-GUIDE erstellt werden und sorgen für ein besonders agiles Handling, wenn Testaufträge parallel und auf mehreren physischen oder virtuellen Prüfständen verteilt ausgeführt werden sollen. Sie beschreiben, was für die Ausführung des Testauftrages nötig ist – wie den Workspace, die Testfälle, Parametrierungen, Konfigurationen und das CleanUp nach der Ausführung.

Der ResourceAdapter wird auf den Testumgebungen konfiguriert und organisiert die Kommunikation mit TEST-GUIDE. Automatisiert meldet er alle wichtigen Informationen zur verfügbaren Infrastruktur an TEST-GUIDE und übernimmt darüber hinaus notwendige Vorbereitungen für die Testausführung mit ECU-TEST auf dem jeweiligen Prüfstand.

Wo die Testausführung stattfindet, kann individuell entschieden werden. Ob auf HiL-Prüfplätzen, in der Cloud (MiL, SiL) oder in containerisierten Umgebungen - alles ist möglich.

Test und Analyse gehören zusammen wie Anfahren und Abbremsen. Allerdings muss beides nicht zwingend unmittelbar nacheinander durchgeführt werden. So kann auch die Analyse der Traces nachgelagert erfolgen - und zwar auf jedem beliebigen PC. Begehrte Prüfstände stehen dadurch schneller wieder für Tests zur Verfügung und auch der Testdurchsatz erhöht sich signifikant.

Beim Testdurchlauf entstandene Aufnahmen und definierte Trace-Analysen werden automatisch als Analyseauftrag an TEST-GUIDE übergeben. Das Tool organisiert dann verfügbare Ressourcen für die Trace-Analyse wieder mithilfe des ResourceAdapters selbstständig.

Erfüllt das Testobjekt die Testspezifikation? Funktioniert die Messeinrichtung korrekt? Wurde der richtige Messbereich gewählt? Sämtliche Details der Trace-Analyse und der Stimulation werden übersichtlich in einem Testbericht für jeden einzelnen Analyseschritt dargestellt und automatisch in TEST-GUIDE hinterlegt.

Je weiter die Automatisierung von Testdurchführungen voranschreitet, umso höher ist auch der Testdurchsatz. Unzählig viele Testergebnisse müssen folglich gesichtet und bewertet werden. Ohne Tool-Unterstützung ist das nicht mehr zu bewerkstelligen. Neben vielfältigen Filtermöglichkeiten für einen detaillierten Blick auf die entstandenen Ergebnisse, verfügt TEST-GUIDE über einen integrierten Korrekturvorgang – dem Review. Dieses hilft dabei, Fehler und Inkonsistenzen während des Tests von Fahrzeug-Software zu erkennen und deutlich sichtbar darzustellen.

Werden während eines Testdurchlaufs Fehler aufgedeckt, kann per Knopfdruck ein Review dazu angelegt werden. Entscheidend ist hierbei die detaillierte Dokumentation des aufgetretenen Fehlers. Nur so kann dieser leicht nachvollzogen und zügig behoben werden.

Beste Voraussetzungen zur schnellen Fehlerbehebung bestehen mit der Anbindung an Defect-Management-Systeme, wie Jira, Redmine, HP ALM.net oder Octane. So können die Fehler gleich als Ticket an die Entwicklung übergeben und rasch in den Entwicklungsprozess der Fahrzeug-Software eingeplant werden - ohne sich im System selbst anmelden zu müssen. Per E-Mail-Benachrichtigung bleiben zudem alle Beteiligten informiert und haben auch den Status der Bearbeitung stets im Blick.

Die durchgeführten Reviews eines jeden Testfalls können in die individuellen Testabschlussberichte einbezogen werden und informieren über bestandene, fehlgeschlagene und fehlerhafte Testfälle.

Sind die Testfälle für gestellte Anforderungen an eine neue Fahrfunktion ausgeführt und analysiert, gibt die Release-Übersicht in TEST-GUIDE Aufschluss über den gesamten Testprozess. Kombiniert mit der Coverage bietet das Release als Zusammenfassung der Testergebnisse die ideale Entscheidungsgrundlage für die Freigabe und Auslieferung einer neuen Software-Version und einen guten Überblick über die anfangs entworfenen Testumfänge.

Noch offene Punkte lassen sich an genau dieser Stelle abstecken. Etwa, ob die Testtiefe ausreichend war, die Testfälle variantenreich genug und die erzielten Ergebnisse aussagekräftig. Oder auch, wie hoch letztendlich die Qualität des aktuellen Software-Standes ist.

Als Unterstützung für diese Beurteilung bringt ein integrierter Abschlussbericht (Excel, PDF) die ermittelten Testergebnisse und Infrastrukturdaten gezielt auf den Punkt - umfassend, übersichtlich und vor allem transparent für alle Beteiligten.

Darüber hinaus lassen sich sämtliche Testergebnisse auch in kundeneigene Testmanagement-Systeme (z.B. HP-ALM, Octane, Jama, Polarion) zurückführen, denn TEST-GUIDE ist flexibel in verschiedene Automotive Tool-Ketten integrierbar.

Die erlangten Erkenntnisse aus dem Release und der Coverage werden für nächste Iterationen in die Planungsphase übernommen. Um nachträgliche Änderungen auszuschließen, können abgeschlossene Releases gesperrt werden.

Richtig intelligent sind nachhaltige Continuous-Integration-Lösungen erst, wenn durch ein konsistentes Monitoring jeder Schritt des Testprozesses nachvollziehbar ist. Nur so können Planung, Ausführung und Analyse systematisch ineinandergreifen und völlig automatisiert ablaufen. Immer wichtiger wird diese Funktion mit Blick auf die zunehmende Digitalisierung im Fahrzeug und die dadurch steigende Anzahl an Testausführungen und Testressourcen.

Gerade bei vielen Testausführungen ist es wichtig, alles unter Kontrolle zu haben. Welche Prüfstände bzw. Testumgebungen sind angebunden? In welchem Zustand ist der Prüfstand? Welcher Testfall wird gerade an welchem Prüfstand ausgeführt? Wie hoch ist die Testfallabdeckung? Und welche Testausführungen sind „failed“? Innerhalb der Automotive DevOps Platform übernimmt dieses umfassende Monitoring TEST-GUIDE – mit dem Testreportmanagement inklusive der Coverage und der Überwachung der verfügbaren Testressourcen mithilfe des ResourceAdapter.

Alle Daten werden auf dem zentralen TEST-GUIDE-Server zusammengeführt und für verschiedene Ansichten und Exportmöglichkeiten in TEST-GUIDE bereitgestellt – mit einem Live-Status der Testausführungen zu jedem Zeitpunkt.

Die Frage, wie man der wachsenden Anzahl an Testausführungen immer komplexer werdender Fahrzeug-Software gerecht wird, ist beantwortet. Jetzt ist es an der Zeit den Turbo anzuschalten, denn die Automotive DevOps Platform testet auf allen Systemen rund um die Uhr.