Wie genau ist aiT?

Die aiT-Analyseergebnisse sind sicher – d.h., sie liegen niemals unter der tat­säch­li­chen WCET. Zugleich sind sie aber auch extrem präzise – d.h., die WCET-Überschätzung wird stets möglichst gering gehalten. Dies wird immer wieder bestätigt durch unsere eigenen Versuche, Erfahrungs­berichte unserer Kunden und unabhängige Studien.

Studie von Airbus France (aiT für PowerPC 755)

„Der Vergleich zeigt, daß die von aiT berechneten Worst-Case-Laufzeiten typischerweise rund 25 % höher sind als die ge­messenen Zeiten, wobei die tatsächliche aber nicht berechenbare WCET irgend­wo dazwischen liegt. Erwähnenswert ist auch ein weiterer Vergleich, nämlich der der aiT-Analyseergebnisse mit den Ergebnissen der traditionellen Airbus-Methoden. Wie bereits vorher­gesagt wurde, als die Entscheidung für aiT fiel, sind die Ergebnisse der traditionellen Metho­den weitaus ungenauer als die von aiT berechneten Zeiten. Eigentlich ist der Unter­schied sogar so groß, daß die traditionellen Methoden unbrauchbar sind.“

• Vollständiger Bericht unter www.absint.com/aiT_airbus.pdf (in Englisch, PDF, 190kB)

Die Studie stammt aus dem Jahre 2003. aiT wurde seitdem ständig weiterentwickelt, so daß die aktuelle Version noch viel genauere Ergebnisse liefert.

Studie am Volvo-Code an der Mälardalen-Universität (aiT für C16x)

In seiner Diplomarbeit „Statische WCET-Analyse von task­orientiertem Code für Baufahrzeuge“ berichtete Daniel Sehlberg, daß aiT die ge­messene WCET im Schnitt um nur 16 % überschätzt. Volvos traditionelle Methoden über­schätzten die WCET derselben Tasks im Schnitt um 212 %.

• Vollständiger Bericht unter www.mrtc.mdh.se/publications/1037.pdf (in Englisch, PDF, 1,2MB)

Tests mit ETAS’ ASCET (aiT für ST10)

Die nachfolgende Tabelle vergleicht die aiT-Analyseergebnisse mit der gemes­senen WCET für die Prozeduren eines Engine-Throttle-Kontrollmoduls. Das Modul wurde in ASCET spezifiziert und mit dem TASKING-C-Compiler v7.5 für ein ST10F269-Mikrocontroller-Board kompiliert. Die Laufzeiten wurden mit dem iSYSTEMS-ILA-128-Logic-Analyzer aus Bus-Traces extrahiert. Das Experiment zeigte eine durchschnittliche WCET-Überschätzung von nur 3 %.

• Vollständiger Bericht unter www.absint.com/aiT_ASCET.pdf (in Englisch, PDF, 210kB)

aiT für ARM7 gegen ARMulator

ARMulator ist ein Prozessor-Simulator, der von ARM als Bestandteil des ARM-Development-Toolkits angeboten wird. Er ermöglicht es, das Verhalten eines Programms für einen bestimmten ARM-Prozessor einzuschätzen, ohne das Pro­gramm tatsächlich auf dem Prozessor auszuführen.

Eine von Daniel Sandell an der Mälardalen-Universität durchgeführte Studie zeigte, daß die von aiT berechneten Worst-Case-Laufzeiten im Schnitt nur 5 % höher lagen als die Ergebnisse der Simulation mit ARMulator.

„aiTs Vorhersagen waren in sämtlichen Fällen höher als die Simulationsergebnisse. Wir be­wer­ten das positiv, als ein Zeichen, daß die aiT-Analyseergebnisse sicher sind. Zuletzt sollte man anmerken, daß [in unserem Test] die aiT-Ergebnisse nicht mit dem Verhalten der tatsäch­lichen Hardware, sondern mit dem eines Hardware-Modells verglichen wurden.“

• Vollständiger Bericht unter www.mrtc.mdh.se/publications/0738.pdf (in Englisch, PDF, 2,4MB)

WCET-Tool-Challenge (aiT für C16x, ARM7 und PowerPC 565)

2006 nahm aiT an der ersten WCET-Tool-Challenge teil, einem von der Mälardalen-Universität organisierten und vom ARTIST2-Netzwerk geförderten Wettbewerb. Das erklärte Ziel des Wettbewerbs war es, verschiedene Me­tho­den der WCET-Analyse zu untersuchen und miteinander zu vergleichen. Teilgenommen haben alle zu der Zeit erhältlichen Werkzeuge und Prototypen.

aiT trat als einziges Werkzeug gleich für drei verschiedene Prozessor-Architekturen an. Es war das einzige Werkzeug, das sämtliche Testprogramme zu analysieren imstande war. Die von aiT gelieferten Ergebnisse waren in den meisten Fällen außerordentlich genau. Das Urteil der Jury lautete, daß aiT sehr benutzerfreundlich ist, den Benutzer vor unrealistischen Code-Annotationen warnt und sehr präzise Analyseergebnisse liefert.

„aiT war imstande, alle Arten von Tests zu bewältigen und für sämtliche Testprogramme Er­geb­nisse zu liefern. aiT ermöglicht WCET-Analyse selbst für komplexe Prozessoren. […] aiT de­monstriert seine führende Position durch all seine Merkmale und untermauert seine Führung als ein den Anforderungen der Industrie gewachsenes Werkzeug.“

• Vollständiger Bericht unter www.absint.com/ait/WCET_Tool_Challenge_2006_Final_Report.pdf (in Englisch, PDF, 570kB)

Studie der McGill-Universität (aiT für Cortex-M4)

Márton Búr, Kristóf Marussy, Brett Meyer und Dániel Varró testeten aiT im Jahre 2018 an vier Benchmark-Programmen, die auf einem Infineon-Relax-Lite-Board mit dem XMC4500-F100-K1024-Mikrocontroller liefen.

Die Forscher berichteten, daß aiT die gemessene WCET im Schnitt um 9,75 % überschätzte. Ein als Referenz benutztes Konkurrenzprodukt überschätzte die WCET derselben Tasks im Schnitt um 48,58 %.

	Benchmark	Gemessene WCET	aiT	OTAWA
	Close trains	2652	3038	4210
	End of siding	1395	1477	1860
	Misaligned turnout	939	987	1370
	Train locations	489	507	695

• Vollständiger Bericht auf arxiv.org/abs/2102.03116