?Je besser ihre Strategie ist, desto mehr Punkte erreichen sie. Basierend auf seinen Vorerfahrungen lernt der Algorithmus so mit der Zeit, wie er sich in welcher Situation verhalten sollte.“ Doch wie kann ein Beobachter beurteilen, auf welchen Kriterien das Verhalten der KI basiert und wie gut ihre Entscheidungen sind? Um das zu beurteilen, haben die Forschenden ein einfaches Experiment ersonnen. Zun?chst trainierten sie den Computer auf das Spiel Pac-Man, modifizierten dabei aber insgeheim die Regeln, nach denen die Punkte vergeben wurden. In einem Fall verlor die Spielfigur beispielsweise keine Punkte, wenn sie starb. Der so trainierte Algorithmus (die Forschenden sprechen auch von einem ?Agenten“) lie? sich daher in seinen Entscheidungen von etwaigen Geistern in der N?he nicht beeindrucken. Für einen zweiten Agenten ver?nderten sie den Wert der Kekse; ein dritter spielte dagegen nach den normalen Regeln. ?Wir haben nun Testpersonen gebeten, die drei Agenten zu beurteilen“, erl?utert Huber. ?Dabei haben sie sich aber nicht etwa mehrere komplette Spiele ansehen dürfen, sondern bekamen nur kurze Ausschnitte zu sehen.“ Die Versuchspersonen sollten auf dieser Basis angeben, welchen der Agenten sie am ehesten in einem Pac-Man-Spiel für sich antreten lassen würden. Au?erdem sollten sie die Strategie aller drei KI-Verfahren kurz in eigenen Worten beschreiben. ?Wir wollten so herausfinden, ob die Versuchspersonen verstanden hatten, warum der Algorithmus bestimmte Aktionen ausführt“, sagt der Informatiker.

Zusammenfassung der ?dramatischsten“ Spielszenen hilft am meisten

Die Teilnehmerinnen und Teilnehmer wurden dazu in vier Gruppen eingeteilt. Jede durfte sich fünf dreisekündige Ausschnitte aus den Spielen der drei Agenten anschauen. In der ersten Gruppe waren diese Kurzclips zuf?llig ausgew?hlt worden. Für die zweite Gruppe wurde in die Zufalls-Kurzfilmchen zus?tzlich eine Art ?Aufmerksamkeits-Landkarte“ eingeblendet. Sie zeigte, auf welche Einflüsse in seiner Umgebung der Agent in diesem Moment besonders achtete. Die dritte Gruppe bekam dagegen die ?dramatischsten“ Spielszenen zu sehen - das sind solche, in denen die Entscheidung des Agenten eine besonders gro?e Tragweite hatte (also etwa zum Tod der Spielfigur oder einem besonders hohen Punktgewinn führen konnten). In der KI-Forschung spricht man auch von einer ?Strategie-Zusammenfassung“. Bei der vierten Gruppe wurde diese Zusammenfassung zus?tzlich um die Aufmerksamkeits-Landkarte erg?nzt. Das Ergebnis des Experiments fiel deutlich aus: ?Versuchspersonenen, die die Zusammenfassung sahen, entwickelten dadurch am ehesten ein Gefühl für die Strategie des jeweiligen Agenten“, erkl?rt Huber. ?Die Aufmerksamkeits-Karten halfen ihnen dagegen deutlich weniger. Auch in Kombination mit der Zusammenfassung entfalteten sie nur einen geringen Zusatznutzen.“ Es sei kognitiv sehr fordernd, sich die Spielausschnitte anzusehen und gleichzeitig auf die Informationen aus den Aufmerksamkeits-Karten zu achten. ?Wir nehmen an, dass ihr Beitrag bei einer besseren Aufbereitung der Information gr??er w?re.“ Die Forschenden wollen nun untersuchen, wie man die Aufmerksamkeits-Karten so optimieren k?nnte, dass sie zusammen mit der Strategie-Zusammenfassung die Entscheidungen eines KI-Agenten noch besser nachvollziehbar machen.

Publikation:

Tobias Huber, Katharina Weitz, Elisabeth André, Ofra Amir: Local and global explanations of agent behavior: Integrating strategy summaries with saliency maps. Artificial Intelligence, Volume 301, 2021, https://doi.org/10.1016/j.artint.2021.103571.