Blick in die Blackbox: Können wir erklären, wie künstliche Intelligenz Entscheidungen trifft?

Frau Akata, künstliche Intelligenz wird häufig als „Blackbox“ bezeichnet: Nutzer können nicht nachvollziehen, wie KIs Entscheidungen treffen. Wann wird eine Blackbox zum Problem?
Es ist kein Problem, wenn man sich zum Beispiel Bilder von Vögeln ansieht und versucht sie zu identifizieren. Es ist aber ein Problem bei sicherheitskritischen Anwendungen, weil künstliche Intelligenzen noch immer Fehler machen. Wenn es zum Beispiel um Krebsvorhersagen geht, könnten diese Modelle den Spezialisten helfen zu verstehen, was im Körper vor sich geht. Aber sie sind möglicherweise nicht zuverlässig. Der Nutzer erhält keine anderen Informationen als die Diagnose. Auf der Grundlage dieser Diagnose des Systems würde ich nicht unbedingt eine Chemotherapie beginnen. Ich würde wollen, dass das System mir erklärt, welche Beweise es für die Diagnose gibt.