Künstliche Intelligenz am Standort Berlin: Wojciech Samek macht KI erklärbar

Bei vielen Durchbrüchen der Künstlichen Intelligenz (KI) in den vergangenen Jahren konnten selbst die Entwickler der Algorithmen oft nicht sagen, wie genau die Ergebnisse zustande kamen. Insbesondere die beim so genannten Deep Learning genutzten vielschichtigen neuronalen Netzwerke sind oft Black Boxes.

Wojciech Samek vom Fraunhofer Heinrich-Hertz-Institut (HHI) ist es jedoch gelungen, das zu ändern. Unter anderem mit Klaus-Robert Müller, Ko-Direktor des BIFOLD-Instituts an der TU Berlin, hat er seit 2015 Methoden entwickelt, um die Entscheidungen von KI-Systeme zu erklären.

Dabei haben sie beispielsweise Algorithmen zur Bilderkennung analysiert, darunter einige, die Wettbewerbe zur Klassifikation von Fotos gewonnen haben. „Doch viele eingesetzte Systeme sind Schummel-KIs“, sagt Samek. So musste das System beispielsweise Pferde identifizieren. „Doch es hat gar keine Pferde erkannt, sondern nur einen Copyrightverweis“, sagt der Wissenschaftler.

Ein Großteil der Trainingsbilder stammten nämlich aus der gleichen Datenbank und hatten am Rand den immer gleichen Copyrighthinweis. In anderen Fällen wurden wurden Bilder der Kategorie „Schiff“ zugeordnet, wenn viel Wasser zu sehen war oder Fotos wurden als „Zug“ klassifiziert, wenn Schienen vorhanden waren. Damit hat die KI zwar die Mehrzahl der Bilder im Endeffekt korrekt eingeordnet, aber die eigentliche Aufgabe, nämlich Züge, Schiffe oder Pferde zu erkennen, nicht gelöst.

Sie haben stattdessen „Cleverer-Hans-Methoden“ genutzt sagt Samek. Der Begriff bezieht sich auf ein „Kluger Hans“ genanntes, vermeintliches Wunderpferd, das um 1900 in Berlin für Aufsehen sorgte. Es konnte beispielsweise Matheaufgaben durch Klopfen des Hufes korrekt beantworten. Später stellte sich heraus, dass das Pferd dabei vor allem auf die Reaktionen und Körpersprache seines Lehrers reagierte.

Seither bezeichnet der Kluger-Hans-Effekt in Psychologie und Sozialforschung die unbewusste einseitige Beeinflussung des Verhaltens von Versuchsteilnehmern, insbesondere in die Richtung, dass der beim Experiment erwartete Effekt eintritt.

© imago/Science Photo Library

Inzwischen ist die Bedeutung von erklärbarer KI deutlich gewachsen. „Es gibt ein Grundrecht zu wissen, auf welcher Grundlage Entscheidungen getroffen werden“, sagt Samek. Insbesondere wenn diese gar gerichtsrelevant sind. Auch die US-Militärbehörde Darpa nannte „Erklärbarkeit“ bei ihrer 2018 mit zwei Milliarden Dollar geförderten AI-Next-Kampagne als ein zentrales Thema.

"Weltweit führend" - eine Berliner Positionsbestimmung

Sie hat daher auch ein eigenes explainable AI (XAI) Programm aufgelegt, um entsprechende Methoden zu fördern. Sie sollen „KI-Systeme der dritten Welle“ ermöglichen, bei denen Maschinen den Kontext und die Umgebung, in der sie operieren, verstehen und Erklärungsmodelle aufbauen, die es ihnen ermöglichen, Phänomene der realen Welt zu charakterisieren.

[Neuronale Netzwerke und maschinelles Lernen? Unser Glossar zur Künstlichen Intelligenz finden Sie hier]

Doch die Berliner sehen sich trotzdem in einer herausragenden Position. „Wir sind bei explainable AI weltweit führend“, sagt Samek. „Unser Paper wurde inzwischen mehr als 1000 Mal zitiert.“ Damit das so bleibt, hat das HHI nun eine eigene Forschungsabteilung „Künstliche Intelligenz“ gegründet, die aus der bisherigen Forschungsgruppe „Maschinelles Lernen“ hervorgeht.

Samek leitet die Abteilung mit derzeit 41 Mitarbeitern, die Zahl soll weiter steigen. „Erklärbare Künstliche Intelligenz“ wird einer der drei Schwerpunkte mit einer jeweils eigenen Forschungsgruppe.

Verstehen, was neuronale Netzwerke machen

Dabei sollen auch Qualitätsmetriken für KI-Modelle entwickelt und am Thema KI-Zertifizierung gearbeitet werden. Zudem können die Methoden in verschiedenen Feldern helfen, bei komplexen Systemen die entscheidenden Variablen und Faktoren zu identifizieren. Zuletzt hätten Samek beispielsweise US-Klimaforscher und Astronomen kontaktiert, die seine Methode nutzen, um ihre Modelle besser zu verstehen.

© mauritius images

Die Kernfrage der Naturwissenschaft lautet: Was ist der Grund für bestimmte Effekte? Und erklärbare KI kann so auch helfen, die Ursachen physikalischer oder chemischer Gesetzmäßigkeiten zu erkennen.

Zudem können neuronale Netzwerke besser optimiert werden, wenn man versteht, was sie machen. „Wenn man weiß, was relevant ist, kann man etwas anderes weglassen und sie so schlanker machen“, sagt Samek. „Effizientes Deep Learning” ist der zweite von drei Schwerpunkten in seiner neuen Abteilung. Hier soll die CO2-Bilanz von tiefen neuronalen Netzwerken verbessert werden.

Dabei arbeiten die Forscher auch eng mit den Spezialisten für Videokompression am HHI zusammen. Der HHI-Institutsleiter Thomas Wiegand war selbst an der Entwicklung zahlreicher MPEG-Videocodierungsstandards beteiligt, die die Grundlage dafür sind, dass die Geschwindigkeit der Bildübertragung immer weiter gesteigert und die bei gleichbleibender Bildqualität benötigte Datenmenge reduziert wurde.

Kommunikation und KI verwachsen durch 5G und 6G stärker

„Nun arbeiten wir an einem Standard, um neuronale Netze zu komprimieren“, sagt Samek. Im Frühjahr soll es soweit sein. „Durch 5G und 6G werden Kommunikation und KI stärker miteinander verwachsen“, sagt Samek. Und neuronale Netze werden künftig auch immer öfter auf Endgeräten selbst zum Einsatz kommen. Dazu ist es jedoch entscheidend, dass sie möglichst klein sind und auch mit Updates versorgt werden. Dabei sollen die Algorithmen zur Kompression von tiefen neuronalen Netzen helfen.

Das kann auch beim federated learning helfen. Beim föderierten oder verteilten Lernen geht es darum, dass die Daten dort bleiben wo sie erhoben wurden und nicht zentral zusammengeführt werden. Das spielt bei sensiblen Informationen wie Gesundheitsdaten eine Rolle. „Man kann federated learning aber auch auf dem Handy machen, ohne dass der Nutzer seine Daten hergibt“, sagt Samek.

Die kürzlich neu gestartete Suchmaschinen-App Xayn setzt beispielsweise auf diesen Ansatz. Aber auch mit Blick auf die Effizienz und damit letztlich wieder eine „grünere“ KI, sei das verteilte, maschinelle Lernen interessant.

Doch das HHI will neben der Grundlagenforschung auch den Transfer in die Wirtschaft ausbauen. Der  dritte Schwerpunkt heißt daher „Angewandtes Maschinelles Lernen“. Dabei sollen längerfristige Kooperationen mit Partnern aus der Industrie aufgebaut werden. „Wir wollen über einzelne Projekte hinaus bei bestimmten Themen zusammenarbeiten“, sagt Samek.

Er hat zudem auch die Berliner Start-up-Szene im Blick. Das HHI will neue Wege finden, um einerseits bei den eigenen Forschungsthemen wie Erklärbarkeit von KI oder Kompression stärker „mit flexiblen jungen Firmen“ zu kooperieren und andererseits selbst mehr neue Firmen auszugründen.