Und was ist mit der Ethik?: Warum das EU-Weißbuch zur Künstlichen Intelligenz enttäuscht

Thomas Metzinger ist Philosophieprofessor an der Universität Mainz und vertritt in der Hochrangigen Expertengruppe (HLEG AI) die 850 europäischen Universitäten der Europäischen Universitätsvereinigung (EUA).

Der belgische Philosoph Mark Coeckelbergh ist Professor für Medien- und Technikphilosophie an der Universität Wien und ebenfalls Mitglied der HLEG AI. Dieser Text erschien zuerst im Entscheider-Briefing „Tagesspiegel Background Digitalisierung & KI“.

For an English version of the article, please see below.

Als die Europäische Kommission am 19. Februar ihr „Weißbuch zur Künstlichen Intelligenz“ veröffentlichte, machte sich unter vielen Mitgliedern der Hochrangigen Expertengruppe zur Künstlichen Intelligenz (HLEG AI) Enttäuschung breit. Zu vage, zu früh, zu unverbindlich, zu unrealistisch.

Entscheidende Punkte wurden ausgeklammert oder schlicht und einfach entfernt. Manche fragten sogar: Wofür hat die Expertengruppe eigentlich anderthalb Jahre gearbeitet, wenn jetzt ihre detaillierten Vorschläge zum größten Teil ignoriert oder nur im Vorbeigehen erwähnt werden?

Als Ethik-Experten finden wir, dass das Weißbuch eine ganze Reihe von starken Punkten enthält – aber deutlich weniger, als wir gerne gesehen hätten.

Trotz allem noch: Vertrauenswürdigkeit

Das Gute zuerst. Es ist ermutigend, dass die Kommission weiterhin am Ideal der „Vertrauenswürdigkeit“ und damit, wenn auch nur indirekt, an einem Ethik-basierten Ansatz festhält.

Nur wissen mittlerweile alle Teilnehmer an der globalen KI-Debatte um die grundlegenden begrifflichen Probleme, wenn man eine Technologie – im Gegensatz zu den Menschen, die sie einsetzen – als „vertrauenswürdig“ bezeichnet.

KI-Systeme könnten durchaus robust, zuverlässig und weitgehend transparent sein und trotzdem auf eine Weise zum Einsatz kommen, die den Intentionen des Weißbuchs widerspricht, zum Beispiel durch europäische Regierungen wie die in Ungarn oder Polen, aber auch durch amerikanische Großunternehmen wie Facebook oder Google.

Trotzdem ist das betonte Festhalten am Ideal der Vertrauenswürdigkeit aus ethischer Perspektive lobenswert.

Verschmelzung des European Green Deal mit der KI-Strategie

Ein zweites positives Merkmal ist die Fokussierung des Dokumentes auf die Themen Klimawandel, Nachhaltigkeit und den Schutz natürlicher Ressourcen. Die Kommission hat die historische Gelegenheit der bereits rollenden Klimakatastrophe klar erkannt und will massive Synergien zwischen der KI-Forschung und dem „European Green Deal“ systematisch ausnutzen.

Wenn es tatsächlich gelingt, den Green Deal zusammen mit der Entwicklung von „Trustworthy AI made in Europe“ zu implementieren, dann wird bald die ganze Welt intelligente, in der EU produzierte Umwelttechnologie kaufen wollen.

Europa hat hier die Chance, voranzugehen und ein echtes wirtschaftliches Alleinstellungsmerkmal zu entwickeln.

© dpa

In der vergangenen Woche hat Ursula von der Leyen in Reaktion auf die Covid-19-Krise, einen „Marshall-Plan” für Europa vorgeschlagen. Wir denken, dass alle drei Ziele jetzt unter einer substantiellen und konsistenten normativen Vision integriert werden sollten: „Trustworthy AI“ und der „European Green Deal“ könnten die ethische fundierte Basis für die wirtschaftliche Erholungsphase nach dem Coronavirus werden.

[Alle wichtigen Updates des Tages zum Coronavirus finden Sie im kostenlosen Tagesspiegel-Newsletter "Fragen des Tages". Dazu die wichtigsten Nachrichten, Leseempfehlungen und Debatten. Zur Anmeldung geht es hier.]

Risiken bewerten bevor sie entstehen oder importiert werden

Als Ethiker denken wir, dass der inhaltlich stärkste Vorschlag im Dokument die obligatorische ex ante Konformitätsbewertung für KI-Technologien ist, die auf dem europäischen Markt an europäische Kunden verkauft werden sollen, unabhängig vom Ort der Niederlassung der jeweiligen Firmen.

Dies steht in Einklang mit einem klassischen Prinzip der Technologieethik und jeder verantwortungsvollen Innovationsforschung: Es ist am besten, die ethischen Normen bereits in der Entwicklungsphase mit „einzubauen“, und die Konformitätsbewertung könnte diesen Vorgang simulieren.

Hochproblematisch ist jedoch, dass dieses Vorgehen nur für „Hochrisikosektoren“ vorgeschlagen wird. Die Unterscheidung zwischen Sektoren mit „hohem“ und „niedrigem“ Risiko ist viel zu grobkörnig und undifferenziert.

Sie könnte sie sich als Trojanisches Pferd entpuppen: Alles was nicht eindeutig als „hochriskant“ ausgezeichnet wird, könnte nun nach Europa eingeschmuggelt werden und seine unerwartete schädliche Wirkung erst mittelfristig oder in unerwarteten Anwendungsfeldern entfalten.

Endlich erkannt: Die psychologischen Risiken der KI

Das führt uns zu einer weiteren Stärke: Die Autoren des Weißbuchs sind wirklich innovativ, nämlich in der Anerkennung „psychischer Sicherheitsrisiken“. Mit ihren durch Wut und soziale Spaltung angetriebenen Geschäftsmodellen setzen große US-Konzerne wie Facebook die geistige Gesundheit europäischer Bürger aufs Spiel.

Sie untergraben nicht nur den gesellschaftlichen Zusammenhalt, sie benutzen KI auch, um Nutzer schrittweise immer vorhersagbarer zu machen, um ihre Aufmerksamkeitsressourcen zu extrahieren und weltweit zu verkaufen. Facebook-KI ist keine vertrauenswürdige KI.

Europa ist von Raubtieren umzingelt, dies gilt nicht nur in wirtschaftlicher, sondern auch in psychologischer Hinsicht, und die Kommission beginnt, diese Tatsache zu erkennen. Die europäische Antwort sollte nicht darin bestehen, sich jetzt in einen weiteren „daten-agilen“ Überwachungshai zu verwandeln.

Stattdessen müssen Innovationsanreize geschaffen werden, die die geistige Gesundheit, Privatsphäre und Autonomie seiner Bürger in den Vordergrund stellen und den Schutz des gesellschaftlichen Zusammenhalts einfordert.

Der sektorspezifische Ansatz ist hochproblematisch

Insbesondere vor dem Hintergrund der vagen und unverbindlichen Formulierungen sollten uns die Stärken des Weißbuchs nicht den Blick auf eine Reihe von größeren ethischen Problemen und Auslassungen verstellen.

Ein Punkt gefährdet den Kern der vorgeschlagenen politischen Strategie: Der sektorspezifische Ansatz in Kombination mit einer vorsätzlich simplistischen Unterscheidung zwischen Bereichen hohen und niedrigen Risikos.

Es gibt keinen guten Grund dafür, einzelne Sektoren zu isolieren, weil attraktive KI-Anwendungen Grenzen leicht überspringen und ethisch sensible Anwendungskontexte sich über alle Sektoren hinweg finden.

Zudem gibt es viele verschiedene Arten von Risiken, und ihre Gefährlichkeit entwickelt und verändert sich über die Zeit hinweg. Unser allgemeiner Eindruck ist, dass die Autoren des Weißbuchs streng bezüglich mancher öffentlichen Sektoren wie Gesundheit und Mobilität sein wollen, während sie den Privatsektor weitgehend unangetastet lassen wollen.

Europa muss eine neue Generation von KI-Ethikern ausbilden

Wir unterstützen uneingeschränkt die Idee eines paneuropäischen „Ökosystems für Exzellenz“. Aber die Kommission scheint nicht zu verstehen, dass wir in den kommenden Jahrzehnten viele Hundert erstklassig ausgebildete Experten in der KI-Ethik brauchen werden, damit dieses Ökosystem funktioniert.

Wir benötigen auch „Ethische Exzellenz“: Große Unternehmen benötigen glaubwürdige und unabhängige Ethiker als interne Experten. Und die politischen Institutionen eine ganze neue Generation von brillanten jungen Leuten, die eine strenge, interdisziplinäre Ausbildung in Philosophie, Ethik, und Künstlicher Intelligenz durchlaufen haben.

Leider ignoriert die Kommission, dass die Hochrangige Expertengruppe in ihren Investitions- und Politikempfehlungen die Einrichtung von 720 Lehrstühlen für KI-Ethik gefordert hat, einen für jede wichtige europäische Universität.

Wohin ist die Ethik verschwunden?

Es scheint als ob die Ethik für die Kommission jede Bedeutung verloren hat. Das wird deutlich, wenn man betrachtet, wie weitreichend das Ausmaß ist, in dem jede substantiellere ethische Positionierung im Dokument beseitigt worden ist.

Im Wesentlichen stimmt das Weißbuch mit der US-amerikanischen Linie überein, die sagt: „Ethik wird entweder von der Industrie selbst gemacht, oder es wird keine Ethik geben.“

Am Anfang sollte die Ethik primär als elegante öffentliche Dekoration für eine groß angelegte Investitionsstrategie benutzt werden; jetzt ist sie dann fast vollständig abwesend. Das verstößt gegen den Geist der europäischen Generalstrategie, von der wir dachten, dass sie einen echten ethischen Ansatz beinhaltet.

Die zweite Auslassung betrifft die Nutzung der KI für militärische Zwecke, das Stichwort heißt „Lethal Autonomous Weapon Systems”. Das im Weißbuch formulierte Ideal des „Vorrangs menschlichen Handelns und menschlicher Aufsicht” und der Eingriffsmöglichkeit in Echtzeit.

Dies wird schnell über Bord gehen, wenn die EU in ein KI-Wettrüsten eintritt. Das aktuelle Dokument ignoriert die Frage vollständig, was unseren dringenden Verdacht erregt. Hat die Rüstungsindustrie bereits erfolgreich in diesem Vorgang interveniert?

Ganz egal was wir als Ethiker darüber denken mögen – die demokratisch legitimierten Stellvertreter der europäischen Bürger erwarten hier klarerweise und sehr bald eine bindende Verpflichtungserklärung, die sie vor den Interessen der Rüstungsindustrie schützt.

Die Experten wurden ignoriert

Schließlich war es enttäuschend, dass das Weißbuch ohne jeden direkten Input der Hochrangigen Expertengruppe entwickelt wurde. Die Autoren haben es nicht nur veröffentlicht, ohne unsere abschließenden Ergebnisse abzuwarten, sie waren nicht einmal höflich genug, es uns auch nur zuzusenden – wir mussten in den Medien davon erfahren.

Den Mitgliedern der HLEG AI zeigt dies deutlich, wie unwichtig wir in Wirklichkeit sind. Das führt uns zu der traurigen Schlussfolgerung, dass die sehr wenigen Ethiker unter den 52 Mitgliedern der europäischen KI-Expertengruppe niemals mehr gewesen sind als ein Feigenblatt.

English version:

Europe needs more guts when it comes to AI ethics

Thomas Metzinger is a Professor of Theoretical Philosophy at the University of Mainz, Germany. In the High-Level Expert Group on Artificial Intelligence (HLEG AI) he represents 850 European universities of the European University Association (EUA).

Mark Coeckelbergh is a Professor of Philosophy of Media and Technology at the University of Vienna, Austria and also a Member of the HLEG AI.

When the European Commission’s White Paper on Artificial Intelligence was published on 19 February, there was disappointment among many members of the High-Level Expert Group (HLEG AI). Too vague, too soon, too noncommittal, too unrealistic.

Crucial issues were flatly removed. Some also asked: Why has the HLEG AI worked for one-and-a-half years, only for its detailed proposals to be mostly ignored or mentioned only in passing?

Here we present our assessment as ethics experts. We think that the White Paper makes a number of strong points, but far fewer than we would have liked.

Trustworthy, still

Let’s start with the positives. We are encouraged by the fact that the Commission is holding firm to the ideal of “trustworthiness” and thereby, albeit indirectly, to an ethics-based approach. However, there are some problems with the specific formulations.

By now, everybody engaged in the global AI debate knows that there are fundamental conceptual problems with calling a technology itself – as opposed to the human beings who use it – “trustworthy”.

AI systems that are robust, reliable, and largely transparent could easily be used in a way that contradicts the intentions of the White Paper, for example by European governments like Hungary or Poland, or by American companies like Facebook or Google. Nevertheless, the sustained emphasis on trustworthiness is ethically laudable.

A chance for Europe to lead: Merging the Green Deal and Europe’s AI approach?

Another positive feature of this document is the focus on climate change, sustainability, and the protection of resources. Von der Leyen and her teams clearly recognise the historical opportunity afforded by the rolling climate crisis: They systematically exploit connections and massive synergies between future AI research and the European Green Deal.

If von der Leyen manages to pull off the Green Deal by simultaneously developing Trustworthy AI made in Europe, the whole world will soon want to buy smart climate technology manufactured in the bloc. Europe has the chance to lead by example and develop its own unique selling point.

Last week, in response to the COVID-19 crisis, Ursula von der Leyen called for a “Marshall Plan” for Europe. We think that all three goals should now be integrated under a single and consistent normative vision: Trustworthy AI and the European Green Deal could become the ethically founded underpinning of economic recovery following the coronavirus.

Assessing risk before it is posed. Or imported.

Beyond that, as ethicists we think that the strongest proposal in the document is the set of ex ante conformity assessments for AI technologies sold on the European market to European consumers.

This proposal is in line with the long-standing idea, arising out of technology ethics and responsible innovation research, that it is best to build ethics in at the development stage; the assessments are one way to stimulate this.

What is problematic, however, is that the approach is proposed only for the high-risk sectors. The distinction between “high-risk” and “low-risk” sectors is too undifferentiated and coarse-grained, and it could easily turn into a Trojan horse.

Everything that is not unequivocally flagged as “high-risk” can now be smuggled into Europe, perhaps unfolding its potential for harm in unexpected domains of application or only in the medium term.

Psychological risks of AI are finally recognised

This leads us to another positive: The authors of the White Paper are truly innovative in their mention of “mental safety risks”. With their rage- and division-driven business models, large US companies like Facebook, for example, systematically put the mental health of European citizens at risk.

They not only undermine social cohesion; they also use AI to gradually make their users more predictable, extract their attentional resources, and then sell them to their customers. Facebook AI is not Trustworthy AI.

Europe is surrounded by predators, psychologically as well as economically, and the Commission is beginning to realise it. Europe’s response to this should not be to compete by becoming just another “data-agile” surveillance shark, but instead to create incentives for innovation that make the mental health, privacy, and autonomy of its citizens and proactive contributions to social cohesion key ethical requirements.

Sector-specific approach is uncalled for and highly problematic

Especially given their vague and noncommittal nature, these strengths of the White Paper should not blind us to the major ethical omissions and problems in the document.

Perhaps most importantly, we highlight an issue that jeopardises the core of the proposed policy: a sector-specific approach in combination with a deliberately simplistic high-risk/low-risk distinction.

There is no good reason to single out specific sectors, since attractive applications easily begin to drift, and ethical problems with AI software are likely to be found across all sectors. Moreover, there are many kinds of risk, and levels of risk evolve over time.

Our general impression is that the authors of the White Paper wanted to be tough on some public sectors such as health and mobility, while leaving the private sector alone.

Europe needs to train a new generation of AI ethicists

We fully support the idea of establishing a Pan-European “Ecosystem of Excellence”. But the Commission does not seem to see that for the coming decades, and in order to make the Ecosystem work, we will also need hundreds of well-trained experts in the ethics of AI.

We need Ethical Excellence, too. Big companies need independently trained, fully credible ethicists as internal experts. Political institutions across Europe need a whole new generation of brilliant young people with a rigorous interdisciplinary education in philosophy, ethics, and AI.

Unfortunately, the Commission ignores the fact that in its investment and policy recommendations, the HLEG AI proposed the establishment of 720 professorial chairs for AI ethics, one for every major European university.

Professors appointed to these positions could also strengthen links between science and civil society by convening public debates, interpreting research results, and offering interdisciplinary curricula to new generations of students.

Where did the ethics go?

Ethics has lost all importance for the Commission, it seems. This becomes clear once we consider how fully any substantive ethical positioning has been purged from this document.

Largely in line with the US perspective, Von der Leyen’s White Paper basically says: “Either ethics gets done by industry, or there will be no ethics at all!” First, ethics was used merely as an elegant public decoration for a large-scale investment strategy; now it is completely absent.

This leads to a glaring gap in the Digital Education Action Plan, which now needs filling; it also goes against the spirit of the Commission’s own overall digital strategy, which we understand to include real ethics.

The second omission concerns “Lethal Autonomous Weapon Systems”. The White Paper’s ideal of “human oversight” with the “ability to intervene in real time” will quickly go overboard if the EU now enters an AI arms race.

In 2018 the European Parliament adopted by 566 votes to 47 a resolution in which it expressed its deep concern about autonomous weapon systems and called for a start to negotiations for an international legally binding instrument prohibiting such weapons. Many parliaments in Europe and around the world have voiced similar worries.

The Belgian parliament explicitly called for a ban, and for good reason. The current document completely ignores the issue, and this arouses our deep suspicion. Has the arms industry successfully intervened in the process?

No matter what we think as ethicists, the legitimate representatives of European citizens clearly want to see a binding protective commitment here very soon.

Experts were ignored in the process

Finally, it was disappointing that the White Paper was developed without any direct input from the high-level expert group. Not only did the authors publish it without even waiting for our final results, they then failed to do us the courtesy of sending us the White Paper, instead leaving us to read about it in the press.

To members of the HLEG AI, this demonstrates how unimportant we really are and how seriously Ursula von der Leyen takes what we do. We sadly conclude that the few ethicists among the 52 members of the AI advisory group have been nothing but a fig leaf.

For the original article in German please see above.

Thomas Metzinger, Mark Coeckelbergh