Denn inzwischen warnen ausgerechnet einige jener Menschen vor den möglichen Folgen künstlicher Intelligenz, die an ihrer Entwicklung maßgeblich beteiligt waren. Geoffrey Hinton, Yoshua Bengio und andere führende Forscher haben auf Risiken hingewiesen, die weit über Arbeitsplatzverluste, Deepfakes oder die nächste automatisierte Kundenhotline hinausreichen. Im Mai 2023 formulierte das Center for AI Safety eine Erklärung, deren Kürze beinahe irritierender war als ihr Inhalt: Die Verringerung des Risikos einer Auslöschung durch KI solle weltweit eine Priorität sein, vergleichbar mit anderen gesellschaftlichen Risiken wie Pandemien und Atomkrieg. Zu den Unterzeichnern gehörten Wissenschaftler und Führungskräfte führender KI-Unternehmen.
Wie groß die Unruhe innerhalb dieser Welt tatsächlich ist, lässt sich von außen schwer ermessen. Einen bemerkenswerten Einblick behauptet Jacob Coxon zu haben, der die Differenz zwischen öffentlicher Sprache und privaten Gesprächen auf X ausgesprochen drastisch beschreibt. Die Menschen, die KI entwickelten, so schreibt er, glaubten ernsthaft, „dass sie uns alle bis Ende des Jahrzehnts töten könnte“. Das sei kein Marketing-Trick; vielmehr würden manche Führungskräfte und leitende Forscher ihre öffentlichen Formulierungen so wählen, dass sie vernünftig klängen, während er dieselben Menschen privat ihre Angst äußern höre. Coxons Beobachtung ist kein überprüfbarer Beleg für das tatsächliche Ausmaß solcher Befürchtungen, doch sie fügt der öffentlichen Debatte eine eigentümliche Spannung hinzu: Wenn diejenigen, die an einer Technologie arbeiten, öffentlich vor ihrem existenziellen Potenzial warnen und hinter den Kulissen, folgt man Coxon, noch sehr viel beunruhigter darüber sprechen, dann geht es nicht mehr allein um die üblichen Nebenwirkungen des Fortschritts.
Man kann darüber streiten, wie wahrscheinlich ein solches Szenario ist, und man sollte es sogar. Zwischen einer denkbaren Gefahr und ihrem tatsächlichen Eintreten liegt jener Raum, in dem Wissenschaft von Spekulation unterschieden werden muss. Bemerkenswert bleibt dennoch, dass die Warnungen nicht vornehmlich von erklärten Technikfeinden stammen, sondern aus dem Inneren jener Welt, die diese Systeme hervorbringt. Die Erfinder stehen gewissermaßen neben ihrer Erfindung und fragen, ob sie auch über den richtigen Rückrufbefehl verfügen.
An dieser Stelle kommt einem der gute alte Goethe in den Sinn.
Der Lehrling weiß genug
Der Zauberlehrling ist bei Goethe keineswegs ein unbegabter junger Mann. Gerade darin liegt die Feinheit der Ballade. Er besitzt Wissen, nur eben nicht das ganze. Er hat den Meister beobachtet, kennt die Formel und kann einen Gegenstand dazu bringen, eine Aufgabe selbstständig auszuführen. Was ihm fehlt, ist nicht technische Kompetenz, sondern die Beherrschung des vollständigen Zusammenhangs.
Die Geschichte menschlicher Technik besteht schließlich zu einem beträchtlichen Teil darin, Wirkungen hervorzubringen, bevor ihre Folgen vollständig verstanden sind. Man könnte darin sogar ein Prinzip des Fortschritts erkennen. Wer vor jeder Erfindung sämtliche Konsequenzen kennen müsste, hätte vermutlich weder die Dampfmaschine noch das Automobil und wahrscheinlich nicht einmal das Feuer besonders weit entwickelt. Gesellschaften lernen häufig erst durch Anwendung, was ihre Werkzeuge mit ihnen machen.
Bei künstlicher Intelligenz verschiebt sich jedoch etwas. Das Werkzeug beginnt nicht lediglich, menschliche Muskelkraft zu ersetzen, sondern greift in Bereiche ein, die wir lange für charakteristisch menschlich hielten: Sprache, Bilder, Schlussfolgerungen, Programmierung, Diagnose, Entscheidung und zunehmend auch die Organisation von Wissen selbst. Damit verändert sich nicht nur, was eine Maschine tun kann, sondern auch das Verhältnis zwischen Auftraggeber und Werkzeug.
Goethes Besen besitzt in dieser Hinsicht eine erstaunliche Modernität. Er wird nicht gefährlich, weil er sich gegen den Menschen auflehnt. Er wird gefährlich, weil er seinen Auftrag erfüllt.
Von der Tücke des richtigen Befehls
Der Besen soll Wasser holen, und genau das tut er. Seine Katastrophe besteht in seiner Zuverlässigkeit.
Damit führt Goethe, ohne es wissen zu können, mitten in ein Problem, das in der heutigen KI-Forschung unter dem Begriff „Alignment“ verhandelt wird. Vereinfacht gesprochen geht es um die Frage, wie sich gewährleisten lässt, dass ein leistungsfähiges künstliches System tatsächlich jene Ziele verfolgt, die Menschen beabsichtigen, und nicht bloß eine formale oder unvollständige Version davon.
Das klingt zunächst nach einer technischen Feinheit, ist aber im Grunde ein sehr altes sprachliches Problem. Menschen sagen selten vollständig, was sie meinen, weil andere Menschen ergänzen, interpretieren, widersprechen und den Zusammenhang kennen. Unsere Sprache funktioniert gerade deshalb, weil sie nicht jeden möglichen Sonderfall regeln muss. Zwischen Menschen wird Bedeutung ausgehandelt.
Eine Maschine besitzt diese Selbstverständlichkeit nicht notwendig. Sie erhält Ziele, Daten, Regeln und Rückmeldungen, und je größer ihre Handlungsmöglichkeiten werden, desto wichtiger wird die Frage, ob unsere Formulierungen tatsächlich enthalten, was wir in ihnen zu erkennen glauben.
Der Zauberlehrling verlangt Wasser, aber er meint natürlich: genügend Wasser.
Das kleine Wort „genügend“ steht nicht im Zauber.
Darin liegt die eigentliche Pointe.
Eine Gesellschaft der Zauberlehrlinge
Vielleicht führt die Ballade jedoch noch weiter, wenn man sie nicht nur auf einzelne Entwickler oder Unternehmen bezieht. Denn die Vorstellung, irgendwo säßen einige übermütige Programmierer und hätten versehentlich einen digitalen Besen zum Leben erweckt, wäre zwar anschaulich, aber zu bequem. Die Entwicklung künstlicher Intelligenz ist längst in ein Geflecht aus wirtschaftlichen Interessen, wissenschaftlicher Neugier, geopolitischem Wettbewerb und alltäglicher Nachfrage eingebunden.
Unternehmen investieren Milliarden, weil sie einen Markt erwarten. Staaten investieren, weil andere Staaten investieren. Wissenschaftler forschen, weil Erkenntnis ihrem Wesen nach Grenzen verschiebt. Nutzer greifen auf die Systeme zurück, weil sie Zeit sparen, Texte übersetzen, Programme schreiben, Informationen ordnen oder Bilder erzeugen können. Jeder einzelne Schritt besitzt seine eigene Vernunft, während die Summe dieser vernünftigen Schritte eine Dynamik hervorbringen kann, über deren Richtung niemand allein entscheidet.
Das ist möglicherweise die interessantere Variante des Zauberlehrlings: Es gibt nicht mehr einen Lehrling, sondern eine ganze Gesellschaft von ihnen, und jeder hält nur einen Teil des Zauberspruchs in der Hand.
Gerade deshalb greift die häufig gestellte Frage zu kurz, wer künstliche Intelligenz eigentlich kontrollieren werde. Sie unterstellt eine Zentralität, die es kaum gibt. Unternehmen konkurrieren miteinander, Regierungen versuchen zu regulieren und zugleich die eigene technologische Wettbewerbsfähigkeit nicht zu gefährden, militärische Akteure erkennen strategische Möglichkeiten, während die Forschung bereits am nächsten Modell arbeitet. Kontrolle wird damit selbst zu einem verteilten Prozess, und verteilte Verantwortung besitzt bekanntlich die unangenehme Eigenschaft, sich im entscheidenden Augenblick nur schwer auffinden zu lassen.
Wo bleibt der Meister?
Hier zeigt sich zugleich der Punkt, an dem Goethes Ballade für unsere Gegenwart nicht mehr ganz aufgeht. Der Dichter gewährt seinem Lehrling nämlich eine Rettung, die uns nicht ohne Weiteres zur Verfügung steht: Der Meister kehrt zurück.
Er muss nicht diskutieren, keine internationale Konferenz einberufen und auch keinen Aufsichtsrat überzeugen. Er kennt das entscheidende Wort und stellt die Ordnung wieder her. Seine Autorität ist ebenso selbstverständlich wie seine Kompetenz.
Vielleicht ist gerade diese Figur heute das eigentlich Fremde an der Ballade.
Wer sollte in der Welt künstlicher Intelligenz die Rolle des Meisters übernehmen? Die Entwickler können es kaum allein sein, denn sie arbeiten innerhalb von Unternehmen, Märkten und Forschungssystemen. Die Unternehmen wiederum sind ihren wirtschaftlichen Interessen verpflichtet. Nationale Regierungen können Regeln setzen, stoßen aber bei einer global verfügbaren Technologie rasch an Grenzen. Internationale Institutionen benötigen Übereinkünfte zwischen Staaten, die gleichzeitig miteinander um technologische und militärische Vorteile konkurrieren.
Es fehlt also weniger an möglichen Meistern als an einer Instanz, deren Meisterschaft von allen anerkannt würde.
Das verändert Goethes Versuchsanordnung beträchtlich. Sein Lehrling hat die Kontrolle verloren, doch die Ordnung, in die er zurückkehren kann, existiert noch. Unsere technische Moderne kennt eine solche Ordnung kaum. Sie kennt Verfahren, Verträge, Gesetze, Sicherheitsstandards und Institutionen, also jene etwas mühsameren Erfindungen, mit denen demokratische Gesellschaften versuchen, Macht zu begrenzen. Gerade deshalb ist die Frage nach künstlicher Intelligenz am Ende keine bloße technische Frage. Sie handelt davon, welche Institutionen mit einer Technologie Schritt halten können, deren Entwicklung von Geschwindigkeit lebt.
Das Wasser steigt nicht überall gleich
Hinzu kommt ein Aspekt, den die Rede vom „Ende der Menschheit“ leicht verdeckt. Die großen apokalyptischen Szenarien haben etwas eigentümlich Egalitäres: Wenn die Menschheit ausgelöscht wird, sind plötzlich alle Menschen gleich betroffen. Bis dahin dürfte künstliche Intelligenz jedoch sehr viel gewöhnlichere Machtfragen aufwerfen.
Wer besitzt die Modelle? Wer verfügt über die Rechenleistung? Wer kontrolliert die Daten? Wer bestimmt, welche Sprachen, Wissensbestände und kulturellen Vorstellungen in diesen Systemen besonders stark vertreten sind? Wer profitiert von automatisierter Arbeit, und wer erlebt lediglich, dass die eigene Arbeit automatisiert wird?
Vielleicht ist die ferne Möglichkeit einer außer Kontrolle geratenen Superintelligenz deshalb nicht einmal die einzige interessante Frage. Ebenso wichtig ist, was Menschen mithilfe sehr leistungsfähiger Systeme mit anderen Menschen tun können.
Technologien verteilen Macht selten gleichmäßig; sie verändern vielmehr ihre Architektur. Der Besen trägt dann nicht nur Wasser, sondern entscheidet indirekt mit darüber, wer trocken bleibt.
Der alte Goethe im Serverraum
Es wäre verführerisch, aus dem „Zauberlehrling“ eine Warnung vor künstlicher Intelligenz zu machen. Aber damit würde man sowohl Goethe als auch der Gegenwart Unrecht tun. Die Ballade ist keine Technikfeindlichkeit avant la lettre, und künstliche Intelligenz ist kein Besen mit digitalem Stiel. Literatur funktioniert interessanter, wenn sie nicht als Orakel behandelt wird.
Goethe beschreibt vielmehr eine Struktur, die älter ist als jede konkrete Technologie: Der Mensch erweitert seine Macht und entdeckt anschließend, dass Macht nicht dasselbe ist wie Kontrolle. Zwischen dem Hervorbringen einer Wirkung und ihrer Beherrschung liegt ein Abstand, der mit der Größe unserer Werkzeuge wachsen kann.
Genau deshalb lohnt es sich, den Warnungen der KI-Forscher zuzuhören, ohne sie sogleich in Weltuntergangsgewissheiten zu verwandeln. Wer Risiken benennt, beweist damit nicht, dass sie eintreten werden. Doch eine Gesellschaft, die Technologien von bisher unbekannter Reichweite entwickelt, wäre schlecht beraten, nur jene Stimmen ernst zu nehmen, die ihr versichern, alles werde schon gutgehen.
Vielleicht ist das die stillere Lehre des Zauberlehrlings. Nicht, dass Menschen keine Geister rufen sollten. Ohne diesen Impuls gäbe es vermutlich weder Wissenschaft noch Kunst, weder Entdeckungen noch Fortschritt. Entscheidend ist vielmehr, ob eine Kultur, die das Hervorrufen immer weiter perfektioniert, ebenso viel Aufmerksamkeit auf die Kunst des Begrenzens verwendet.
Goethes Meister wusste noch, welches Wort den Besen anhält. Wir dagegen bauen inzwischen sehr gute Besen, und ob wir mit derselben Sorgfalt an dem Wort arbeiten, wird sich zeigen.
