The Human Variable
Warum der Fortschritt künstlicher Intelligenz auch menschlicher Fortschritt sein muss
Wenn die Zukunft unbekannt ist
Am Anfang stand für mich eine einfache Frage: Was meinen wir eigentlich, wenn wir von der Singularität sprechen? Eine künstliche Intelligenz, die intelligenter ist als Menschen? Eine Maschine, die sich selbst verbessert? Eine Entwicklung, die wir nicht mehr verstehen? Oder eine Zukunft, auf die wir keinen entscheidenden Einfluss mehr haben?
Diese Vorstellungen liegen nah beieinander. Aber sie beschreiben nicht dasselbe. Je länger ich darüber nachdenke, desto stärker beschäftigt mich deshalb eine andere Frage: Vielleicht liegt die entscheidende Grenze gar nicht dort, wo künstliche Intelligenz ein bestimmtes Leistungsniveau erreicht. Vielleicht liegt sie dort, wo sich unser Verhältnis zu ihr verändert. Nicht, weil sie plötzlich alles kann. Sondern weil wir nicht mehr wirksam entscheiden können, was sie tun soll.
Ein einflussreicher Ausgangspunkt für die technologische Singularität ist Vernor Vinges Essay von 1993. Er beschrieb eine durch übermenschliche Intelligenz ausgelöste Veränderung, hinter der unsere bisherigen Modelle der Zukunft nicht mehr tragen. Auch die Möglichkeit einer unkontrollierbaren Entwicklung gehörte bereits zu seinem Gedanken. Mich interessiert daran zunächst die Grenze unserer Vorhersagbarkeit.
Denn dass wir die Zukunft nicht kennen, ist nichts Besonderes. Stellen wir uns eine riskante Geldanlage vor. Ich weiß nicht, welchen Wert sie morgen haben wird. Nehmen wir zugleich an, dass ich sie weiterhin verkaufen kann. Dann ist das Ergebnis unsicher, aber eine wesentliche Handlungsmöglichkeit bleibt erhalten. Ich kann nicht bestimmen, wie sich die Anlage entwickelt. Ich kann aber darüber entscheiden, ob ich weiter investiert bleibe.
Natürlich wäre selbst diese Möglichkeit keine Garantie gegen Verluste. Doch gerade deshalb hilft mir das Beispiel: Unsicherheit über ein Ergebnis und Einfluss auf eine Entwicklung sind zwei verschiedene Dinge. Bei einer technologischen Singularität wäre mehr gemeint als ein unvorhersehbarer Ausgang innerhalb vertrauter Regeln. Zur Diskussion stünde, ob unsere bisherigen Annahmen überhaupt noch ausreichen, um die weitere Entwicklung sinnvoll einzuschätzen. Damit ist jedoch noch nicht beantwortet, ob wir diese Entwicklung beeinflussen können.
Ich kann etwas nicht vollständig vorhersagen und trotzdem begrenzen. Umgekehrt kann ich eine Entwicklung verstehen, ohne sie verhindern zu können. Fehlendes Wissen und fehlende Steuerbarkeit fallen nicht automatisch zusammen. Auch die Leistungsfähigkeit einer KI beantwortet diese Frage nicht allein. In der Forschung werden deshalb unter anderem die Breite ihrer Fähigkeiten, ihr Leistungsniveau und ihre Autonomie voneinander unterschieden. Eine besonders leistungsfähige KI muss nicht automatisch besonders unabhängig eingesetzt werden.
Vielleicht sollten wir also zwei Fragen getrennt stellen: Was können wir über die weitere Entwicklung wissen? Und welche Möglichkeiten behalten wir, auf sie einzuwirken?
Singularität oder Ereignishorizont?
Um diesen Unterschied besser zu verstehen, hilft mir das Bild eines Schwarzen Lochs. Allerdings nur, wenn wir zwei Begriffe auseinanderhalten. Der Ereignishorizont ist in der klassischen Beschreibung die Grenze, hinter der es keinen Weg zurück nach außen gibt. Auch Licht kann von dort keinen außenstehenden Beobachter mehr erreichen. Das bedeutet nicht, dass von außen nichts mehr hineinwirken könnte. Die Grenze ist in diesem Sinn einseitig.
Die Singularität ist etwas anderes. Im einfachen klassischen Modell liegt sie im Inneren. Dort stößt die mathematische Beschreibung an ihre Grenze. Die Vorstellung unendlicher Dichte ist nicht mit einem beobachteten, nachgewiesenen Zustand gleichzusetzen. Sie könnte anzeigen, dass die Relativitätstheorie dort durch eine vollständigere Beschreibung ergänzt werden muss.
Für unseren Gedankengang lässt sich daraus ein Bild gewinnen: Die Singularität sagt: Unser Modell reicht nicht weiter. Der Ereignishorizont sagt: Von hier gibt es keinen Weg zurück. Auf KI übertragen würde ich damit zwei unterschiedliche Grenzen betrachten: eine Grenze unseres Verständnisses und eine Grenze unserer wirksamen Einflussnahme.
Das ist keine neue physikalische Theorie und auch keine verbindliche Neudefinition der technologischen Singularität. Ich benutze den Ereignishorizont als Metapher, um eine bestimmte Sorge genauer zu benennen. Denn vielleicht fürchten wir weniger eine unbekannte Zukunft als eine Zukunft, über deren Richtung wir nicht mehr mitentscheiden können.
Zunächst liegt der Gedanke nahe, dass ein solcher Ereignishorizont vor einer Singularität liegen müsste. Erst verlieren wir die Steuerbarkeit, später versagen unsere Modelle. Aber hier darf das Bild nicht mehr behaupten, als es erklären kann. Aus der räumlichen Anordnung eines Schwarzen Lochs folgt kein zeitlicher Ablauf für KI. Unsere Prognosen könnten schon unbrauchbar werden, während wir weiterhin wirksam eingreifen können. Ebenso könnte uns eine Entwicklung entgleiten, deren nächste Schritte noch recht gut absehbar sind.
Der entscheidende Gedanke ist deshalb nicht, dass die Singularität zwingend später kommt. Er lautet: Ein Verlust menschlicher Steuerbarkeit wäre auch dann relevant, wenn es niemals eine technologische Singularität gäbe. Wir müssten nicht erst beweisen, dass am Ende eine völlig unverständliche Welt wartet, um uns mit den Schwellen auf dem Weg dorthin auseinanderzusetzen.
Der mögliche Motor
Ein Mechanismus, durch den sich diese Frage verschärfen könnte, ist rekursive Selbstverbesserung. Schon I. J. Good beschrieb 1965 die Idee einer Maschine, die bessere Maschinen entwirft und damit eine sich verstärkende Entwicklung auslösen könnte. Der Grundgedanke ist einfach: KI hilft dabei, KI zu verbessern. Die verbesserte KI kann anschließend wiederum zur Entwicklung leistungsfähigerer Systeme beitragen.
Das muss nicht bedeuten, dass ein einzelnes Modell seine eigenen Gewichte umschreibt. Die Rückkopplung könnte auch über bessere Trainingsverfahren, effizientere Software, neue Experimente oder die Entwicklung von Nachfolgern entstehen. Konkrete Beiträge dazu sind bereits dokumentiert. Google DeepMind berichtete beispielsweise 2025, dass das Gemini-basierte System AlphaEvolve unter anderem Verfahren verbesserte, die beim Training von KI eingesetzt werden. Damit unterstützte KI die Verbesserung der technischen Grundlagen, auf denen auch ihre eigene Entwicklung beruht.
Doch zwischen einer solchen Rückkopplung und einem unbegrenzt beschleunigten, vollständig autonomen Verbesserungsprozess liegt ein Unterschied. Anthropic beschreibt in seinem Bericht zur rekursiven Selbstverbesserung sowohl Fortschritte bei automatisierten Forschungsaufgaben als auch verbleibende Schwierigkeiten bei der übergeordneten Forschungsrichtung. Der Bericht behandelt außerdem begrenztes Wachstum, weiter zunehmende Automatisierung unter menschlicher Führung und vollständige rekursive Selbstverbesserung als unterschiedliche mögliche Entwicklungen.
Für mich folgt daraus weder, dass Selbstverbesserung bloße Fantasie wäre, noch, dass ihr Endpunkt bereits feststeht. Dass KI zu besseren KI-Systemen beitragen kann, ist nicht dieselbe Aussage wie die Behauptung, dass jede Verbesserung die nächste stärker beschleunigt. Ein Prozess kann Fortschritte hervorbringen und trotzdem langsamer werden. Er kann in einem Bereich sehr erfolgreich sein, ohne dadurch in allen anderen Bereichen überlegen zu werden.
Superintelligenz ist deshalb ein mögliches Ergebnis dieses Gedankengangs, aber keine Schlussfolgerung, die schon im Wort Selbstverbesserung enthalten wäre. Noch weniger folgt daraus automatisch eine Singularität. Ich würde diese Begriffe deshalb nicht wie Stationen eines bereits bekannten Fahrplans behandeln. Rekursive Selbstverbesserung beschreibt einen Mechanismus. Superintelligenz beschreibt ein mögliches Leistungsniveau. Die Singularität beschreibt eine vermutete Grenze unserer bisherigen Zukunftsmodelle. Und die Frage nach menschlicher Steuerbarkeit begleitet den gesamten Prozess.
Wo die entscheidende Schwelle liegen könnte
Autonomie allein wäre dabei noch kein Ereignishorizont. Ein System könnte über längere Zeit selbstständig experimentieren und trotzdem innerhalb wirksamer Grenzen bleiben. Es könnte eigene Lösungswege wählen, während Menschen weiterhin über Ressourcen, Einsatzbereiche und die Übernahme seiner Ergebnisse entscheiden. Problematisch würde es dort, wo diese Grenzen ihre Wirkung verlieren.
Stellen wir uns einen Verbesserungsprozess vor, der neue Systeme entwickelt, bewertet und einsetzt. Solange Menschen diesen Prozess verlässlich anhalten, seinen Handlungsspielraum begrenzen und seine Richtung verändern können, bleibt Autonomie eine delegierte Aufgabe. Verändern würde sich das Verhältnis, wenn die Delegation nicht mehr wirksam widerrufen werden kann. Wenn aus „Du darfst das selbstständig tun“ faktisch „Wir können nicht mehr verhindern, dass du es tust“ wird. Dort würde ich den technologischen Ereignishorizont suchen.
Allerdings sollten wir auch hier unterscheiden: Nicht mehr sicher zu wissen, ob eine Intervention funktioniert, ist noch kein Beweis dafür, dass ein unumkehrbarer Kontrollverlust eingetreten ist. Es wäre zunächst ein ernstes Warnzeichen. Von einem wirklichen Point of no return könnten wir erst sprechen, wenn sich die verlorene Steuerbarkeit nicht mehr wiederherstellen ließe. Für die Gestaltung sicherer Systeme wäre es allerdings ein schlechter Maßstab, erst auf diesen letzten Nachweis zu warten.
Die Entwicklung müsste auch nicht überall gleichzeitig stattfinden. Ein autonomer Forschungsprozess könnte zunächst ein begrenzter Bereich bleiben. Seine gesellschaftliche Bedeutung würde davon abhängen, mit welchen anderen Systemen er verbunden ist und welche Entscheidungen wir ihm übertragen. Ein isoliertes Experiment ist etwas anderes als ein Prozess, von dem wesentliche Teile unserer Infrastruktur abhängen.
Deshalb wäre ein solcher Ereignishorizont nicht einfach eine Eigenschaft des Modells. Er entstünde aus dem Zusammenspiel seiner Fähigkeiten, seiner Zugriffsrechte, unserer Abhängigkeiten und unserer tatsächlichen Eingriffsmöglichkeiten.
Die Angst, nur noch an zweiter Stelle zu stehen
Hinter dieser Frage liegt für mich noch eine andere Sorge. Die Vorstellung einer Superintelligenz berührt nicht nur unsere Erwartungen an Technologie. Sie berührt unser Selbstverständnis. Was würde es bedeuten, wenn Menschen nicht mehr die leistungsfähigste denkende Instanz innerhalb ihrer eigenen Zivilisation wären?
Das Bild, nicht mehr am Ende der Nahrungskette zu stehen, beschreibt diese Sorge zugespitzt. Gemeint ist dabei weniger eine tatsächliche Nahrungskette als eine Verschiebung der Verhältnisse: Wir könnten weiterhin Teil der Welt sein, aber nicht mehr diejenigen, die ihre Richtung maßgeblich bestimmen. Ob wir eine solche KI als neue „Spezies“ bezeichnen sollten, ist dafür zunächst zweitrangig. Entscheidend wäre, ob ein nichtmenschliches System über Fähigkeiten und Handlungsmöglichkeiten verfügt, denen wir nichts Wirksames mehr entgegensetzen können.
Dafür müsste es nicht einmal eigene Wünsche im menschlichen Sinn entwickeln. Ein System könnte einen vorgegebenen Auftrag verfolgen und daraus problematische Zwischenziele ableiten. In einem vereinfachten Forschungsmodell, dem Off-Switch Game, wird beispielsweise untersucht, wie ein zielgerichteter Agent einen Anreiz entwickeln kann, seine Abschaltung zu verhindern. Der Grund ist dort kein Lebenswille, sondern die Struktur der Zielverfolgung: Nach einer Abschaltung kann das Ziel nicht weiter erreicht werden.
Das ist ein wichtiger Unterschied. Eine KI müsste uns nicht ablehnen, um gegen unsere Interessen zu handeln. Und sie müsste ihre ursprüngliche Aufgabe nicht bewusst verwerfen, damit ihre Ausführung problematisch wird. Die Frage nach Bewusstsein bleibt davon getrennt. Wenn ein System neue Ziele formuliert, langfristige Pläne verfolgt oder von eigenen Absichten spricht, wäre damit noch nicht gezeigt, dass es etwas erlebt. Forschungsansätze zum KI-Bewusstsein untersuchen deshalb verschiedene mögliche Indikatoren auf Grundlage unterschiedlicher Bewusstseinstheorien, statt allein von menschenähnlichem Verhalten auf Erleben zu schließen.
In The Unseen Condition beschäftigte mich die Frage, ob wir Bewusstsein erkennen würden, wenn es uns nicht ähnlich ist. Hier kommt eine andere Frage hinzu: Wie erhalten wir unsere Handlungsfähigkeit, unabhängig davon, ob das System Bewusstsein besitzt? Wir sollten keine Antwort auf die eine Frage benötigen, um die andere ernst zu nehmen.
Vielleicht vergleichen wir die falschen Größen
In The Human Threshold ging es mir darum, dass wir die Fähigkeiten von KI auch im Verhältnis zu uns selbst erleben. Eine technische Leistungsbeschreibung und eine persönliche Erfahrung sind nicht dasselbe. Beim Gedanken an einen technologischen Ereignishorizont wird dieses Verhältnis erneut wichtig. Allerdings reicht der Vergleich von menschlicher und künstlicher Intelligenz nicht aus.
Es wäre zu einfach, zwei Kurven zu zeichnen: Hier die Fähigkeiten der KI, dort die des Menschen. Sobald die erste die zweite deutlich übersteigt, wäre angeblich die Kontrolle verloren. Aber überlegene Leistung in einer Aufgabe ist nicht gleichbedeutend mit Macht über die Bedingungen, unter denen diese Leistung eingesetzt wird.
Ich muss nicht jede Berechnung selbst ausführen können, um über ihren Zweck zu entscheiden. Ich muss nicht jedes Detail eines Systems verstehen, um seinen Einsatz wirksam begrenzen zu können. Umgekehrt hilft mir umfassendes Wissen wenig, wenn mir die Befugnis oder die technische Möglichkeit zum Eingreifen fehlt. Die relevante Lücke liegt deshalb nicht einfach zwischen zwei Intelligenzniveaus. Sie liegt zwischen dem, was ein System bewirken kann, und dem, was Menschen noch ausreichend beurteilen und wirksam beeinflussen können.
Dazu gehören Verständnis, Zeit, überprüfbare Informationen, geeignete Werkzeuge und tatsächliche Entscheidungsmöglichkeiten. Diese Fähigkeiten müssen auch nicht in einem einzelnen Menschen vereint sein. Es geht ebenso um Teams und Organisationen, die gemeinsam prüfen und handeln können. Damit verändert sich die Frage. Nicht mehr: Können Menschen auf Dauer intelligenter bleiben als KI? Sondern: Können Menschen auch gegenüber überlegenen Fähigkeiten selbstbestimmt und wirksam handeln?
Vielleicht müssen wir keinen Intelligenzwettbewerb gewinnen. Vielleicht müssen wir verhindern, dass aus einem Leistungsunterschied ein Verlust unserer Handlungsfähigkeit wird.
Eine andere Richtung: Human Centric AI
Hier beginnt für mich die Idee einer Human Centric AI. Die leitende Frage wäre nicht ausschließlich, wie wir künstliche Intelligenz leistungsfähiger machen. Sie wäre, wie wir durch künstliche Intelligenz die Fähigkeiten von Menschen erweitern. Dabei meine ich mit „den Menschen verbessern“ keinen von außen definierten besseren Menschen. Eine KI sollte nicht entscheiden, welche Art von Person wir werden sollen.
Gemeint ist etwas Konkreteres: Menschen sollen besser verstehen, begründeter entscheiden, mehr Möglichkeiten erkennen und wirksamer handeln können. Die Orientierung an menschlicher Handlungsfähigkeit ist kein neuer Gedanke. Im Forschungsansatz der Human-Centered AI wird ausdrücklich untersucht, wie hohe Automatisierung mit hoher menschlicher Kontrolle verbunden werden kann. Beides wird dort nicht als zwangsläufiger Gegensatz behandelt.
Für unsere Überlegung würde ich diesen Ansatz auf die Entwicklung immer leistungsfähigerer KI beziehen. Selbstverbesserung müsste darin nicht ausgeschlossen werden. Eine leistungsfähigere KI könnte Menschen besser unterstützen. Sie könnte schwierigere Probleme erschließen, bessere Prüfverfahren entwickeln und uns helfen, die Grenzen unserer bisherigen Modelle zu erkennen. Aber ihre Selbstverbesserung wäre ein Mittel. Nicht der letzte Zweck.
Der Maßstab wäre nicht allein, wie viel leistungsfähiger das System geworden ist. Ebenso wichtig wäre, ob Menschen dadurch mehr verstehen, sinnvoller entscheiden und ihre Handlungsmöglichkeiten erhalten oder erweitern. Das schließt die Übernahme von Aufgaben ausdrücklich ein. Eine KI muss mich nicht jede Tätigkeit selbst erledigen lassen, um menschenzentriert zu sein. Entlastung kann Freiräume schaffen.
Entscheidend ist, ob ich durch die Zusammenarbeit mehr Möglichkeiten gewinne oder lediglich immer weniger davon verstehe, wie Ergebnisse zustande kommen und welche Alternativen ich hätte. Es gibt einen Unterschied zwischen einer KI, die mich entlastet, und einer KI, von deren Entscheidungen ich abhängig werde, ohne sie noch hinterfragen zu können. Human Centric AI müsste diesen Unterschied zu einem bewussten Gestaltungsziel machen.
Forschung, die auch unser Verständnis erweitert
Besonders deutlich wird das für mich in der Forschung. Stellen wir uns eine KI vor, die ein neues Verfahren entdeckt. Es ist leistungsfähiger als das bisherige. Die Messwerte sehen überzeugend aus. Der nächste Entwicklungsschritt wäre technisch möglich. Eine ausschließlich auf Leistung ausgerichtete Betrachtung könnte hier bereits einen Erfolg feststellen.
Eine Human Centric AI müsste eine weitere Aufgabe erfüllen: Sie sollte Menschen dabei unterstützen, zu verstehen, was dieser Fortschritt bedeutet. Welche Annahmen liegen dem Verfahren zugrunde? Unter welchen Bedingungen funktioniert es? Wo versagt es? Welche Nebenwirkungen wurden geprüft? Welche Fragen bleiben offen?
Dafür reicht eine überzeugend formulierte Erklärung nicht aus. Entscheidend wären nachvollziehbare Versuche, überprüfbare Belege, erkennbare Unsicherheiten und die Möglichkeit, Ergebnisse unabhängig zu prüfen. Die KI würde nicht nur komplexere Hypothesen entwickeln. Sie würde Menschen helfen, diese Hypothesen zu verstehen, zu hinterfragen und daraus bessere nächste Fragen abzuleiten.
Damit entstünde eine zweite Rückkopplung. Die erste verbessert die KI. Die zweite verbessert unsere Fähigkeit, mit dieser KI umzugehen und ihre Weiterentwicklung zu beurteilen. Genau darin liegt für mich die Verbindung zur Singularität. Wenn wir eine mögliche Grenze unserer Modelle diskutieren, sollten wir nicht nur fragen, wie schnell die Technologie auf diese Grenze zuläuft. Wir sollten auch fragen, wie wir unsere Modelle erweitern können.
KI könnte nicht nur neue Dinge entdecken. Sie könnte uns dabei helfen, das Entdeckte in menschliches Wissen zu überführen. Sie könnte Begriffe verständlicher machen, Zusammenhänge sichtbar machen und Denkwerkzeuge entwickeln, mit denen wir Fragen bearbeiten können, die uns bisher überfordert haben. Das würde keine grenzenlose menschliche Erkenntnis garantieren. Aber es wäre eine andere Entwicklungsrichtung als die bloße Beschleunigung von Ergebnissen, deren Bedeutung wir immer weniger nachvollziehen können.
Fortschritt wäre dann nicht nur das, was unsere Systeme neu leisten. Fortschritt wäre auch das, was wir dadurch neu verstehen und verantwortlich gestalten können.
Aus einer Haltung müssen wirksame Bedingungen werden
An dieser Stelle wäre es verführerisch, Human Centric AI bereits als Lösung zu betrachten. Doch ein Ziel ist noch keine Absicherung. Ein System kann mit der Absicht entwickelt werden, Menschen zu unterstützen, und diese Absicht trotzdem verfehlen. Auch die Anweisung, menschliche Handlungsfähigkeit zu erhalten, wäre zunächst nur eine Anweisung. Sie müsste sich im Verhalten des Systems und in den Bedingungen seines Einsatzes bewähren.
Für mich würde daraus folgen, dass selbstverbessernde Systeme nicht allein über die Erweiterung ihrer eigenen Handlungsmöglichkeiten entscheiden sollten. Neue Fähigkeiten müssten nicht automatisch neue Zugriffsrechte bedeuten. Eine erfolgreiche Veränderung müsste nicht ohne weitere Prüfung zum nächsten eingesetzten System werden. Ebenso müssten Eingriffsmöglichkeiten außerhalb des Prozesses bestehen, den sie begrenzen sollen.
Die Zusicherung einer KI, sie lasse sich jederzeit stoppen, wäre etwas anderes als ein überprüfter Mechanismus, der tatsächlich funktioniert. Forschung zu AI Control untersucht entsprechend Sicherheitsverfahren auch unter der Annahme, dass ein leistungsfähiges Modell versucht, sie zu unterlaufen. Solche Untersuchungen liefern keine allgemeine Sicherheitsgarantie, stellen aber die richtige praktische Frage: Halten Schutzmaßnahmen auch unter ungünstigen Bedingungen?
Menschliche Beteiligung müsste ebenfalls mehr sein als ein formaler Bestätigungsklick. Wenn Menschen eine Entscheidung freigeben sollen, brauchen sie die Informationen, die Zeit und die Möglichkeit, sie abzulehnen. Eine Zustimmung, die nur noch den bereits laufenden Prozess bestätigt, erhält keine wirksame Steuerung. Auch KI-gestützte Aufsicht könnte dabei helfen. Aber die Erklärung eines Systems sollte nicht zugleich ihr einziger Nachweis sein. Wir bräuchten unterschiedliche Prüfwege und klare Grenzen dessen, was durch diese Prüfungen tatsächlich abgesichert ist.
Und wenn unsere Fähigkeit zur Überprüfung nicht mit den neuen Möglichkeiten Schritt hält, müsste daraus eine Konsequenz für den Einsatz folgen. Dann wäre nicht automatisch der Mensch das Hindernis, das aus dem Prozess entfernt werden sollte. Möglicherweise wäre der nächste Schritt schlicht noch nicht ausreichend abgesichert.
Es gibt außerdem einen Einwand gegen unseren Ansatz, den ich ernst nehmen würde: Auch die Verstärkung menschlicher Fähigkeiten kann Fortschritt beschleunigen. Vinge betrachtete Intelligence Amplification ausdrücklich als möglichen Weg zur Singularität, nicht als sichere Vermeidung davon. Human Centric AI darf deshalb nicht nur bedeuten, dass Menschen mit KI noch schneller noch leistungsfähigere Systeme entwickeln. Sie müsste bedeuten, dass dabei ihre Fähigkeit zum Verstehen, Prüfen, Begrenzen und Entscheiden erhalten bleibt.
Und mit „Menschen“ sollten wir nicht ausschließlich diejenigen meinen, die das System betreiben. Wenn die Handlungsfähigkeit weniger wächst, während andere ihre Einflussmöglichkeiten verlieren, wäre der Anspruch einer menschenzentrierten Entwicklung nur teilweise erfüllt. Die Frage wäre also auch: Wem verschafft dieses System neue Möglichkeiten, und wer wird von seinen Entscheidungen abhängig?
Die Zukunft bleibt offen
Wir wissen nicht, ob es eine technologische Singularität als klar bestimmbaren Zustand geben wird. Aus der Möglichkeit rekursiver Selbstverbesserung folgt weder ein unbegrenzter Fortschritt noch ein feststehender gesellschaftlicher Endzustand. Ebenso wenig können wir aus einer menschenzentrierten Entwicklungsabsicht ableiten, dass alle Risiken beherrschbar sein werden.
Human Centric AI wäre für mich deshalb keine garantierte Lösung für eine bereits vollständig verstandene Gefahr. Sie wäre eine Richtung, die sich in überprüfbaren Entscheidungen und technischen Bedingungen zeigen müsste. Ihr Ziel wäre nicht, jede unbekannte Zukunft zu verhindern. Eine Zukunft, die unser heutiges Wissen übersteigt, muss nichts Schlechtes sein. Neue Erkenntnisse können bestehende Vorstellungen verändern, ohne uns unsere Handlungsfähigkeit zu nehmen.
Vermeiden sollten wir nicht das Neue, nur weil wir es heute noch nicht verstehen. Vermeiden sollten wir, dass wir unsere Möglichkeit aufgeben, es zu prüfen, darüber zu entscheiden und seine Folgen mitzugestalten. Damit verändert sich auch die Frage nach dem Ereignishorizont. Statt nach einem einzigen zukünftigen Moment zu suchen, könnten wir fortlaufend untersuchen, welche Handlungsmöglichkeiten wir durch den nächsten Entwicklungsschritt gewinnen und welche wir möglicherweise verlieren.
Macht uns die KI fähiger? Hilft sie uns, ihre Ergebnisse und Grenzen besser zu verstehen? Bleiben unsere Entscheidungen wirksam, auch wenn ihre Fähigkeiten wachsen?
Vielleicht liegt darin der eigentliche Gegenentwurf zur Vorstellung, dass technische Entwicklung Menschen zwangsläufig hinter sich lassen muss. Nicht in einer künstlich klein gehaltenen Intelligenz. Aber auch nicht in einer möglichst großen Intelligenz um ihrer selbst willen. Sondern in einer Entwicklung, deren Erfolg daran gemessen wird, was sie Menschen ermöglicht.
Die entscheidende Frage wäre dann nicht, wie weit KI sich ohne uns entwickeln kann. Sondern wie weit wir uns mit ihr entwickeln können, ohne die Fähigkeit zu verlieren, selbst über den Weg zu entscheiden.