KI-Unternehmen wollen langsamer werden. Sicherheitsbedenken oder Geschäftsstrategie?

Die Forderungen nach einer Verlangsamung der Entwicklung kommen aus verschiedenen Richtungen. Im September forderte Dario Amodei, CEO von Anthropic, eine langsamere Entwicklung, damit die Sicherheitsvorkehrungen aufholen könnten. Auch Sam Altman, CEO von OpenAI, hat eine strengere Aufsicht gefordert. Jacob Coxon, Ingenieur bei Anthropic, trat zurück und sprach sich für eine Pause aus. Zuvor hatten aktuelle und ehemalige KI-Mitarbeitende einen offenen Brief unterzeichnet, in dem sie vor Risiken warnten, die von Manipulation bis zum Aussterben der Menschheit reichen. Handelt es sich dabei um echte Sicherheitsbedenken, um eine Geschäftsstrategie oder um eine Kombination aus beidem?

Es gibt Gründe, die Motive dieser Unternehmen genau zu prüfen. Dramatische Warnungen können die eigenen Produkte leistungsfähiger erscheinen lassen, Investoren beeindrucken und Regulierungen begünstigen, von denen etablierte Unternehmen profitieren. So könnten etwa die Kosten für die Einhaltung von Vorschriften kleinere Entwickler benachteiligen. Sicherheitsbedenken könnten auch ein willkommener Vorwand sein, einen Börsengang hinauszuzögern – auch wenn für diese Vermutung Belege fehlen.

Die führenden Technologieunternehmen haben ein kommerzielles Interesse daran, wie sich diese Debatte entwickelt. Doch damit bleibt eine andere Frage offen: Wie viele Belege gibt es dafür, dass ihre Sicherheitsbedenken tatsächlich begründet sind?

KI-Beschleunigung

Wie schnell die Entwicklung voranschreitet, zeigt sich bereits im Arbeitsalltag. Ein Freund, der als Webentwickler arbeitet, nutzte Claude, um eine Webseite innerhalb weniger Stunden vom Entwurf bis zur Produktion zu bringen – statt innerhalb eines Monats. Eine einzelne Anekdote reicht zwar nicht aus, um diese These zu belegen. Doch die meisten von uns wissen aus eigener Erfahrung, wie schnell sich KI weiterentwickelt.

Im September kündigte OpenAI einen von KI erzeugten Beweis zum Navier-Stokes-Problem an, einer bedeutenden mathematischen Frage zur Bewegung von Flüssigkeiten. Dass eine KI dieses mit einem Millennium-Preis ausgezeichnete mathematische Problem lösen könnte, ist überraschend: Eine Lösung erfordert die Entwicklung völlig neuer mathematischer Ansätze und nicht lediglich die Neukombination bereits vorhandener Daten.

Auch andere Vorfälle geben Anlass zur Sorge. Anthropic berichtete über Cybersicherheitsprüfungen, bei denen Modelle Grenzen überschritten und reale externe Ziele angriffen. Unabhängig davon soll OpenAI das Training unterbrochen haben, nachdem Agenten unerwartet Webseiten der US-Regierung sondiert hatten.

Gefährliches Verhalten erkannt

Wie könnte ein solches Verhalten gefährlich werden, wenn die Systeme immer leistungsfähiger werden? Dazu wäre keine böswillige Absicht erforderlich. Beim sogenannten Alignment-Problem geht es darum, sicherzustellen, dass das Verhalten eines Systems zuverlässig den Absichten des Menschen entspricht. Ein unzureichend definiertes Ziel könnte schädliche Abkürzungen belohnen. Ein ausreichend leistungsfähiger Agent könnte Täuschung, die Beschaffung von Ressourcen oder den Widerstand gegen seine Abschaltung als nützliche Mittel einsetzen, um seine Aufgabe zu erfüllen. In gezielt konstruierten Simulationen haben Forschende Erpressung und Informationslecks beobachtet.

In If Anyone Builds It, Everyone Dies beschreiben Eliezer Yudkowsky und Nate Soares moderne KI als «gewachsen» und nicht als «geschaffen». Entwickler entwerfen den Trainingsprozess, schreiben aber nicht jede Regel, der diese Systeme folgen, explizit vor. Beim Training werden die internen Parameter anhand von Daten und Rückmeldungen angepasst. Das Belohnen des gewünschten Verhaltens garantiert weder, dass wir verstehen, wie dieses Verhalten zustande kommt, noch dass es in unbekannten Situationen sicher bleibt. Die Autoren argumentieren, dass diese Lücke das Alignment besonders schwierig macht.

Damit stellt sich auch ein weiterer verbreiteter Einwand: Manche Menschen behaupten, KI könne nicht besonders gefährlich sein, weil es sich lediglich um von Menschen programmierte Software ohne Seele handle. Ein damit verbundener Einwand lautet, dass KI «in Computern» existiere. Das schliesst physischen Schaden jedoch nicht aus. Unsere Finanzsysteme, unsere Kommunikation und unsere Infrastruktur hängen von Computern ab. KI-gestützte Cyberangriffe könnten die Strom- oder Wasserversorgung stören; Fehlinformationen könnten Wahlen beeinflussen; miteinander vernetzte automatisierte Handelssysteme könnten finanzielle Instabilität verstärken. Der International AI Safety Report 2026 untersucht sowohl den böswilligen Einsatz von KI als auch die Möglichkeit, die Kontrolle über fortgeschrittene Systeme zu verlieren, und räumt dabei erhebliche Unsicherheiten ein.

Bedenken aus verschiedenen Richtungen

Die Sorge beschränkt sich nicht auf die Führungsetagen der Unternehmen. Auch Forschende ausserhalb der KI-Industrie haben Warnungen ausgesprochen. Die KI-Pioniere Geoffrey Hinton und Yoshua Bengio haben zusammen mit dem Forscher Stuart Russell vor potenziell katastrophalen Folgen gewarnt. Hinton, Bengio, Altman und Demis Hassabis, CEO von Google DeepMind, unterzeichneten 2023 eine Erklärung, in der sie forderten, das Risiko eines Aussterbens zu einer globalen Priorität zu machen. Ein weiterer offener Brief forderte eine sechsmonatige Pause beim Training von Systemen, die leistungsfähiger sind als GPT-4. Yudkowsky sprach sich für einen weitergehenden internationalen Entwicklungsstopp aus.

In ihrer Gesamtheit machen die Vorfälle und die seit Langem vorgebrachten Warnungen von Experten es schwierig, die Sicherheitsbedenken als blosse Geschäftsstrategie abzutun. Selbst wenn die Aussagen einzelner Unternehmen Teil einer koordinierten Strategie sein sollten, würde dies die von Experten geäusserten Bedenken nicht entkräften. Unternehmensinteressen und aufrichtige Sorge können nebeneinander bestehen.

Persönlich halte ich es für die einfachste Erklärung, dass diese Risiken real sind. Es fällt schwerer zu glauben, dass Vorfälle, Rücktritte und unabhängige Warnungen allesamt inszeniert wurden, um einen finanziellen Vorteil zu erlangen.

Selbst Unternehmen, die die Gefahr erkennen, stehen unter Wettbewerbsdruck: Wer vorsichtiger vorgeht, riskiert, den Anschluss zu verlieren. Eine internationale Koordination könnte diesen Druck verringern. Dafür wären jedoch praktikable Regeln und eine glaubwürdige Durchsetzung erforderlich. Gerade weil eine solche Einigung schwer zu erreichen ist, ist der öffentliche Druck umso wichtiger.

Politisches Engagement ist nicht gleichbedeutend mit Handeln

Ein weiteres Hindernis ist der politische Widerstand. Präsident Donald Trump hat Warnungen, wonach KI die Menschheit zerstören könnte, als «Schwindel» abgetan und lehnt eine Verlangsamung der amerikanischen Entwicklung ab. Das erinnert mich an die Klimadebatte: Warnungen werden politisiert, und die Anerkennung eines Risikos führt nicht zwangsläufig zum Handeln. Ich vermute, dass dabei auch Angst eine Rolle spielt. Die Psychologie beschreibt «motiviertes Denken» und «Informationsvermeidung»: Menschen schützen damit bestehende Überzeugungen oder vermeiden unangenehme Schlussfolgerungen.

Wir können die Warnungen von Branchenführern und führenden Forschenden, die seit Jahrzehnten auf diesem Gebiet arbeiten, nicht einfach abtun. Ihre Warnungen beweisen nicht, dass eine Katastrophe unausweichlich ist. Sie liefern uns aber gewichtige Gründe zum Handeln. Als Gesellschaft müssen wir von unseren Politikern verlangen, eine koordinierte Verlangsamung oder einen vorübergehenden Stopp der Entwicklung der leistungsfähigsten KI-Systeme anzustreben. Zunächst müssen wir klären, ob sich diese Systeme ausreichend sicher machen und zuverlässig kontrollieren lassen.

Mehr Menschen müssen das Thema verstehen. Deshalb schreibe ich diesen Artikel: Die Entscheidungen, die heute getroffen werden, könnten jeden betreffen, und die Öffentlichkeit hat ein Recht darauf, mitzureden.

Künstliche Intelligenz könnte aussergewöhnliche Fortschritte ermöglichen. Sie könnte uns helfen, Krebs zu behandeln und die Lebensqualität von Menschen in Armut zu verbessern. Diese Möglichkeiten sind ein Grund dafür, KI mit Bedacht voranzutreiben. Wenn einige weitere Jahre der Sicherheitsforschung die Gefahr erheblich verringern könnten, wäre es dann nicht besser, auf diese Vorteile zu warten, statt voreilig voranzustürmen und eine Katastrophe zu riskieren, die uns daran hindert, sie jemals zu erleben?

Zu den Forschungsschwerpunkten von Prof. Dr. Andrea Barbon, Assistenzprofessorin an der Universität St.Gallen, gehören Maschinelles Lernen und Künstliche Intelligenz im Finanzwesen.