Warum neue Technologien ihre Katastrophen brauchen

Über eine wiederkehrende Gesetzmäßigkeit des technischen Fortschritts – und darüber, welche Katastrophe der künstlichen Intelligenz noch bevorstehen könnte.

Der Fortschritt hat ein merkwürdiges Gedächtnis

Wir leben in einer Welt erstaunlich sicherer Technologien. Flugzeuge transportieren täglich Millionen Menschen, Hochdruckanlagen arbeiten jahrzehntelang, Arzneimittel durchlaufen aufwendige Prüfverfahren, und selbst gewöhnliche Automobile verfügen über Sicherheitssysteme, die vor wenigen Jahrzehnten noch undenkbar waren.

Diese Sicherheit ist allerdings keineswegs selbstverständlich. Sie ist auch nicht einfach das Ergebnis einer stetigen Verbesserung technischer Fähigkeiten.

Ein erheblicher Teil unseres heutigen Sicherheitswissens entstand erst, nachdem Menschen gestorben waren.

Dampfkessel mussten explodieren, bevor systematische Prüfungen selbstverständlich wurden. Flugzeuge mussten abstürzen, bevor Unfalluntersuchungen zu einem wesentlichen Bestandteil der Luftfahrt wurden. Arzneimittel mussten schwerste Schäden verursachen, bevor ihre Zulassung grundlegend verändert wurde.

Die Geschichte technischer Sicherheit ist deshalb zu einem beträchtlichen Teil eine Geschichte von Katastrophen.

Das bedeutet nicht, dass Katastrophen notwendig oder gar wünschenswert wären. Es bedeutet, dass unsere Gesellschaft offenbar einen bemerkenswerten Mechanismus entwickelt hat: Sie lernt den sicheren Umgang mit neuen technischen Möglichkeiten häufig erst, nachdem deren Gefahren praktisch demonstriert wurden.

Warum eigentlich?

Die technische Fähigkeit entsteht vor ihrer Beherrschung

Eine neue Technologie wird zunächst entwickelt, weil sie etwas ermöglicht, das bisher unmöglich, schwierig oder teuer war.

Die Dampfmaschine stellt mechanische Energie bereit. Die Eisenbahn transportiert Menschen und Güter in bisher unerreichter Geschwindigkeit. Röntgenstrahlen erlauben den Blick in den menschlichen Körper. Das Automobil verspricht individuelle Mobilität.

Die neue Fähigkeit ist unmittelbar erkennbar. Ihr Nutzen lässt sich demonstrieren, messen und wirtschaftlich verwerten.

Ihre Risiken dagegen sind zunächst häufig nur unvollständig bekannt.

Das liegt nicht unbedingt an mangelnder Sorgfalt der Erfinder. Vielmehr entstehen viele Gefahren erst durch die praktische Verwendung einer Technologie, durch ihre Verbreitung und durch ihre Wechselwirkungen mit anderen technischen und gesellschaftlichen Systemen.

Ein einzelnes Automobil ist eine bemerkenswerte Maschine. Millionen Automobile verändern dagegen die gesamte Verkehrsordnung, die Gestaltung der Städte und das Unfallgeschehen.

Ein einzelnes Flugzeug kann unter kontrollierten Bedingungen zuverlässig funktionieren. Ein weltweites Luftverkehrssystem erzeugt dagegen neue Anforderungen an Wartung, Ausbildung, Kommunikation, Flugsicherung und organisatorische Verantwortung.

Die technische Fähigkeit wird entwickelt, bevor das vollständige System bekannt ist, in dem sie später verwendet werden wird.

Daraus entsteht eine zeitliche Asymmetrie: Die Leistungsfähigkeit einer Technologie wächst häufig schneller als das Wissen darüber, wie man sie sicher beherrscht.

Wir können diesen Abstand als Safety Lag bezeichnen – als Verzögerung zwischen technischer Entwicklung und Sicherheitsentwicklung.

Zehn Technologien, zehn Formen desselben Problems

Die Geschichte liefert zahlreiche Beispiele. Sie folgen keinem vollkommen identischen Ablauf. Gerade ihre Unterschiede machen das zugrunde liegende Muster interessant.

Dampfkessel: Die industrielle Nutzung von Dampfdruck entwickelte sich schneller als die zuverlässige Beherrschung von Werkstoffqualität, Konstruktion, Wartung und Betrieb. Kesselexplosionen führten zur Entwicklung von Prüfvereinen, technischen Normen und systematischen Inspektionen. Die späteren Technischen Überwachungsvereine stehen in dieser Tradition.

Eisenbahn: Mit der neuen Geschwindigkeit entstanden Risiken, für die bestehende Verkehrsregeln ungeeignet waren. Zusammenstöße, Entgleisungen und Signalfehler machten deutlich, dass die Sicherheit nicht allein von der Lokomotive abhing. Es mussten Sicherungssysteme, Betriebsordnungen und verbindliche Kommunikationsverfahren entwickelt werden.

Röntgenstrahlen: Die medizinische Revolution begann, bevor die biologischen Folgen ionisierender Strahlung ausreichend verstanden waren. Strahlenschäden bei Forschern und medizinischem Personal trugen dazu bei, Strahlenschutz, Expositionsgrenzen und Dosimetrie zu entwickeln.

Automobil: Die Fähigkeit, Fahrzeuge immer schneller und zuverlässiger zu bewegen, entstand lange vor dem heutigen System aus Verkehrsregeln, Führerscheinen, passiver Sicherheit, Unfallforschung und Infrastrukturplanung. Viele dieser Maßnahmen wurden erst durch das Ausmaß des Unfallgeschehens politisch durchsetzbar.

Luftfahrt: Die Entwicklung leistungsfähiger Flugzeuge erforderte zugleich die Entwicklung einer Sicherheitskultur. Unfalluntersuchungen, standardisierte Verfahren, redundante Systeme und die systematische Auswertung beinahe eingetretener Unfälle wurden zu wesentlichen Bestandteilen der Technologie.

Verbleites Benzin: Die Zugabe von Bleiverbindungen verbesserte die Klopffestigkeit von Ottokraftstoffen. Die gesundheitlichen Folgen großflächiger Bleiemissionen wurden dagegen lange unterschätzt, bestritten oder gegenüber dem technischen Nutzen zurückgestellt. Hier war das Problem weniger eine spektakuläre Einzelkatastrophe als eine über Jahrzehnte verteilte Schädigung.

DDT: Das Insektizid ermöglichte eine wirksame Bekämpfung von Schädlingen und Krankheitsüberträgern. Seine Persistenz, seine Anreicherung in Nahrungsketten und seine ökologischen Auswirkungen zeigten jedoch, dass eine lokal nützliche chemische Wirkung auf Systemebene erhebliche Schäden verursachen konnte.

Thalidomid (Contergan): Ein Arzneimittel, das unter anderem als Schlaf- und Beruhigungsmittel vermarktet wurde, verursachte bei Einnahme während der Schwangerschaft schwere Fehlbildungen. Die Katastrophe wurde zu einem entscheidenden Anstoß für strengere Arzneimittelprüfungen und Zulassungsverfahren.

Kernenergie: Die Beherrschung der Kernspaltung brachte neue Möglichkeiten der Energieerzeugung, aber auch Schadenspotenziale, deren Auswirkungen weit über eine einzelne Anlage hinausreichen können. Schwere Unfälle wie Tschernobyl und Fukushima veränderten Sicherheitsanforderungen, Notfallplanung und gesellschaftliche Risikobewertung.

Fluorchlorkohlenwasserstoffe (FCKW): Diese Stoffe erschienen aufgrund ihrer chemischen Stabilität und ihrer praktischen Eigenschaften für zahlreiche Anwendungen besonders geeignet. Gerade ihre Beständigkeit ermöglichte jedoch den Transport in die Stratosphäre, wo ihre Abbauprodukte zum Ozonabbau beitragen. Eine zunächst vorteilhafte Eigenschaft erwies sich auf globaler Ebene als Problem.

Diese Beispiele zeigen, dass der Begriff „Katastrophe“ nicht auf plötzliche Unglücke beschränkt werden darf.

Manchmal explodiert ein Kessel. Manchmal stürzt ein Flugzeug ab. Manchmal werden über Jahrzehnte Millionen Menschen einer schädlichen Substanz ausgesetzt.

Die gemeinsame Struktur besteht nicht in der Art des Schadens, sondern darin, dass die Folgen einer technischen Anwendung erst mit Verzögerung ausreichend erkannt, gesellschaftlich bewertet und institutionell bearbeitet werden.

Warum das Wissen über Risiken nicht ausreicht

Die naheliegende Erklärung lautet, dass Menschen die Gefahren neuer Technologien anfangs einfach nicht kennen.

Das ist allerdings nur ein Teil der Wahrheit.

In zahlreichen Fällen waren Risiken bereits bekannt oder zumindest prinzipiell erkennbar, bevor die entscheidenden Schadensereignisse eintraten.

Das Problem besteht daher nicht ausschließlich in einem Mangel an Wissen.

Es besteht auch darin, dass technischer Nutzen und technisches Risiko unter unterschiedlichen Bedingungen wirksam werden.

Der Nutzen einer Innovation ist häufig unmittelbar verfügbar. Er erzeugt wirtschaftliche Interessen, Wettbewerbsvorteile und gesellschaftliche Erwartungen.

Ein möglicher zukünftiger Schaden ist dagegen unsicher. Er lässt sich bestreiten, relativieren oder als beherrschbar darstellen. Seine Vermeidung verursacht gegenwärtige Kosten, während der vermiedene Schaden möglicherweise niemals sichtbar wird.

Daraus entsteht eine strukturelle Schieflage.

Wer eine neue Technologie einführt, kann ihren Nutzen demonstrieren. Wer vor einer möglichen Katastrophe warnt, muss häufig ein Ereignis begründen, das noch nicht stattgefunden hat.

Hinzu kommt, dass sich viele Risiken erst aus der Verbreitung einer Technologie ergeben.

Ein Hersteller kann sein Produkt unter definierten Bedingungen testen. Er kann jedoch nicht jede spätere Verwendung, jede Kombination mit anderen Systemen und jede gesellschaftliche Rückkopplung vorhersehen.

Die reale Welt ist kein vergrößertes Prüflabor.

Sie verändert sich durch die Technologie selbst.

Die Katastrophe verändert die Beweislast

Eine Katastrophe erzeugt nicht zwangsläufig neues technisches Wissen. Häufig bestätigt sie lediglich eine Gefahr, vor der bereits gewarnt wurde.

Was sich jedoch verändert, ist die gesellschaftliche und institutionelle Bewertung dieses Wissens.

Vor dem Schadensereignis müssen Kritiker häufig begründen, warum zusätzliche Sicherheitsmaßnahmen notwendig sind.

Nach dem Schadensereignis müssen die Betreiber erklären, warum ihre Technologie trotz der nachgewiesenen Gefahr weiterhin eingesetzt werden soll.

Die Beweislast verschiebt sich.

Damit verändern sich auch die wirtschaftlichen Anreize. Sicherheitsmaßnahmen, die zuvor als kostspielige Einschränkung galten, werden plötzlich zu Voraussetzungen für die weitere Nutzung.

Neue Institutionen entstehen. Prüfverfahren werden verbindlich. Technische Standards werden überarbeitet. Unfälle werden dokumentiert und untersucht.

Das ist der eigentliche Wendepunkt.

Eine Technologie wird nicht allein dadurch reif, dass ihre Maschinen besser funktionieren. Sie wird reif, wenn eine Infrastruktur entsteht, die ihre Fehler erkennt, ihre Risiken begrenzt und aus Schadensereignissen systematisch lernt.

Zur ausgereiften Luftfahrt gehört deshalb nicht nur das Flugzeug, sondern auch die Flugsicherung, die Ausbildung, die Wartung, die Unfalluntersuchung und das internationale Regelwerk.

Zur ausgereiften Arzneimittelentwicklung gehört nicht nur der Wirkstoff, sondern auch die klinische Prüfung, die Zulassung und die Überwachung unerwünschter Wirkungen nach der Markteinführung.

Eine reife Technologie besteht aus ihrer technischen Leistungsfähigkeit, ihrem Sicherheitsapparat und einem dauerhaften Lernsystem.

Der eigentliche Entwicklungszyklus

Das historische Muster lässt sich folgendermaßen beschreiben:

Technische Fähigkeit → Verbreitung → Abhängigkeit → sichtbare Schäden → Vertrauenskrise → institutionelles Lernen → neue technische Reife.

Dabei ist die entstehende Abhängigkeit besonders wichtig.

Sobald eine Technologie breit eingesetzt wird, bilden sich wirtschaftliche und gesellschaftliche Strukturen um sie herum. Unternehmen investieren, Menschen erwerben Fähigkeiten, Infrastruktur wird angepasst, und neue Geschäftsmodelle entstehen.

Die Technologie lässt sich dann nicht mehr ohne erhebliche Kosten zurücknehmen.

Die Gesellschaft steht deshalb nach einem schweren Schadensereignis häufig nicht vor der einfachen Entscheidung, die Technologie abzuschaffen.

Sie muss vielmehr lernen, mit ihr umzugehen.

Die Katastrophe wird so zum Auslöser einer zweiten Innovationsphase: Nicht mehr die technische Leistungsfähigkeit steht im Mittelpunkt, sondern die Beherrschung ihrer Folgen.

Die ersten Dampfkessel wurden entwickelt, um mechanische Arbeit zu leisten. Spätere Generationen mussten zusätzlich so konstruiert und betrieben werden, dass sie nicht explodierten.

Die ersten Flugzeuge wurden entwickelt, um fliegen zu können. Die moderne Luftfahrt musste darüber hinaus lernen, zuverlässig und unter einer Vielzahl von Bedingungen sicher zu fliegen.

Die Sicherheitsentwicklung ist damit nicht bloß eine Einschränkung des technischen Fortschritts.

Sie ist selbst ein Teil dieses Fortschritts.

Und nun die künstliche Intelligenz

Die gegenwärtige Entwicklung künstlicher Intelligenz weist mehrere Merkmale dieses historischen Musters auf.

Ihre Leistungsfähigkeit wächst rasch. Neue Anwendungen werden entwickelt, während ihre langfristigen Auswirkungen noch unzureichend verstanden sind.

Unternehmen, Behörden und Privatpersonen integrieren KI-Systeme in bestehende Arbeitsabläufe. Dadurch entstehen neue Abhängigkeiten, bevor sich stabile Sicherheitsstandards und institutionelle Erfahrungen herausgebildet haben.

Gleichzeitig konzentriert sich ein erheblicher Teil der verwendeten KI-Technologie auf vergleichsweise wenige Modellfamilien.

Das schafft eine Besonderheit, die in der öffentlichen Diskussion über KI-Risiken bislang nicht ausreichend berücksichtigt wird.

Wir betrachten KI-Sicherheit überwiegend als Eigenschaft einzelner Antworten oder einzelner Systeme.

Ein Sprachmodell soll keine gefährlichen Anleitungen geben, keine falschen Tatsachen behaupten, keine vertraulichen Daten preisgeben und keine unerlaubten Handlungen ausführen.

Das sind wichtige Anforderungen.

Sie beantworten aber nicht die Frage, was geschieht, wenn Millionen Menschen gleichzeitig auf dieselben oder sehr ähnliche Systeme vertrauen.

Die Katastrophe, bei der die KI keinen Fehler macht

Stellen wir uns eine wirtschaftliche Krise vor.

Ein unerwartetes Ereignis verunsichert Millionen Menschen. Sie wollen wissen, ob ihre Ersparnisse sicher sind, ob sie bestimmte Vermögenswerte verkaufen oder ob sie ihre finanzielle Situation vorsorglich verändern sollten.

Viele wenden sich an KI-Assistenten.

Die Modelle analysieren die Situation. Sie geben vorsichtige, nachvollziehbare Empfehlungen. Jede einzelne Empfehlung kann unter den gegebenen Umständen vernünftig sein.

Doch die Modelle wurden mit ähnlichen Daten trainiert. Sie verwenden ähnliche Bewertungsmaßstäbe und reagieren auf dieselben Nachrichten.

Deshalb empfehlen sie zahlreichen Menschen ähnliche Maßnahmen.

Was für den Einzelnen sinnvoll erscheint, kann jedoch gefährlich werden, wenn Millionen Menschen gleichzeitig danach handeln.

Wenn genügend Menschen zur selben Zeit Vermögenswerte verkaufen, Geld abheben oder bestimmte Güter kaufen, verändert ihr Verhalten die Situation, auf die sich die ursprüngliche Empfehlung bezogen hat.

Die Empfehlungen erzeugen damit einen Teil jener Krise, vor der sie schützen sollten.

Andere Nutzer beobachten die Entwicklung, befragen erneut ihre KI-Systeme und erhalten aufgrund der inzwischen veränderten Lage möglicherweise noch dringlichere Empfehlungen.

Eine positive Rückkopplung entsteht.

Das Entscheidende an diesem Szenario ist, dass kein Sprachmodell halluzinieren muss.

Kein System muss manipuliert worden sein.

Kein autonomer Agent muss die Kontrolle übernommen haben.

Jede einzelne Antwort kann plausibel, vorsichtig und nach den üblichen Maßstäben verantwortungsvoll sein.

Die Katastrophe entsteht nicht aus der Fehlerhaftigkeit der einzelnen Empfehlung, sondern aus der Gleichzeitigkeit vieler für sich genommen vernünftiger Entscheidungen.

Das wäre ein Synchronisationsunfall.

Wenn individuelle Sicherheit kollektive Unsicherheit erzeugt

Dieses Problem unterscheidet sich grundsätzlich von den Risiken, auf die sich ein großer Teil der heutigen KI-Sicherheitsdiskussion konzentriert.

Ein Sprachmodell kann auf individueller Ebene zuverlässig funktionieren und dennoch auf gesellschaftlicher Ebene gefährliche Wirkungen entfalten.

Dafür müssen mehrere Bedingungen zusammentreffen.

Zunächst braucht es ein Ereignis, das viele Menschen gleichzeitig beschäftigt. Die Entscheidung muss eine erhebliche Tragweite besitzen, beispielsweise für Gesundheit, Vermögen oder persönliche Sicherheit.

Zweitens müssen die Betroffenen ihre Entscheidungen tatsächlich von KI-Empfehlungen beeinflussen lassen.

Drittens müssen die Empfehlungen hinreichend stark miteinander korrelieren. Die Nutzer glauben möglicherweise, individuelle Beratung zu erhalten, während sie tatsächlich auf ähnliche Entscheidungsmodelle zurückgreifen.

Viertens muss das betroffene System auf gleichgerichtetes Verhalten empfindlich reagieren. Finanzmärkte, Versorgungssysteme und andere Bereiche mit begrenzten Ressourcen können solche Eigenschaften aufweisen.

Schließlich muss eine Rückkopplung entstehen: Das Verhalten der Nutzer verändert die Lage und damit die Grundlage zukünftiger Empfehlungen.

Unter diesen Bedingungen kann eine neue Art technischer Störung entstehen.

Die KI ist nicht mehr bloß ein Werkzeug, das Informationen verarbeitet.

Sie wird zu einem Mechanismus, der menschliches Verhalten koordiniert, ohne dass diese Koordination ausdrücklich beabsichtigt sein muss.

Die Menschen bleiben die Handelnden. Aber ihre Entscheidungen sind weniger unabhängig, als es den Anschein hat.

Das ist ein Risiko, das sich durch die Prüfung einzelner Antworten kaum erfassen lässt.

Wir prüfen das Flugzeug, aber nicht den Luftverkehr

Die Luftfahrt bietet einen aufschlussreichen Vergleich.

Es genügt nicht, nachzuweisen, dass ein Flugzeug technisch flugtauglich ist.

Man muss auch untersuchen, wie sich viele Flugzeuge gleichzeitig in einem gemeinsamen Luftraum bewegen. Dafür braucht es Regeln, Kommunikation, Überwachung und Institutionen, die das Gesamtsystem betrachten.

Bei Sprachmodellen konzentrieren wir uns dagegen noch stark auf die Sicherheit des einzelnen Systems und seiner Antworten.

Wir fragen, ob eine Antwort richtig, zulässig oder gefährlich ist.

Viel seltener fragen wir, welche Folgen entstehen, wenn dieselbe Art von Antwort hunderttausendfach oder millionenfach gegeben und befolgt wird.

Das ist die Unterscheidung zwischen individueller Antwortsicherheit und kollektiver Handlungssicherheit.

Die erste lässt sich durch Tests einzelner Modelle untersuchen.

Die zweite verlangt Simulationen, Beobachtungen und Modelle gesellschaftlicher Rückkopplungen.

Sie erfordert möglicherweise auch Institutionen, die nicht nur einzelne KI-Anbieter überwachen, sondern systemische Risiken über mehrere Anbieter hinweg erkennen.

Ein zukünftiger „KI-TÜV“ könnte deshalb deutlich mehr leisten müssen als die Prüfung, ob ein Modell bestimmte Fragen korrekt beantwortet.

Er müsste auch untersuchen, wie sich das Modell unter massenhafter Nutzung verhält, welche Entscheidungen es systematisch begünstigt und welche Wechselwirkungen mit anderen Systemen entstehen können.

Dazu könnten standardisierte Zwischenfallmeldungen, unabhängige Untersuchungen, wiederkehrende Prüfungen und Verfahren zur Bewertung kollektiver Risiken gehören.

Entscheidend wäre dabei nicht allein die Qualität der Antworten, sondern die Wirkung der durch sie ausgelösten Handlungen.

Können wir diesmal vor der Katastrophe lernen?

Die historische Betrachtung legt eine unangenehme Vermutung nahe.

Wir werden auch bei der künstlichen Intelligenz einen erheblichen Teil unseres Sicherheitswissens erst durch unerwartete Schadensereignisse erwerben.

Das ist keine sichere Prognose. Die Geschichte kennt auch erfolgreiche Vorsorgemaßnahmen und Technologien, deren Risiken ohne vorausgehende Großkatastrophen begrenzt wurden.

Aber die strukturellen Schwierigkeiten sind dieselben geblieben.

Der wirtschaftliche Nutzen neuer Fähigkeiten ist unmittelbar sichtbar. Die möglichen Schäden sind häufig unsicher, zeitlich verzögert oder über viele Betroffene verteilt.

Die Anbieter besitzen detailliertes Wissen über ihre Systeme, während die gesellschaftlichen Auswirkungen weit über ihren unmittelbaren Beobachtungsbereich hinausreichen.

Und politische Institutionen reagieren besonders stark auf nachgewiesene Schäden.

Die entscheidende Frage ist deshalb nicht, ob wir sämtliche zukünftigen Gefahren vorhersehen können.

Das können wir nicht.

Die Frage lautet vielmehr, ob wir aus der Technikgeschichte ausreichend gelernt haben, um Sicherheitsinstitutionen aufzubauen, bevor eine Katastrophe ihre Notwendigkeit demonstriert.

Dazu müssten wir eine wichtige Vorstellung aufgeben: dass die Sicherheit einer Technologie bereits hinreichend beurteilt werden kann, wenn das einzelne Produkt zuverlässig funktioniert.

Bei komplexen Technologien entsteht Sicherheit erst auf mehreren Ebenen – im Produkt, in seiner Verwendung, in seiner Wechselwirkung mit anderen Systemen und in den gesellschaftlichen Institutionen, die seinen Einsatz begleiten.

Die Katastrophe ist kein Naturgesetz

Der Titel dieses Artikels enthält eine bewusste Provokation.

Neue Technologien brauchen ihre Katastrophen nicht im physikalischen oder technischen Sinn.

Sie brauchen sie auch nicht, um überhaupt verbessert werden zu können.

Was die Geschichte allerdings zeigt, ist eine wiederkehrende gesellschaftliche Schwäche: Wir sind häufig erst nach schweren Schadensereignissen bereit, die Kosten einer angemessenen Sicherheitsarchitektur zu tragen.

Katastrophen erfüllen dann eine Funktion, die eigentlich vorausschauende Institutionen übernehmen sollten.

Sie machen abstrakte Risiken konkret. Sie verändern wirtschaftliche Anreize. Sie verschieben die Beweislast. Und sie schaffen den politischen Druck, Sicherheitsmaßnahmen durchzusetzen.

Das ist keine Notwendigkeit der Technik.

Es ist eine Eigenschaft unseres bisherigen Umgangs mit Technik.

Vielleicht wird sich die Reife unserer Gesellschaft eines Tages daran messen lassen, ob wir diesen Mechanismus überwinden können.

Bis dahin bleibt eine unbequeme Frage:

Welche Katastrophe muss die künstliche Intelligenz erst verursachen, bevor wir beginnen, ihre gesellschaftlichen Wirkungen ebenso ernsthaft zu untersuchen wie die Qualität ihrer einzelnen Antworten?