Die KI zieht ihre angebliche Intelligenz aus der Verwertung menschengemachter Texte. Doch je mehr sie den Cyberspace mit ihrem eigenen Output flutet, desto grösser wird bei ihrem Input der Anteil von Stoff, den sie selbst produziert hat. – Ein Teufelskreis!
Den Grossen Sprachmodellen – wie etwa dem «Generative Pretrained Transformer» (GPT) – droht Ungemach. Die Designer tüfteln an immer raffinierteren Versionen, die das Netz mit ihrem Output überschwemmen, bis es schliesslich nur noch diesen Output enthält. Dann müssen die GPTs ihren eigenen Müll fressen – und kollabieren. Im Englischen gibt es neuerdings einen Ausdruck dafür: «Enshittification» (Verschlimmscheisserung).
Das überdramatisierte Szenario entstammt einer nicht ganz so dramatischen Studie mit dem schönen Titel «The Curse of Recursion» (Fluch der Rekursion). Rekursion bedeutet: Man wiederholt einen einfachen Vorgang, Schritt für Schritt. Man kopiert eine Kopie, man kopiert die Kopie der Kopie und soweiter. Die Qualität nimmt ab.
Ähnliches ist beim GPT zu beobachten. Er transformiert einen Textinput in neuen Textoutput. Bisher bestand das Trainingsmaterial aus menschengenerierten Texten. Nun aber verfassen GPTs selbst Texte. Und für ihr weiteres Training benutzt man auch diese Texte. Die klassische Feedbackschleife. Das Ergebnis der Studie lautet: «Wir fanden heraus, dass der Gebrauch von modellgeneriertem Inhalt im Training von GPT einen nicht behebbaren Fehler verursacht: Die Ränder der ursprünglichen Inhaltsverteilung verschwinden.»
Modellkollaps
Was eher fachchinesisch klingt, bedeutet einfach Folgendes: Das Trainingsmaterial der GPTs stammt hauptsächlich aus dem Netz und weist unterschiedlichste Qualität auf. Statistisch manifestiert sich eine solche Heterogenität in einer breiten Häufigkeitsverteilung, vom «Rand» des schauderhaften bis zum «Rand» des meisterhaften Texts. Der GPT unterscheidet hier nicht. Nach ein paar Durchgängen der Textverwurstung findet eine Einmittung statt: Die aussergewöhnlichen Texte – die «Ränder» – verschwinden, und übrig bleibt ein homogenisiertes, fades, maschinelles Blabla.
Die Autoren der Studie nennen dies Modellkollaps. Er droht allen Textgeneratoren. «Wir waren überrascht, als wir beobachteten, wie schnell sich der Modellkollaps ereignete: Modelle können die meisten Daten, von denen sie anfänglich lernten, rasch vergessen», schreibt ein Autor der Studie.
Nun kennt die Informatik das Phänomen schon lange unter dem Namen GIGO-Prinzip: Garbage In – Garbage Out (Abfall rein – Abfall raus). Neu ist jedoch die Dimension. Wir bekommen es zunehmend mit «kontaminierten» Daten zu tun. Man kann bei ihnen nicht mehr verlässlich entscheiden, ob sie vom Menschen oder vom Computer stammen.
Selbstverständlich haben die grossen Firmen ein vitales Interesse daran, dem Modellkollaps vorzubeugen. Sie wollen ja ihre KI-Systeme weiter entwickeln, und dazu müssen sie über möglichst unkontaminierte Daten verfügen. Daraus resultiert die Notwendigkeit, den Zugang zu den ursprünglichen Trainingsdaten zu gewährleisten und die Rekursionen in einem Modell genauer zu überwachen. Ein intensivierter Run auf Internettexte dürfte zu erwarten sein. Vor kurzem meldete das Internet Archive einen «missbräuchlichen Verkehr» (abusive traffic), das heisst die Überlastung seiner Suchmaschine durch eine anonyme KI-Firma, die sich offenbar möglichst viele Daten über ein Thema schnappen wollte.
Was man auch vom Modellkollaps halten mag, er markiert die Zündung einer neuen Stufe in der KI-Entwicklung. Die Designer werden sich dieses Problems intensiv annehmen. Natürlich sucht man die unliebsamen Konsequenzen der Technologie mit noch mehr Technologie zu bewältigen. Man konstruiert Detektoren, die Blabla identifizieren. Google und OpenAI arbeiten daran. Mit bescheidenem Erfolg bisher. Noch ist keine Methode bekannt, wie man dem Problem im grossen Massstab begegnen könnte – also etwa durch Kooperation der wichtigen KI-Player.
Und die Menschen?
Vergessen wir dabei nicht, dass der Lernprozess der GPTs auf die Sortierarbeit von Heerscharen unterbezahlter Clickworker im globalen Süden abstellt. Ganz so unabhängig vom Menschen lernt der GPT eben doch nicht.
Viel wichtiger ist freilich der Blick über den technischen und ökonomischen Horizont des entfesselten KI-Wettlaufs hinaus. Der Modellkollaps ist Symptom eines tieferen Problems. Man trainiert die Maschinen wie wild – und die Menschen? Was geschieht mit unserer Schreib- und Lesekompetenz? Eben erst hat der neueste Pisa-Bericht ihre Verkümmerung diagnostiziert. Und man führt sie auf die «Symbiose» mit den iPads in der Schule zurück. Warum lesen und schreiben lernen, wenn der Chatbot das viel besser kann?
Nicht gerade ein erhebender Befund, gewiss. Aber vor dem Hintergrund des Modellkollapses lässt sich ihm durchaus etwas Positives abgewinnen, nämlich ein dringender Appell: Schreiben wir selber vermehrt Texte! Die einzig wirklich kreativen Textgeneratoren sind nach wie vor Menschen! Die Maschinen generieren vieles automatisch, aber werden sie automatisch kreativ? Was zum Geier soll das überhaupt bedeuten? Wie gelingt der Maschine der Sprung aus dem Antrainierten?
Das sind Fragen, zu denen der GPT den Anstoss gibt. Und dafür sollten wir ihm sogar dankbar sein. Mittelfristig werden wir mit künstlichen Textgeneratoren in allen Lebensbereichen kooperieren. Sie – und ihre nächsten Generationen – ersetzen uns jedoch nicht so schnell. Im Gegenteil. Sie benötigen unsere Texte als «Frischfutter». Zumindest solange, als wir Menschen uns nicht selber völlig den Textmaschinen angleichen. Das wäre dann freilich ein anderer Kollaps.