Gepostet am 09.02.2026
KI-Architekturen: Was auf Transformer-Modelle folgen könnte

Transformer-Modelle sind fĂŒr viele AnwendungsfĂ€lle ein Overkill. In der KI-Forschung gibt es deshalb auch andere AnsĂ€tze, wie KI die Arbeit von morgen prĂ€gen könnte. Illustration: Mit KI erstellt.
Stagnation auf der einen, unkontrollierbare Superintelligenz auf der anderen Seite: Zwischen diesen Polen verlĂ€uft die Debatte ĂŒber generative KĂŒnstliche Intelligenz. Die spannendere Entwicklung passiert aber anderswo, bei neuen KI-Architekturen, die dem Transformer nachfolgen.
Das dominante Entwicklungsparadigma im maschinellen Lernen der vergangenen Jahre war der âTransformerâ. Transformer sind KI-Modelle, die mit sogenannten Attention-Mechanismen arbeiten. Man kann sie sich wie eine Redaktionskonferenz vorstellen: Alle Texte, Bilder und Informationen liegen gleichzeitig auf dem Tisch, und die Attention sorgt dafĂŒr, dass je nach Thema die wichtigsten BeitrĂ€ge besonders stark gewichtet werden. Auf dieser Basis berechnet der Transformer, welche Information am besten anschlieĂt, und erzeugt Inhalte, die zur aktuellen âStoryâ kontextuell stimmig wirken, ohne tatsĂ€chlich zu âverstehenâ. GĂ€ngige KI-Systeme wie ChatGPT oder Claude arbeiten nach diesem Prinzip.
Die Annahme lautete lange, dass mehr Daten und gröĂere Modelle automatisch zu besseren Ergebnissen mit höherer Faktentreue fĂŒhren. Dieses âScalingâ stöĂt jedoch zunehmend an seine Grenzen. Selbst die leistungsfĂ€higsten Transformer-Modelle bleiben anfĂ€llig fĂŒr Halluzinationen und sind zu rechenintensiv fĂŒr den lokalen Betrieb. FĂŒr viele AnwendungsfĂ€lle in Medienunternehmen erweisen sie sich damit als unpraktisch.
Eine mögliche Antwort auf diese Probleme sind spezialisierte Architekturen. Die Vorstellung einer universellen Multifunktions-KI, die jede Aufgabe gleich gut beherrscht, ist auf absehbare Zeit nicht realistisch.
Was kommt nach Transformer-Modellen?
Der Transformer wird nicht verschwinden. FĂŒr viele Prozesse und Workflows bleibt er das Arbeitspferd. Zugleich bekommt er Konkurrenz durch Architekturen, die jene Probleme lösen, an denen er scheitert.
FĂŒr den Einsatz in Medienanwendungen erscheinen uns drei AnsĂ€tze besonders vielversprechend: Structured State Space Models, System-2-Reasoning und prĂ€diktive Weltmodelle.
Structured State Space Models (SSMs/Mamba)
Structured State Space Models erfassen zeitliche AbhÀngigkeiten sehr effizient. Statt wie Attention-basierte AnsÀtze alle Elemente paarweise zu vergleichen, modellieren sie Sequenzen als Zustandsdynamik in einem strukturierten Raum.
Damit setzen sie an einer klaren SchwĂ€che des Transformers an: seinem GedĂ€chtnis. Dessen Rechenlast wĂ€chst quadratisch mit der TextlĂ€nge. Ein doppelt so langes Buch zu analysieren, erfordert also die vierfache Rechenleistung. Modelle wie Mamba oder hybride AnsĂ€tze wie Jamba umgehen dieses Problem durch lineare Skalierung. Sie verarbeiten Informationen eher wie ein kontinuierliches FlieĂband als wie ein komplexes Puzzle und bewĂ€ltigen dadurch extrem lange Kontexte, ohne dass der Speicherbedarf explodiert.
System-2-Reasoning
Klassische Large Language Models (LLMs) folgen ĂŒberwiegend dem Prinzip âTalk to thinkâ. Sie erzeugen das nĂ€chste Wort auf Basis statistischer Wahrscheinlichkeiten. Das Modell âsprichtâ gewissermaĂen, um zu denken, selbst in den sogenannten Thinking-Modi. Dieser Ansatz begĂŒnstigt FlĂŒchtigkeitsfehler und Halluzinationen.
System-2-Reasoning geht einen anderen Weg. Architekturen wie DeepSeek R1 oder neurosymbolische AnsĂ€tze trennen das Denken von der Sprachgenerierung, um logische Fehler zu reduzieren. In der Inferenzphase, also noch vor der eigentlichen Textausgabe, investiert das Modell zusĂ€tzliche Rechenzeit, um Zwischenschritte zu prĂŒfen und Ergebnisse zu verifizieren. Erst danach beginnt die Ausgabe. Das Resultat sind nachvollziehbarere und verlĂ€sslichere Antworten.
PrÀdiktive Weltmodelle (JEPA)
PrĂ€diktive Architekturen wie JEPA (Joint Embedding Predictive Architecture) lernen nicht in erster Linie aus einzelnen Pixeln, sondern aus abstrakten ZustĂ€nden und deren zeitlichen ZusammenhĂ€ngen. Das klingt zunĂ€chst theoretisch, hat aber konkrete Folgen fĂŒr die Praxis. Aktuelle generative Video-KI erzeugt zwar visuell plausible Bildfolgen, verfĂŒgt aber ĂŒber kein explizites Modell dafĂŒr, wie sich die dargestellten Objekte konsistent verhalten. Physikalische Eigenschaften und kausale Beziehungen sind dort nicht direkt reprĂ€sentiert. Das zeigt sich in physikalisch inkonsistenten Effekten, etwa unplausiblen Verformungen oder abruptem Morphing.
PrĂ€diktive Modelle versuchen, stabile WeltzustĂ€nde und ihre Dynamik zu erfassen, statt nur visuelle OberflĂ€chen zu erzeugen. Sie wollen die zugrundeliegenden RegularitĂ€ten der Welt abbilden, statt sie lediglich zu âmalenâ.
Warum MedienhÀuser Alternativen wie diese brauchen
In der redaktionellen Praxis könnten MedienhĂ€user von solchen Architekturen profitieren, denn ein Spezialist ist oft nĂŒtzlicher als ein Universalgenie.
Effizienz bei Massendaten (Big-Data-Journalismus)
Wer Archive durchforstet, umfangreiche Gerichtsprotokolle auswertet oder stundenlange Interviews transkribiert und analysiert, stöĂt mit Transformer-Modellen schnell an finanzielle und zeitliche Grenzen. Verantwortlich dafĂŒr ist der hohe Rechen- und Speicheraufwand bei sehr langen Kontexten.
Structured State Space Models wie Mamba verarbeiten groĂe Textmengen dagegen mit deutlich geringerem Kosten- und Energieeinsatz. Dank ihrer linearen Skalierung handhaben sie sehr groĂe Kontextfenster effizient, potenziell im Bereich von Millionen Token.
VerlÀsslichkeit bei Fakten
FĂŒr den Datenjournalismus oder die automatisierte Verifikation ist ein Modell, das nur âwahrscheinlicheâ Antworten liefert, wertlos. System-2-Modelle, die logische Zwischenschritte explizit berechnen, senken die Halluzinationsrate bei Rechen- und Logikaufgaben deutlich.
Visuelle Konsistenz und echtes WeltverstÀndnis
Aktuelle Video-KI ist aus kommerzieller Sicht oft noch Spielerei, weil ihre Ergebnisse unzuverlĂ€ssig ausfallen: HĂ€nde verschwinden, Kaffeetassen verwandeln sich in Blumen. Der Grund ist, dass diese Modelle vor allem visuelle Muster erzeugen, ohne stabile Annahmen ĂŒber Objektpermanenz oder physikalische ZusammenhĂ€nge zu treffen.
PrĂ€diktive Modelle wie JEPA setzen an einem anderen Punkt an. Sie zielen darauf ab, konsistente ObjektzustĂ€nde und ihre Dynamik ĂŒber die Zeit abzubilden, statt nur einzelne Bildfolgen aneinanderzureihen. FĂŒr die Produktion von B-Roll, Animationen oder Simulationen hieĂe das: weniger âTraumlogikâ und mehr physikalisch plausibles, tatsĂ€chlich nutzbares Material.
Wann ist die neue Architektur die richtige Strategie?
Nicht fĂŒr jeden Workflow lohnt sich der Umstieg auf experimentelle Architekturen. Die folgende Einordnung hilft bei der Entscheidung.
Wann sich spezialisierte Architekturen lohnen
SSMs und System-2-Modelle spielen ihre StÀrken vor allem dann aus, wenn eine dieser Bedingungen zutrifft:
- Der Kontext ist riesig: Sollen ganze BĂŒcher, Code-Repositories oder Jahresarchive in einem Rutsch analysiert werden, schlĂ€gt Mamba den Transformer bei Kosten und Geschwindigkeit.
- PrĂ€zision geht vor KreativitĂ€t: Bei juristischen oder wirtschaftlichen Texten sind System-2-Reasoning-Modelle ĂŒberlegen.
- Visuelle KausalitĂ€t ist gefragt: etwa wenn die Analyse eines Videos oder Bildes Kenntnisse ĂŒber physikalische Prozesse verlangt.
Wann klassische Transformer ĂŒberlegen bleiben
In anderen FĂ€llen bleiben die etablierten Transformer-Modelle wie GPT-5, Claude, Mistral oder Gemini erste Wahl:
- Feine sprachliche Nuancen sind gefragt: Beim Formulieren von Kommentaren, Glossen oder E-Mails sind die etablierten LLMs im Stil (noch) ungeschlagen.
- Few-Shot-Learning kommt zum Einsatz: Wird ein Prompt um viele Beispiele ergĂ€nzt, kopiert der âAttentionâ-Mechanismus des Transformers Muster oft nach wie vor am besten.
Fazit: Das Ende der Monokultur
FĂŒr die KI-Strategie von MedienhĂ€usern bedeutet das Jahr 2026 vor allem eines: Der Werkzeugkasten wird gröĂer. Es lohnt sich nicht lĂ€nger, jedes Problem mit demselben Hammer â dem Transformer â lösen zu wollen.
Der Trend geht weg vom Prinzip âein Modell fĂŒr allesâ und hin zu einem Orchester spezialisierter Modelle: Ein SSM durchsucht das Archiv, ein System-2-Modell prĂŒft die Fakten, ein klassischer Transformer formuliert den finalen Text. Das erhöht zwar die KomplexitĂ€t im Tech-Stack, senkt aber zugleich die Kosten und hebt die QualitĂ€t der Ergebnisse spĂŒrbar.
Geschrieben von

Jim Sengl
Gesamtleitung
Jim Sengl leitet das KI-Kompetenzzentrum Medien (KI.M). Als Experte fĂŒr datensouverĂ€ne KI-Umgebungen schlĂ€gt er die BrĂŒcke zwischen komplexer Tech-Entwicklung und den BedĂŒrfnissen der Praxis. Er unterstĂŒtzt Organisationen dabei, KI-Systeme rechtssicher in bestehende Kernprozesse zu integrieren und KI-Transformation strategisch wie auch nachhaltig umzusetzen.


