Jenseits der Transformer: Warum State-Space-Modelle den KI-Stack 2026 leise aufrollen

Gut sieben Jahre lang teilte sich jede ernsthafte KI-Anwendung einen einzigen architektonischen Vorfahren: den Transformer.

GPT, Claude, Gemini, Llama, Mistral, Qwen, DeepSeek — egal welches Flaggschiff-Modell der letzten Jahre, unter dem Marketing steckt immer dieselbe Grundidee. Self-Attention. Quadratische Kosten in der Sequenzlänge. Eine wachsende Werkzeugkiste — Flash Attention, Grouped-Query Attention, Sliding Window, KV-Cache-Komprimierung — um die Ökonomie halbwegs im Griff zu behalten, während die Kontextfenster von 2K über 128K bis zu einer Million Tokens wuchsen.

Es hat funktioniert. Aber es hat aufgehört, elegant zu skalieren.

In 2026 sind die Risse nicht mehr theoretisch. Sie schlagen in Produktionsrechnungen durch, in Latenzbudgets und in den Features, die Engineering-Teams tatsächlich ausliefern können. Und eine andere Architektur — eine, die seit 2021 in Forschungspapieren still vor sich hin gereift ist — füllt genau diese Lücke.

State-Space-Modelle — und besonders die Mamba-Familie — sind keine Kuriosität mehr. Sie laufen in Produktion. Sie gewinnen Head-to-Head-Benchmarks bei Long-Context-Aufgaben. Und sie verändern, wie Produkt- und Engineering-Teams Modell-Selection denken sollten.

Das ist die Geschichte, wie der Post-Transformer-Stack gerade entsteht — in Produktion, live.

Die quadratische Mauer

Transformer sind elegant, aber nicht umsonst.

Self-Attention berechnet eine Beziehung zwischen jedem Token-Paar einer Sequenz. Bei einem Kontext von n Tokens sind das O(n²) Operationen und O(n²) Speicher für die Attention-Matrix. Kontext verdoppeln, Kosten vervierfachen.

Über die Jahre hat die Community ein beeindruckendes Werkzeugset entwickelt, um gegen diese Mauer anzuarbeiten:

• Sparse und Sliding-Window-Attention — nur eine lokale Nachbarschaft beachten
• Multi-Query und Grouped-Query Attention (GQA) — Key/Value-Heads über Query-Heads teilen, um den KV-Cache zu verkleinern
• Flash Attention — geschicktes Tiling und Kernel-Fusion, um den dichten Fall auf modernen GPUs zu beschleunigen
• KV-Cache-Komprimierung und -Quantisierung — weniger speichern, mit weniger Präzision, in der Hoffnung, dass die Qualität nicht leidet
• Linear-Attention-Approximationen — Softmax-Attention durch Kernel-Feature-Maps ersetzen

Jede dieser Techniken kauft etwas. Keine davon ändert das fundamentale Skalierungsverhalten. Der Transformer bleibt — egal wie optimiert — im schlimmsten Fall O(n²). Und der schlimmste Fall ist genau der, den Produktteams wollen: langer Kontext, Echtzeit-Inferenz, vorhersagbare Kosten.

Genau diese Diskrepanz lösen State-Space-Modelle.

Was ein State-Space-Modell eigentlich ist

State-Space-Modelle kommen aus der Regelungstechnik — lange vor dem Deep Learning.

Die Idee ist einfach. Wir haben:

• Ein Eingangssignal u(t)
• Einen verborgenen Zustand x(t)
• Ein Ausgangssignal y(t)

Das System entwickelt sich gemäß:

x'(t) = A·x(t) + B·u(t)
y(t)  = C·x(t) + D·u(t)

Der nächste Zustand ist also eine lineare Funktion des aktuellen Zustands und der Eingabe. Die Ausgabe ist eine lineare Funktion des Zustands. Das gesamte System wird durch vier kleine Matrizen beschrieben — A, B, C, D.

Entscheidend: Die Kosten für die Verarbeitung eines neuen Tokens sind konstant in der Sequenzlänge. Der Hidden State hat eine feste Größe. Man muss nicht jeden vergangenen Token erneut besuchen, um den nächsten Output zu produzieren. Man aktualisiert einfach den State.

Das ist die Grundeigenschaft, die SSMs für lange Sequenzen attraktiv macht: konstanter Speicher, konstante Compute pro Schritt — egal wie lang die Sequenz wird.

Für die Inferenz ist das ein Game-Changer.

Von S4 zu Mamba: SSMs konkurrenzfähig machen

Frühe SSMs (S4, S4D, H3) zeigten, dass die Architektur im Prinzip funktioniert — sie meisterten Langzeitabhängigkeiten, an denen RNNs und selbst Transformer sich die Zähne ausbissen. Aber sie hatten eine harte Einschränkung: Die Matrizen A, B, C waren zeitinvariant. Dieselben Dynamiken galten für jede Eingabe, an jeder Position.

Für Audio ist das in Ordnung. Für Sprache ist es ein Problem. Sprache ist bursty. Die richtige Dynamik für das Wort „jedoch" ist nicht die richtige Dynamik für das Wort „der".

Mamba, vorgestellt von Albert Gu und Tri Dao im Jahr 2023, behob das, indem es die SSM-Parameter input-abhängig machte. Die Matrizen B, C und der Diskretisierungsschritt Δ werden jetzt on-the-fly, für jeden Token, aus der Eingabe selbst berechnet.

Das Ergebnis ist ein Modell, das:

• Die Linear-Time-, Constant-Memory-Eigenschaft klassischer SSMs beibehält
• Seine Dynamiken an den Inhalt anpasst, genau wie Attention es tut
• Mit Transformern gleicher Parameteranzahl konkurrenzfähig skaliert
• Und 2024–2026 in klassischen Language-Modeling-Benchmarks stetig aufgeholt hat

Mamba-2 (2024) zog die theoretische Brücke zur Attention noch enger und zeigte, dass eine strukturierte SSM mit der richtigen Parametrierung im Wesentlichen eine verallgemeinerte Form der linearen Attention ist — und umgekehrt. Genau diese theoretische Brücke ließ die Architektur für Transformer-sozialisierte Praktiker weniger exotisch wirken.

Bis 2026 hat sich die Diskussion verschoben: von „Können SSMs mit Transformern mithalten?" zu „Wo sind SSMs strikt besser?"

Wo SSMs in Produktion gewinnen

Die klarsten Gewinne gibt es in drei Bereichen: Latenz, langer Kontext und strukturierte Signale.

1. Streaming- und Low-Latency-Workloads

Ein Transformer kann das nächste Token nicht produzieren, ohne den gesamten vergangenen Kontext im Speicher zu halten — der KV-Cache wächst linear mit der Sequenzlänge, aber der Compute für jeden neuen Token ist mindestens linear in der Größe dieses Caches.

Ein SSM hat einen State fester Größe. Der Compute für das nächste Token ist konstant. Für jedes neue Token.

Genau deshalb laufen die Echtzeit-KI-Handelssysteme 2026 zunehmend auf SSM-basierten Modellen. Wer Tick-Daten im Mikrosekundenbereich verarbeitet, dem ist der Unterschied zwischen O(n) und O(1) pro Schritt keine Optimierung — es ist der Unterschied zwischen einem machbaren und einem unmöglichen System.

On-Device-Assistenten, Sprachagenten und Embedded-Inference profitieren von derselben Eigenschaft. Der Speicher-Footprint ist vorhersagbar. Das Latenzbudget ist vorhersagbar. Man kann ein SSM mit einer Milliarde Parametern auf Hardware laufen lassen, die an einem 7B-Transformer mit langem Kontext ersticken würde.

2. Langer Kontext, endlich günstig

Die Transformer-Community hat fünf Jahre lang um 32K-, 128K-, 1M- und 10M-Kontextfenster gerannt. Jeder Schritt erforderte heroische Ingenieurskunst, und die Grenzkosten einer Kontextverdopplung waren sowohl beim Speicher als auch bei der Latenz erheblich.

SSMs verarbeiten langen Kontext kostenlos, in dem Sinne, dass die Kosten gleich bleiben. Der State ist gleich groß, ob die Sequenz 1K oder 10M Tokens umfasst. Man kann ein ganzes Buch in einem Durchlauf verarbeiten, ohne dass das Modell ins Schwitzen kommt.

Für Produktteams, die Agenten bauen, die ganze Codebasen lesen, lange Dokumente analysieren oder über ausgedehnte Konversationen State halten müssen, ist das die wichtigste praktische Verschiebung in 2026. Langer Kontext ist keine Budgetposition mehr. Er ist ein Primitive.

3. Audio, Video und andere kontinuierliche Signale

Audio und Video sind genau die Daten, für die klassische SSMs entworfen wurden: lang, kontinuierlich, lokal strukturiert. Mamba-basierte Audio-Language-Modelle und Vision-Mambas haben sich 2025 und 2026 stark vermehrt. Sie erreichen oder übertreffen Transformer-Modelle bei Long-Video-Verstehen, Musik-Transkription, Audio-Reasoning auf Roh-Signal und hochauflösenden Bild-Tasks — zu einem Bruchteil der Kosten.

Dass die Architektur hier passt, ist kein Zufall. Kontinuierliche Signale sind das natürliche Habitat der State-Space-Formulierung.

Die hybride Realität

Reine SSMs gewinnen in ihren Nischen. Aber das dominante Produktionsmuster 2026 ist hybrid.

Die besten Open-Modelle 2026 — einschließlich der führenden Varianten der großen Labs — sind Mischungen: ein paar Self-Attention-Layer, durchsetzt mit Mamba-artigen SSM-Blöcken, mit geteilten Embeddings und einem einheitlichen Hidden State.

Die Intuition ist einfach. Attention ist hervorragend im In-Context-Lookup. Bei einem langen Prompt findet Attention exakt das relevante Token unter Tausenden. SSMs sind hervorragend in State-Kompression und Streaming. Bei einer langen Historie kann eine SSM sie effizient auf eine Darstellung fester Größe verdichten.

Ein hybrides Modell bekommt beides:

• Attention-Layer für präzises, positionsbezogenes Retrieval im Kontext
• SSM-Blöcke für schnelles, streamendes, weitreichendes Integrieren von Information

Das ist kein Kompromiss. Es ist der neue State of the Art. Die Ära „purer Transformer, auf eine Billion Parameter skaliert" weicht leise einem „gemischten Stack, sinnvoll skaliert".

Die praktische Konsequenz: Wenn ihr 2026 Modelle evaluiert, ist „Transformer vs. SSM" die falsche Frage. Die Frage lautet: „Welche Mischung, in welchem Verhältnis, für welchen Workload?"

Die Open-Source-Welle

Das Mamba-Ökosystem ist inzwischen wirklich offen und konkurrenzfähig.

• Falcon3-Mamba — ein produktionsreifes, SSM-basiertes LLM vom TII, das zeigt, dass reine SSM-Stacks in Standard-Language-Tasks mithalten können
• Mamba-2-Hybrid-Stacks — mehrere Open-Releases, die Attention- und SSM-Blöcke in unterschiedlichen Verhältnissen kombinieren
• Vision-Mamba-Modelle — für Bildklassifikation, Segmentierung, Super-Resolution und Long-Video-Verstehen
• Audio-Mamba-Modelle — einschließlich Audio-Language-Modelle, die stundenlange Eingaben verarbeiten
• Jamba — AI21s hybride SSM/Attention-Architektur, eine der ersten kommerziellen Wetten auf das Paradigma
• NVIDIA- und akademische Toolchains — optimierte Kernel für Selective-SSM-Scans, die die Architektur auf Standard-GPU-Hardware effizient machen

Zum ersten Mal ist der Post-Transformer-Stack etwas, das ein Produktteam wirklich aufheben und deployen kann — nicht etwas, auf das man drei Jahre warten muss, bis ein Hyperscaler es produktisiert.

Was das für Engineering- und Produktteams bedeutet

Wenn ihr KI-Features baut, ist die praktische Empfehlung für 2026 unkompliziert:

1. Hört auf, bei Long-Context-Problemen reflexartig „Transformer + RAG" zu wählen. Ein SSM-basiertes oder hybrides Modell mit effektiv 1M-Token-Kontext ist oft günstiger, schneller und genauer als ein Transformer mit angeschraubtem Vector Store.

2. Überprüft euer Latenzbudget. Wenn ihr eine Echtzeit-Constraint habt — Sprache, Trading, Robotik, On-Device — gibt euch eine SSM mehr Headroom pro Dollar als jede Transformer-Optimierung.

3. Wählt Architekturen nach Workload, nicht nach Hype. Reine SSMs für Streaming und langen Kontext. Reine Transformer für kurze, Lookup-lastige Aufgaben. Hybride, wenn ihr beides braucht. Geht nicht davon aus, dass eine Modellklasse für alles passt.

4. Beobachtet das Tooling. Mamba-Kernel, Trainings-Rezepte, Fine-Tuning-Pipelines und Serving-Frameworks reifen alle schnell. Die Deployment-Story 2026 ist deutlich besser als 2024. Sie ist — im besten Sinne — langweilig geworden.

5. Plant ein, dass sich die Architektur weiter verschiebt. Die Transformer-Ära hat uns gelehrt, dass die „offensichtliche" Architektur selten die letzte ist. Attention plus SSM ist die aktuelle Frontier, aber sie wird nicht die letzte sein. Baut euer Produkt auf Capabilities, nicht auf ein bestimmtes Attention-Pattern.

Die leise Revolution

Die Geschichte 2026 ist nicht, dass Transformer tot sind. Sind sie nicht. Self-Attention bleibt der sauberste Mechanismus für In-Context-Retrieval, und die besten Modelle der Welt nutzen sie weiterhin.

Die Geschichte ist, dass die Monokultur vorbei ist. Die Standardantwort auf „Welche Architektur soll ich nehmen?" war lange „Transformer, mit ein paar Optimierungen". In 2026 lautet die Standardantwort: „Kommt darauf an — und hier sind vier Architekturen, die ihr testen solltet."

Das ist ein gesünderer Ort für das Feld. Es ist auch ein gesünderer Ort für alle, die auf diesen Modellen aufbauen. Mehr Wettbewerb, mehr Spezialisierung, mehr architektonische Vielfalt — und am Ende mehr Hebel für die Leute, die echte Produkte ausliefern.

Sieben Jahre sind eine lange Laufzeit für ein architektonisches Paradigma. State-Space-Modelle ersetzen den Transformer nicht. Sie nehmen einfach ihren Platz am Tisch ein — und in 2026 bekommen sie immer den größeren Stuhl.