Hier kommt Mamba: Das selektive Zustandsraummodell | von Sascha Kirch | Sep, 2024

Dies ist Teil 3 meiner neuen mehrteiligen Serie 🐍 Auf dem Weg zu Mamba-Zustandsraummodellen für Bilder, Movies und Zeitreihen.

Mamba, das Modell, das den mächtigen Transformer ersetzen soll, hat seit der ursprünglichen Idee, Zustandsraummodelle (State House Fashions, SSMs) im Deep Studying zu verwenden, einen langen Weg zurückgelegt.

Mamba fügt Zustandsraummodellen Selektivität hinzu, was zu einer Transformer-ähnlichen Leistung führt, während die subquadratische Arbeitskomplexität von SSMs erhalten bleibt. Ihr effizienter selektiver Scan ist 40-mal schneller als eine Standardimplementierung und kann als Transformer einen 5-mal höheren Durchsatz erzielen.

Begleiten Sie mich bei diesem Deep Dive zu Mamba, bei dem wir entdecken werden, wie Selektivität die Einschränkungen früherer SSMs löst, wie Mamba neue Hindernisse überwindet, die diese Änderungen mit sich bringen, und wie wir Mamba in eine moderne Deep-Studying-Architektur integrieren können.