Im September versammelte sich eine Menschenmenge im MIT Media Lab zu einem Konzert des Musikers Jordan Rudess und zweier Mitarbeiter. Eine von ihnen, die Geigerin und Sängerin Camilla Bäckman, ist bereits zuvor mit Rudess aufgetreten. Das andere – ein künstliches Intelligenzmodell mit dem informellen Namen jam_bot, das Rudess in den vergangenen Monaten mit einem MIT-Crew entwickelt hat – feierte sein öffentliches Debüt als laufende Arbeit.
Während der gesamten Present tauschten Rudess und Bäckman die Signale und Lächeln erfahrener Musiker aus, die gemeinsam einen Groove fanden. Rudess‘ Interaktionen mit dem jam_bot deuteten auf eine andere und ungewohnte Artwork des Austauschs hin. Während eines von Bach inspirierten Duetts spielte Rudess abwechselnd ein paar Takte und erlaubte der KI, die Musik in einem ähnlichen Barockstil fortzusetzen. Jedes Mal, wenn das Mannequin an die Reihe kam, huschten verschiedene Ausdrucksformen über Rudess‘ Gesicht: Belustigung, Konzentration, Neugier. Am Ende des Stücks gestand Rudess dem Publikum: „Das ist eine Kombination aus sehr viel Spaß und wirklich, wirklich herausfordernd.“
Rudess ist ein gefeierter Keyboarder – laut einer Umfrage des Magazins Music Radar der beste aller Zeiten –, bekannt für seine Arbeit mit der mit Platin ausgezeichneten und mit einem Grammy ausgezeichneten Progressive-Metallic-Band Dream Theater, die diesen Herbst auf Tournee zum 40-jährigen Jubiläum geht. Er ist auch ein Solokünstler, dessen neuestes Album „Flugerlaubnis„wurde am 6. September veröffentlicht; ein Pädagoge, der seine Fähigkeiten durch detaillierte On-line-Tutorials weitergibt; und Gründer des Softwareunternehmens Wizdom Music. Seine Arbeit verbindet eine strenge klassische Grundlage (er begann sein Klavierstudium an der Juilliard College im Alter von 9 Jahren) mit einem Genie für Improvisation und einer Experimentierfreude.
Im vergangenen Frühjahr conflict Rudess Gastkünstler am MIT Heart for Artwork, Science and Know-how (CAST) und arbeitete mit der Forschungsgruppe Responsive Environments des MIT Media Lab an der Entwicklung neuer KI-gestützter Musiktechnologie. Die wichtigsten Mitarbeiter von Rudess in dem Unternehmen sind die Absolventen des Media Lab, Lancelot Blanchard, der musikalische Anwendungen generativer KI erforscht (gestützt auf seine eigenen Studien im klassischen Klavier), und Perry Naseck, ein Künstler und Ingenieur, der sich auf interaktive, kinetische, Licht- und Lichttechnik spezialisiert hat Zeitbasierte Medien. Die Leitung des Projekts übernimmt Professor Joseph Paradiso, Leiter der Gruppe „Responsive Environments“ und langjähriger Rudess-Fan. Paradiso kam 1994 mit einem Lebenslauf in Physik und Ingenieurwesen zum Media Lab und arbeitete nebenbei an der Entwicklung und dem Bau von Synthesizern, um seinen avantgardistischen Musikgeschmack zu erkunden. Seine Gruppe hat die Custom, musikalische Grenzen durch neuartige Benutzeroberflächen, Sensornetzwerke und unkonventionelle Datensätze zu erforschen.
Die Forscher machten sich daran, ein Modell für maschinelles Lernen zu entwickeln, das den unverwechselbaren Musikstil und die Technik von Rudess kanalisiert. In einem Papier Im September on-line von MIT Press veröffentlicht und gemeinsam mit Eran Egozy, Professor für Musiktechnologie am MIT, verfasst, artikulieren sie ihre Imaginative and prescient für das, was sie „symbiotische Virtuosität“ nennen: dass Mensch und Pc in Echtzeit duettieren und dabei aus jedem Duett lernen, das sie gemeinsam spielen und vor einem Reside-Publikum aufführungswürdige neue Musik zu machen.
Rudess steuerte die Daten bei, anhand derer Blanchard das KI-Modell trainierte. Rudess sorgte außerdem für kontinuierliche Assessments und Suggestions, während Naseck mit Möglichkeiten experimentierte, die Technologie für das Publikum zu visualisieren.
„Das Publikum ist es gewohnt, bei vielen Konzerten Beleuchtung, Grafiken und szenische Elemente zu sehen, daher brauchten wir eine Plattform, die es der KI ermöglicht, eine eigene Beziehung zum Publikum aufzubauen“, sagt Naseck. In frühen Demos hatte dies die Type einer skulpturalen Set up mit Beleuchtung, die sich jedes Mal veränderte, wenn die KI den Akkord wechselte. Während des Konzerts am 21. September wurde ein hinter Rudess montiertes Gitter aus blütenblattförmigen Paneelen durch eine Choreografie zum Leben erweckt, die auf der Aktivität und der zukünftigen Technology des KI-Modells basierte.
„Wenn man sieht, wie Jazzmusiker Augenkontakt herstellen und einander zunicken, weckt das beim Publikum Vorfreude auf das, was passieren wird“, sagt Naseck. „Die KI generiert effektiv Noten und spielt sie dann ab. Wie zeigen wir, was als nächstes kommt und kommunizieren das?“
Naseck entwarf und programmierte die Struktur von Grund auf im Media Lab mit Unterstützung von Brian Mayton (mechanisches Design) und Carlo Mandolini (Fabrikation) und bezog einige seiner Bewegungen aus einem experimentellen Modell für maschinelles Lernen, das vom Gaststudenten Madhav Lavakare entwickelt wurde und Musik auf Punkte abbildet sich im Raum bewegen. Mit der Fähigkeit, ihre Blütenblätter mit Geschwindigkeiten von subtil bis dramatisch zu drehen und zu neigen, unterschied die kinetische Skulptur die Beiträge der KI während des Konzerts von denen der menschlichen Darsteller und vermittelte gleichzeitig die Emotion und Energie ihrer Leistung: Sie schwankte sanft, als Rudess die Stimme übernahm Lead zum Beispiel oder sich wie eine Blüte zusammenrollen und entfalten, während das KI-Modell stattliche Akkorde für ein improvisiertes Adagio generierte. Letzteres conflict einer von Nasecks Lieblingsmomenten der Present.
„Am Ende verließen Jordan und Camilla die Bühne und erlaubten der KI, ihre eigene Richtung vollständig auszuloten“, erinnert er sich. „Die Skulptur machte diesen Second sehr kraftvoll – sie ließ die Bühne belebt bleiben und verstärkte die grandiose Natur der Akkorde, die die KI spielte. Das Publikum conflict von diesem Teil sichtlich gefesselt und saß an den Sitzkanten.“
„Ziel ist es, ein musikalisches visuelles Erlebnis zu schaffen“, sagt Rudess, „um zu zeigen, was möglich ist, und um das Spiel zu verbessern.“
Musikalische Zukunft
Als Ausgangspunkt für sein Modell verwendete Blanchard einen Musiktransformator, eine Open-Supply-Architektur für neuronale Netzwerke, die von der MIT-Assistenzprofessorin Anna Huang SM ’08 entwickelt wurde, die im September an die MIT-Fakultät kam.
„Musiktransformatoren funktionieren ähnlich wie große Sprachmodelle“, erklärt Blanchard. „So wie ChatGPT das wahrscheinlichste nächste Wort generieren würde, würde das Modell, das wir haben, die wahrscheinlichsten nächsten Notizen vorhersagen.“
Blanchard verfeinerte das Modell mithilfe von Rudess‘ eigenem Spiel mit Elementen von Basslinien über Akkorde bis hin zu Melodien, von denen Rudess Variationen in seinem New Yorker Studio aufnahm. Unterwegs stellte Blanchard sicher, dass die KI flink genug sein würde, um in Echtzeit auf Rudess‘ Improvisationen zu reagieren.
„Wir haben das Projekt neu definiert“, sagt Blanchard, „im Hinblick auf musikalische Zukunftsaussichten, die vom Modell hypothetisiert wurden und die im Second nur auf der Grundlage dessen, was Jordan entschied, verwirklicht wurden.“
Wie Rudess es ausdrückt: „Wie kann die KI reagieren – wie kann ich mit ihr einen Dialog führen?“ Das ist der modern Teil unserer Arbeit.“
Ein weiterer Schwerpunkt zeichnete sich ab: „Im Bereich generative KI und Musik hört man von Startups wie Suno oder Udio, die in der Lage sind, Musik auf Foundation von Texteingaben zu generieren.“ „Das ist sehr interessant, aber es mangelt ihnen an Kontrollierbarkeit“, sagt Blanchard. „Für Jordan conflict es wichtig, vorhersehen zu können, was passieren würde. Wenn er sehen würde, dass die KI eine Entscheidung treffen würde, die er nicht wollte, könnte er die Technology neu starten oder einen Kill-Schalter einsetzen, damit er wieder die Kontrolle übernehmen kann.“
Blanchard gab Rudess nicht nur einen Bildschirm mit einer Vorschau auf die musikalischen Entscheidungen des Modells, sondern baute auch verschiedene Modalitäten ein, die der Musiker beim Spielen aktivieren konnte – indem er die KI beispielsweise dazu veranlasste, Akkorde oder Leadmelodien zu generieren oder ein Name-and-Response-Muster zu initiieren .
„Jordan ist der Drahtzieher von allem, was passiert“, sagt er.
Was würde Jordan tun?
Obwohl die Residenz abgeschlossen ist, sehen die Mitarbeiter viele Möglichkeiten, die Forschung fortzusetzen. Naseck würde beispielsweise gerne mit weiteren Möglichkeiten experimentieren, wie Rudess direkt mit seiner Set up interagieren könnte, beispielsweise durch Funktionen wie kapazitive Sensorik. „Wir hoffen, dass wir in Zukunft noch mehr seiner subtilen Bewegungen und Körperhaltungen nutzen können“, sagt Naseck.
Während sich die MIT-Zusammenarbeit darauf konzentrierte, wie Rudess das Software nutzen kann, um seine eigenen Leistungen zu verbessern, sind auch andere Anwendungen leicht vorstellbar. Paradiso erinnert sich an eine frühe Begegnung mit der Technik: „Ich spielte eine Akkordsequenz und Jordans Modell generierte die Leads. Es conflict, als ob eine musikalische „Biene“ von Jordan Rudess um das melodische Fundament, das ich legte, herumschwirrte und etwas tat, was Jordan tun würde, aber abhängig von der einfachen Development, die ich spielte“, erinnert er sich und sein Gesicht spiegelt die Freude wider, die er empfand zu der Zeit. „Sie werden KI-Plugins für Ihren Lieblingsmusiker sehen, die Sie in Ihre eigenen Kompositionen integrieren können, mit einigen Reglern, mit denen Sie die Einzelheiten steuern können“, postuliert er. „Das ist genau diese Welt, die wir damit eröffnen.“
Rudess ist auch daran interessiert, pädagogische Einsatzmöglichkeiten zu erforschen. Da die Proben, die er zum Trainieren des Modells aufgenommen hat, den Gehörbildungsübungen ähnelten, die er bei Schülern durchgeführt hat, glaubt er, dass das Modell selbst eines Tages für den Unterricht verwendet werden könnte. „Diese Arbeit hat mehr als nur Unterhaltungswert“, sagt er.
Der Vorstoß in die künstliche Intelligenz ist eine natürliche Weiterentwicklung für Rudess‘ Interesse an Musiktechnologie. „Das ist der nächste Schritt“, glaubt er. Wenn er jedoch mit Musikerkollegen über die Arbeit spricht, stößt seine Begeisterung für KI oft auf Widerstand. „Ich kann Sympathie oder Mitgefühl für einen Musiker haben, der sich bedroht fühlt, das verstehe ich vollkommen“, gibt er zu. „Aber meine Mission ist es, einer der Menschen zu sein, die diese Technologie in Richtung Positives bewegen.“
„Im Media Lab ist es so wichtig, darüber nachzudenken, wie KI und Menschen zum Wohle aller zusammenkommen“, sagt Paradiso. „Wie wird KI uns alle voranbringen? Im Idealfall wird es das tun, was so viele Technologien getan haben – es bringt uns in eine andere Perspektive, in der wir leistungsfähiger sind.“
„Jordanien hat die Nase vorn“, fügt Paradiso hinzu. „Sobald es bei ihm etabliert ist, werden die Leute folgen.“
Jammen mit MIT
Das Media Lab landete zum ersten Mal auf Rudess‘ Radar vor seiner Residency, weil er die gestrickte Tastatur ausprobieren wollte, die von einem anderen Mitglied von Responsive Environments, der Textilforscherin Irmandy Wickasono PhD ’24, entwickelt wurde. Von diesem Second an „conflict es für mich eine Entdeckung, etwas über die coolen Dinge zu erfahren, die am MIT in der Musikwelt vor sich gehen“, sagt Rudess.
Bei zwei Besuchen in Cambridge im vergangenen Frühjahr (unterstützt von seiner Frau, der Theater- und Musikproduzentin Danielle Rudess) besprach Rudess Abschlussprojekte in Paradisos Kurs über elektronische Musikcontroller, dessen Lehrplan Movies seiner eigenen früheren Auftritte enthielt. Er brachte einen neuen gestengesteuerten Synthesizer namens Osmose zu einem Kurs über interaktive Musiksysteme mit, der von Egozy unterrichtet wurde, zu dessen Verdiensten die Mitentwicklung des Videospiels „Guitar Hero“ gehört. Rudess gab einem Kompositionskurs auch Tipps zur Improvisation; spielte GeoShred, ein Touchscreen-Musikinstrument, das er gemeinsam mit Forschern der Stanford College entwickelt hatte, mit studentischen Musikern des MIT Laptop computer Ensemble and Arts Students-Programms; und erlebten immersives Audio im MIT Spatial Sound Lab. Während seiner letzten Campusreise im September leitete er einen Meisterkurs für Pianisten im Emerson/Harris-Programm des MIT, der insgesamt 67 Wissenschaftlern und Stipendiaten Unterstützung für den Musikunterricht auf Konservatoriumsniveau bietet.
„Jedes Mal, wenn ich zur Universität komme, verspüre ich eine Artwork Eile“, sagt Rudess. „Ich habe das Gefühl, dass, wow, all meine musikalischen Ideen, Inspirationen und Interessen auf diese wirklich coole Artwork und Weise zusammengekommen sind.“