In der heutigen Welt können Chatbots mit künstlicher Intelligenz wie ChatGPT und Claude viele Funktionen ausführen, beispielsweise das Verfassen von geschäftlichen E-Mails und die Planung von Reiserouten. Bei diesen Chatbots handelt es sich um Systeme, die auf großen Imaginative and prescient-Language-Modellen (VLMs) basieren: KI, die auf einem riesigen Datensatz trainiert wird, der Bücher, Web sites, Code und Bilder umfasst.
Die KI-Algorithmen werden dann anhand riesiger Mengen an von Menschen generiertem Suggestions verfeinert, um Anweisungen zu befolgen und schädliche oder unerwünschte Ausgaben zu vermeiden, und nutzen dieses „Wissen“, um Texte oder Bilder basierend auf den Eingaben eines Benutzers zu erstellen. Obwohl Chatbots klare Einschränkungen haben, können sie für eine Vielzahl von Aufgaben sehr hilfreich sein, auch in einigen Bereichen, die traditionell spezielle Fähigkeiten erfordern, wie etwa Computerprogrammierung.
Im Rahmen eines Projekts für die US-Luftwaffenministerium – MIT AI Accelerator‚S PhantomprogrammUS-Luftwaffenkadett Joshua Lynch – mit Hilfe seiner Mentorin Laura Niss, einer technischen Mitarbeiterin der Embedded- und KI-Systemgruppe am MIT Lincoln Laboratory – wollte herausfinden, ob er als völliger Programmieranfänger ein voll funktionsfähiges Programm entwickeln könnte. Er verwendete einen Prozess namens „Vibe-Coding“, bei dem sich ein Benutzer vollständig auf Eingabeaufforderungen verlässt, um einen generativen KI-Chatbot beim Schreiben und Verfeinern von Code anzuleiten.
Seine Motivation bestand darin, jeden, der mit dem militärischen Problemfeld vertraut ist, unabhängig von seinem technischen Hintergrund, in die Lage zu versetzen, seine Ideen für nützliche Softwareanwendungen voranzutreiben und dabei im Wesentlichen die Zeit- und Kostenbeschränkungen der traditionellen Entwicklungspipeline für militärische Software program zu umgehen. Lynch wollte seine eigene Anwendung entwickeln, während Niss seine Erfahrungen mit der Technologie überwachte.
„Der Phantom-Pupil wollte sehen, ob er ohne Vorkenntnisse eine nützliche Anwendung durch selbstidentifiziertes Vibe-Coding erstellen kann“, sagt Niss. „Im Rahmen dieses Projekts wollte ich verstehen, wie sich seine Wahrnehmung von KI im Laufe der Zeit mit der Nutzung veränderte. Wir wollten beide besser verstehen, wo und wie KI von nichttechnischen Benutzern im Militär eingesetzt werden kann.“
Lynch machte sich daran, herauszufinden, ob er ohne Programmierkenntnisse und mithilfe von Chatbots eine Anwendung speziell für seine Artwork von taktischem Workforce erstellen könnte, um Kollateralschäden zu reduzieren und gleichzeitig die Überlebensfähigkeit in der umfassenderen Mission zu verbessern. Diese Anwendung würde Funktionen bieten, darunter KI-gestützte Zielerkennung; modulare Intelligenz, Überwachung und Aufklärung; autonomes Schlagen; und Kommunikationsmanagement auf dem Schlachtfeld.
Während des Projekts absolvierte Lynch mehrere Fortbildungskurse im Bereich KI und machte sich mit den militärischen und nichtmilitärischen Einsatzmöglichkeiten der Technologie vertraut. Als Grundlage für seine Codegenerierung nutzte er die kostenpflichtigen Modelle von drei KI-Chatbots: Claude von Anthropic, ChatGPT von OpenAI und Gemini von Google. Der Großteil dieser Arbeit wurde nur über die Hauptchatfunktion der Chatbots in einem Webbrowser erledigt, nicht als integriertes System innerhalb einer Entwicklungsumgebung, wie es heute Customary ist. Die endgültige Anwendung wurde mit der Google AI Studio App erstellt, die Anwendungen erstellen kann, die mit der Gemini-Anwendungsprogrammierschnittstelle interagieren und über KI in die Entwicklungsumgebung integriert sind.
Drei Monate lang arbeitete Lynch mit diesen Modellen, um seine Anwendung namens „Distant Working Modular Augmentation System“ (ROMAD-AI) zu entwickeln. Während dieser Zeit lernte er verschiedene Methoden zur Verbesserung der Codeausgabe. Beispielsweise stieß er häufig auf Schwierigkeiten, weil den KI-Chatbots der hierarchische Fokus fehlte und sie nicht zusammenhängende Codeabschnitte modifizierten. Er entdeckte, dass es wichtig ist, Probleme in kleine Teile zu zerlegen, Fragen klar zu formulieren und Gespräche wieder auf das Thema zu lenken, wenn sie zu weit vom Ziel entfernt sind.
Den größten Teil der Projektzeit nahm das Erlernen der Grenzen der Chatbots ein und wie man sie effektiv umgeht. Als Lynch mehr Erfahrung mit den Chatbots sammelte, veranlassten ihn Einschränkungen bei den KI-Fähigkeiten und der Zeit für die Entwicklung dazu, den Umfang des Projekts zu ändern und es von einer Anwendung, die auf dem Schlachtfeld helfen konnte, auf eine umzustellen, die grundlegende Dokumentverarbeitung durchführen konnte, wie etwa die Analyse taktischer Karten von Schlachtfeldern und die Erstellung von Missionsplanungsdokumenten über eine Schnittstelle mit einem VLM-gestützten Chatbot. Obwohl der resultierende Prototyp nicht alle Funktionen erfüllte, die Lynch ursprünglich vorgesehen hatte (und in seiner aktuellen Model für den gewünschten Anwendungsfall nicht sicher struggle), bewies er die Leistungsfähigkeit und Nützlichkeit einer solchen Anwendung für Militärangehörige.
„Ich struggle von diesem Endprodukt ziemlich beeindruckt und es hat mir gezeigt, wie leistungsfähig diese Systeme beim Prototyping von Designs von Laien sein können“, sagt Niss. „Ich bin jetzt der Meinung, dass dies leistungsstarke Werkzeuge für nicht-technische Experten sein können, um technischen Experten Probleme und mögliche Lösungen zu vermitteln und bei der Kommunikation gewünschter Ergebnisse zu helfen.“
Niss beobachtete während seiner Erfahrung die Veränderung in Lynchs Sicht auf KI-Sprachmodelle. Nachdem Lynch mit einem beeindruckenden Ziel begonnen hatte, erlangte er ein Verständnis für die Möglichkeiten der aktuellen Technologie und schränkte seine Erwartungen bis zum Ende des Projektzeitraums deutlich ein. Messungen seiner Wahrnehmung der verschiedenen KI-Systeme im Laufe der Zeit und über Systemaktualisierungen hinweg waren für Lynch und Niss besonders interessant, wobei Claude in Bezug auf Merkmale wie Sympathie, Anthropomorphismus und wahrgenommene Intelligenz eine größere Stabilität zeigte als ChatGPT. Lynch empfand die KI als hilfreichen Nachhilfelehrer, bemerkte jedoch, dass sie bei Themen, die er intestine kannte, Ungenauigkeiten aufwies.
Das Projekt zeigte, dass KI-Chatbots nicht-technische Servicemitarbeiter in die Lage versetzen können, brauchbare Softwareanwendungen für ihre individuellen Probleme zu erstellen, obwohl sie beim Umgang mit sensiblen Informationen und für kritische Anwendungen besser als Prototyping-Assistent funktionieren als als vollständiges Produktionstool. Eine unsachgemäße Überprüfung des Codes kann zu Sicherheitsrisiken führen, wie ein Fall zeigt, bei dem Lynch nicht erkannte, dass die endgültige Anwendung die Eingabedokumente zur Analyse an ein Gemini-KI-Modell sendete, anstatt die Dokumente lokal auf seinem Laptop zu analysieren. Obwohl KI erhebliche Mengen an Funktionscode generieren kann, bleibt die Codeüberprüfung in diesem Bereich ein Engpass.
„Für mich hat dieses Projekt die Zusammenarbeit zwischen Experten in verschiedenen Bereichen gestärkt“, sagt Niss. „Egal wie intestine die KI wird, ich denke, wir müssen immer zusammenarbeiten, um die besten Lösungen für die wichtigsten Probleme zu finden.“
Die Forschung wurde vom Division of the Air Drive Synthetic Intelligence Accelerator gefördert und unter der Kooperationsvereinbarung Nr. FA8750-19-2-1000 durchgeführt.