In Robotik-Gesprächen verschmelzen zwei Modellklassen: Imaginative and prescient-Sprach-Modelle und Imaginative and prescient-Sprach-Aktions-Modelle. Sie klingen ähnlich, beide nehmen Bilder und Textual content auf und beide stammen aus der gleichen Linie des multimodalen Vortrainings. Aber für jeden, der versucht, ein KI-System einzusetzen, das sich bewegt – nicht nur beschreibt –, ist der Unterschied entscheidend. VLM vs. VLA ist der Unterschied zwischen einem Modell, das eine Szene versteht, und einem Modell, das den Kreis mit der physischen Welt schließt.

Wichtige Erkenntnisse

• VLMs ordnen Bilder und Textual content Sprachausgaben zu; VLAs ordnen sie Roboteraktionen zu.
• VLMs können einen Motor, einen Greifer oder einen Endeffektor nicht direkt antreiben.
• VLAs erweitern VLMs um Aktionstoken, die anhand von Roboterdemonstrationsdaten trainiert werden.
• Die meisten VLA-Architekturen optimieren ein VLM-Spine in Demonstrationsepisoden.
• Für die Bereitstellungsrobotik sind Trainingsdaten im VLA-Stil erforderlich, nicht nur VLM-Daten.
• Eine Verwechslung der beiden führt dazu, dass die Leistungsfähigkeit eines Wahrnehmungsmodells in der Produktion überschätzt wird.

Was ist ein VLM?

Ein VLM (Imaginative and prescient-Language-Modell) ist ein multimodales neuronales Netzwerk, das Bilder und Textual content als Eingabe verwendet und Textual content oder strukturierte Ausgaben erzeugt. VLMs werden in großem Umfang an Bild-Textual content-Paaren trainiert und zeichnen sich durch Untertitelung, visuelle Beantwortung von Fragen und visuelles Denken aus.

VLM: Ein multimodales Modell, das visuelle und sprachliche Eingaben nutzt und sprachliche oder symbolische Ausgaben wie Bildunterschriften, Klassifizierungen oder Argumentationsketten erzeugt.

VLMs sind leistungsstark – ihr Ausgaberaum ist jedoch symbolisch und nicht physisch. Sie können beschreiben, was in einer Küche passiert, einen Gegenstand identifizieren oder Fragen zu einer Szene beantworten. Sie können nichts aufheben.

Was ist ein VLA?

Ein VLA-Modell (Imaginative and prescient-Language-Motion) ist ein multimodales Modell, das visuelle und sprachliche Eingaben nutzt und Roboteraktionssequenzen erzeugt. Der Ausgaberaum umfasst Motorbefehle, Endeffektor-Posen oder Aktionstoken, die in kontinuierliche Steuersignale umgewandelt werden.

VLA: Ein Roboterfundamentmodell, das Aktionen und keinen Textual content ausgibt – typischerweise diskretisierte Bewegungstokens, die den Freiheitsgraden eines Roboters zugeordnet sind.

In einer der grundlegenden Arbeiten zur Etablierung dieses Paradigmas hat RT-2 die Imaginative and prescient-Sprach-Backbones anhand von Roboterdemonstrationsdaten verfeinert und diskretisierte Aktionstoken ausgegeben (DeepMind, 2023). Dieser Ausgabeübergang – vom Textual content zur Aktion – ist der gesamte architektonische Unterschied.

Wie unterscheiden sich VLM- und VLA-Trainingsdaten?

VLM-Trainingsdaten und VLA-Trainingsdaten unterscheiden sich darin, was am Ende jedes Beispiels steht. Ein VLM-Beispiel verbindet ein Bild mit einer Bildunterschrift oder einer Frage-Antwort. Ein VLA-Beispiel kombiniert ein Bild mit einer Anweisung und einer Aktionsbahn, die auf einer bestimmten Roboterausführung basiert.

Eine nützliche Analogie: Ein VLM ist wie ein Sportanalytiker, der jeden Spielzug im Element beschreiben kann, aber noch nie einen Ball gehalten hat. Ein VLA ist der Spieler. Das Fachwissen des Analysten ist actual und nützlich – es ersetzt einfach nicht die Wiederholungen des Ballhandlings. Bei den VLA-Trainingsdaten handelt es sich um diese Wiederholungen: synchronisierte Beobachtungen, Sprachanweisungen, Aktionsbezeichnungen und Ergebnismarkierungen, die über Millionen von Episoden hinweg wiederholt werden.

Warum kann man nicht einfach ein VLM für die Robotik verwenden?

Sie können einen VLM nicht direkt für die Robotik verwenden, da der Ausgabe-Token-Speicherplatz nicht den Motorbefehlen entspricht. Ein VLM gibt Wörter aus; Ein Roboter benötigt Gelenkwinkel, Endeffektorgeschwindigkeiten oder Greiferzustände. Die Lücke zwischen „Der Becher ist hyperlinks“ und „Bewegen Sie das Handgelenk 4 cm nach hyperlinks und schließen Sie den Greifer“ ist die Lücke, die ein VLA füllt.

In der Praxis optimieren viele Groups VLMs zu VLAs, indem sie das Ausgabevokabular um Aktionstoken erweitern – diskretisierte Bewegungseinheiten, die wie Wörter behandelt werden. Dadurch bleibt die Argumentation des VLM erhalten und es erhält gleichzeitig Handlungsspielraum.

Aktions-Token: Eine diskretisierte Roboterbewegung, die als Vokabulareintrag codiert ist und den ein Modell auf die gleiche Weise vorhersagen kann, wie es ein Sprachtoken vorhersagt.

Stellen Sie sich ein Logistik-Startup vor, das ein hochwertiges VLM lizenziert und davon ausgeht, dass es einen Choose-and-Place-Roboter steuern kann. Das Modell nimmt die Szene einwandfrei wahr, erzählt den richtigen Plan und gibt keine motorischen Befehle aus. Ohne Aktions-Token-Coaching bleibt das System bei der Erzählung hängen. Das Hinzufügen von VLA-Daten ermöglicht die Bereitstellung.

VLM vs. VLA: nebeneinander

Wann sollten Sie sie jeweils verwenden?

Verwenden Sie einen VLM, wenn die Aufgabe mit einer Beschreibung, Entscheidung oder Textantwort endet. Verwenden Sie eine VLA, wenn die Aufgabe mit einer physischen Aktion endet.

In Hybridsystemen spielen beide eine Rolle. VLMs kümmern sich um das Verständnis, die Konversation und das Denken von Szenen auf hoher Ebene. VLAs übernehmen die Regelung. Viele Produktionsarchitekturen verwenden einen VLM als Planer und einen VLA als Ausführenden – manchmal in Twin-System-Designs, die latente Darstellungen zwischen den beiden austauschen. Die Unterscheidung ist wichtig, weil sie grundlegend unterschiedliche Trainingsdaten, Bewertungskriterien und Qualitätskontrollen benötigen. Shaips Pc-Imaginative and prescient-Dienste Und Physische KI Datenoperationen decken beide Enden dieses Spektrums ab.

Abschluss

VLM vs. VLA ist kein Wettbewerb; Es ist eine Arbeitsteilung. Beide sind für die verkörperte KI unerlässlich und beide sind auf Trainingsdaten angewiesen, die zu ihrer Aufgabe passen. Um das richtige Modell auszuwählen, muss es dem richtigen Ausgaberaum zugeordnet werden – und dem richtigen Datensatzstapel, der es unterstützt.

Indien tritt stetig im Bereich der künstlichen Intelligenz fort und zeigt bemerkenswerte Wachstum und Innovation. KruTrim AI Labs, ein Teil der OLA -Gruppe, ist eine der Organisationen, die aktiv zu diesem Fortschritt beitragen. KruTrim hat kürzlich Chitrarth-1 vorgestellt, a Imaginative and prescient Sprachmodell (VLM) entwickelt sich speziell für Indiens vielfältige sprachliche und kulturelle Landschaft. Das Modell unterstützt 10 große indische Sprachen, darunter Hindi, Tamil, Bengali, Telugu, sowie Englisch, die die unterschiedlichen Bedürfnisse des Landes effektiv ansprechen. In diesem Artikel werden Chitrarth-1 und Indiens expandierende Fähigkeiten in der KI untersucht.

Was ist Chitrarth?

Chitrarth (abgeleitet von Chitra: Picture und Artha: Bedeutung) ist ein 7,5-Milliarden-Parameter-VLM, das modernste Sprach- und Imaginative and prescient-Funktionen kombiniert. Es wurde entwickelt, um Indiens sprachliche Vielfalt zu dienen, und unterstützt 10 prominente indische Sprachen – Hindi, Bengali, Telugu, Tamil, Marathi, Gujarati, Kannada, Malayalam, Odia und Assamesisch – neben Englisch.

https://www.youtube.com/watch?v=tmzeweligsc

Dieses Modell ist ein Beweis für KruTrims Mission: KI erstellen “für unser Land, unser Land und für unsere Bürger. ““

Durch die Nutzung eines kulturell reichhaltigen und mehrsprachigen Datensatzes minimiert Chitrarth die Vorurteile, verbessert die Zugänglichkeit und sorgt für eine robuste Leistung in indisch -Sprachen und Englisch. Es ist ein Schritt in Richtung gerechter KI -Fortschritte, wodurch die Technologie integriert und repräsentativ für Benutzer in Indien und darüber hinaus ist.

Die Forschung hinter Chitrarth-1 wurde in prominenten akademischen Papieren wie vorgestellt.Chitrarth: Überbrückung von Imaginative and prescient und Sprache für eine Milliarde Menschen. “ (Neurips) und “Chitranuvad: Anpassung multimodaler Übersetzungen ” (Neunte Konferenz zur maschinellen Übersetzung).

Lesen Sie auch: Indiens KI -Second: Rennen gegen China und die USA in Genai

Chitrarth -Architektur und Parameter

Chitrarth baut auf dem KruTrim-7b LLM als Spine auf, das durch einen Visionscodierer basierend auf dem Modell Siglip (Siglip-SO400M-Patch14-384) erweitert wird. Die Architektur umfasst:

• Ein vorbereiteter Siglip Imaginative and prescient -Encoder zum Extrahieren von Bildmerkmalen.
• Eine trainierbare lineare Mapping -Schicht, die diese Merkmale in den Token -Raum des LLM projiziert.
• Feinabstimmung mit Anweisungen im Bild-Textual content-Datasets für verbesserte multimodale Leistung.

Dieses Design sorgt für eine nahtlose Integration visueller und sprachlicher Daten, sodass Chitrarth in komplexen Argumentationsaufgaben hervorragende Leistungen erbringt.

Trainingsdaten und Methodik

Der Trainingsprozess von Chitrarth entfaltet sich in zwei Phasen, wobei ein vielfältiger, mehrsprachiger Datensatz verwendet wird:

Stufe 1: Adapter vor der Coaching (PT)

• Vorbereitet auf einem sorgfältig ausgewählten Datensatz, übersetzt mit einem Open-Supply-Modell in mehrere Indic-Sprachen übersetzt.
• Behält eine ausgewogene Aufteilung zwischen Englisch und Indic -Sprachen bei, um die sprachliche Vielfalt und eine gerechte Leistung zu gewährleisten.
• Verhindert eine Verzerrung zu einer einzelnen Sprache und optimiert die Recheneffizienz und robuste Funktionen.

Stufe 2: Anweisungsstimmung (It)

• Fein abgestimmt auf einem komplexen Befehlsdatensatz, um multimodales Denken zu fördern.
• Enthält einen englischbasierten Datensatz für Anweisungsabbau und seine mehrsprachigen Übersetzungen.
• Beinhaltet einen Visionsprachdatensatz mit akademischen Aufgaben und kulturell vielfältigen indischen Bildern, wie z. B.:
  • Prominente Persönlichkeiten
  • Denkmäler
  • Kunstwerk
  • Kulinarische Gerichte
• Verfügt über hochwertige proprietäre englische Textdaten und stellt eine ausgewogene Darstellung in den Bereichen sicher.

Dieser zweistufige Prozess veranstaltet Chitrarth, um komplexe multimodale Aufgaben mit kultureller und sprachlicher Nuancen zu erledigen.

Lesen Sie auch: Prime 10 LLM, die in Indien Bulit sind

Leistung und Bewertung

Chitrarth wurde streng gegen hochmoderne VLMs wie IDEFICS 2 (7B) und Palo 7B bewertet, die sie an verschiedenen Benchmarks konsequent übertreffen und gleichzeitig bei Aufgaben wie TextVQA und Vizwiz wettbewerbsfähig bleiben. Es übertrifft auch die Lama 3.2 11b Imaginative and prescient in wichtigen Metriken.

Bharatbench: ein neuer Normal

KruTrim führt Bharatbench vor, eine umfassende Bewertungssuite für 10 unterressende Indic-Sprachen in drei Aufgaben. Die Leistung von Chitrarth auf Bharatbench ist eine Grundlage für zukünftige Forschung und zeigt seine einzigartige Fähigkeit, alle eingeschlossenen Sprachen zu bewältigen. Nachfolgend finden Sie Beispielergebnisse:

Um mehr zu erfahren, klicken Sie hier.

Wie kann ich auf Chitrarth zugreifen?

git clone https://github.com/ola-krutrim/Chitrarth.git  
conda create --name chitrarth python=3.10  
conda activate chitrarth  
cd Chitrarth  
pip set up -e .  
python chitrarth/inference.py --model-path "krutrim-ai-labs/Chitrarth" --image-file "belongings/govt_school.jpeg" --query "Clarify the picture."

Chitrarth-1-Beispiele

1. Bildanalyse

2. Bildunterschrift Generierung

3. UI/UX -Bildschirmanalyse

Lesen Sie auch: Sutra-r0: Indiens Sprung in die fortgeschrittene KI-Argumentation

Endnote

KruTrim ist ein Teil der OLA -Gruppe und widmet sich der Erstellung des AI Computing -Stapels von morgen. Neben Chitrarth umfassen seine Angebote GPU als Service, AI Studio, Ola Maps, KruTrim Assistant, Language Labs, Kruicon und Contact Middle AI. Mit Chitrarth-1 setzt KruTrim AI Labs einen neuen Normal für inklusive, kulturell bewusste KI und ebnet den Weg für eine gerechtere technologische Zukunft.

Bleiben Sie mit den neuesten Ereignissen der KI -Welt auf dem Laufenden mit Analytics Vidhya Information!