Die meisten Suchagenten versuchen, zu viele Aufträge auf einmal abzuwickeln. Sie generieren neue Suchanfragen, merken sich, was sie bereits erforscht haben, sammeln Beweise und entscheiden, was related ist, während die Suche immer weiter zunimmt. Das kann den gesamten Prozess chaotisch, teuer und schwer kontrollierbar machen.

Harness-1 verfolgt einen einfacheren Ansatz. Es wurde gemeinsam mit Forschern von UIUC, UC Berkeley und Chroma entwickelt und trennt die Arbeit, Suchbegriffe zu finden, von der Arbeit, den Suchfortschritt zu verfolgen. Das Ergebnis ist ein kompakter Retrieval-Agent, über den man leichter nachdenken kann und dessen Leistung weit über dem liegt, was seine Größe vermuten lässt.

In diesem Artikel werfen wir einen genaueren Blick darauf Geschirr-1 und warum sein Ansatz gegenüber Retrieval-Agenten wichtig ist.

Warum das bestehende Search Brokers Plateau?

Die meisten Retrieval-Agenten sind ausgebildet Ende bis Ende. Das Modell erzeugt Abfragen, liest Blöcke, entscheidet, worauf es ankommt, und speichert den gesamten Kontext in einem wachsenden Transkript. Die Richtlinie lernt alles, Suchstrategie, Beweisverfolgung, Deduplizierung und auch die Stoppbedingungen.

Das Drawback besteht darin, dass Reinforcement Studying versucht, all dies auf einmal zu verbessern. Semantische Suchentscheidungen, etwa ob ich nach „Fusionsdatum“ oder „Akquisitionsjahr“ suchen soll, geraten in Konflikt mit der Buchführung auf niedrigerer Ebene. Habe ich diesen Brocken schon einmal gesehen? RL optimiert am Ende beide, und ehrlich gesagt teilen sie nicht die gleiche Lerndynamik. Es wird additionally etwas chaotisch.

Die Forscher nennen dies Kernfehler im Design. Ihre Lösung ist sauber: Verschieben Sie die Zustandsverwaltung aus dem Modell in einen Kabelbaum.

Was macht das Geschirr eigentlich?

Der wichtigste Durchbruch ist der Stateful Harness. Der Kabelbaum betreibt das Modell als Zustandsmaschine. Diese vier dauerhaften Strukturen bleiben in jeder Episode erhalten:

• Ein Kandidatenpool besteht aus allen komprimierten, deduplizierten Dokumenten aller Kandidatensuchen.
• Ein kuratierter Satz ist die endgültige Ausgabe mit bis zu 30 Dokumenten, die mit Wichtigkeitsmarkierungen gekennzeichnet sind (very_high, excessive, truthful, low).
• Ein Volltextspeicher enthält alle abgerufenen Daten und wird außerhalb der Maschineneingabeaufforderung gespeichert.
• Ein Beweisdiagramm ist eine Sammlung automatisch extrahierter Entitäten, ihrer Brückendokumente und Singleton-Leads.

Der Proof-Graph-Teil dieser Struktur ist ziemlich intelligent. Der Regex-Extraktor durchsucht jedes abgerufene Datenelement nach Eigennamen, Jahren und Datumsangaben. Bridge-Dokumente, die zwei oder mehr Entitäten enthalten, die häufig zusammen vorkommen, werden als sehr hohe Priorität gekennzeichnet. Singletons kennzeichnen potenzielle Folgesuchen. Bei jeder Spielrunde präsentiert das Geschirr diese Informationen auf effiziente und kompakte Weise.

Die Acht-Werkzeug-Schnittstelle

Das Acht-Werkzeug basiert auf der Modellfunktion bei jeder Drehung. In jeder Runde gibt das Modell genau eine Aktion aus.

Auf die Ausgabe aus der Suchphase des Abrufs wird eine zweiphasige Komprimierung angewendet. Die erste Part der Komprimierung verwendet Satz-BM25 um alle Sätze in eine Rangfolge zu bringen und aus jedem Block die ersten 4 auszuwählen. Die zweite Part der Komprimierung wird durch eine zweistufige Deduplizierung erreicht: Die erste Stufe ist die Deduplizierung nach Chunk-ID, die zweite Stufe ist die Deduplizierung nach Inhaltsfingerabdruck. Die Richtlinie sieht die Rohabrufausgabe nie vor Abschluss der zweistufigen Deduplizierung.

Das Design hat sich ausgezahlt, da das Modell seinen Kontext sauber gehalten hat. Das Modell hat nur Signale verarbeitet und alle Token sind kein Rauschen.

Das Kaltstartproblem (und seine Lösung)

Das erste Drawback beim Abruftraining besteht darin, zu bestimmen, wie eine Richtlinie lernt, einen kuratierten Datensatz aus dem Nichts zu erstellen, was in den ersten RL-Episoden der Richtlinie zu Zufälligkeiten führt. Da der Anfangszustand der Richtlinie keinen Vorhergehenden zur Verfeinerung hat, weiß sie nicht, wie sie kuratiert werden soll. Daher wirft die Richtlinie entweder alles in den kuratierten Datensatz oder kuratiert überhaupt keinen.

Harness-1 behebt dieses Drawback durch Warmstart-Seeding. Nachdem das Harness zum ersten Mal erfolgreich eine Suche durchgeführt hat, generiert es automatisch einen kuratierten Datensatz unter Verwendung der acht neu eingestuften Ergebnisse, die mit einer Fairnessbewertung versehen wurden. Somit hat die Richtlinie eine Abhilfefunktion (Verfeinerung, Steigerung des Werts von Qualitätsdokumenten und Verringerung der Qualität von schwachen Dokumenten) statt einer primären Funktion (Entfernung aller Dokumente und Erstellung von Grund auf).

Diese kleine Änderung sorgt für ein erhebliches Maß an Stabilität im Coaching und zeigt, dass Kuration leichter durch Verfeinerung als durch Kreation erlernt werden kann.

Wie Coaching funktioniert: SFT, dann RL

Es gibt zwei Phasen in der Schulungspipeline, die unterschiedliche Arten von Arbeit erledigen:

Stufe 1: Überwachte Feinabstimmung

Ein Lehrermodell (GPT-5.4) läuft im kompletten Harness im Reside-Zustand und wird zu diesem Zeitpunkt mit einer großen Menge unterschiedlicher Abfragen trainiert. Nachdem wir alle Trajektorien mit schlechter Leistung herausgefiltert hatten, blieben insgesamt 899 Episoden übrig, in denen die korrekte Verwendung der Schnittstelle behandelt wurde, um dem Modell beizubringen, wie es Werkzeuge aufruft, Aktionen strukturiert und den kuratierten Satz aktualisiert.

# LoRA configuration for SFT
lora_config = {
    "rank": 32,
    "target_modules": ("q_proj", "v_proj"),
    "base_model": "gpt-oss-20b",
    "epochs": 3,
    "checkpoint_for_rl": 550,  # step-550 initializes RL coaching
}

Stufe 2: Reinforcement Studying

In der zweiten Part von Verstärkungslernenrichtlinienkonformes CISPO wird mit einer Belohnungsfunktion verwendet, die nur auf Terminalprämien basiert, und hat eine Obergrenze von 40 Runden. Die Trainingsdaten bestanden aus SEC-Abfragen (Finanzdokumente), aber die durch das Coaching in dieser Part erlernten Richtlinien waren auf alle acht Benchmark-Domänen verallgemeinerbar. Die Belohnungsfunktion hat zwei große Vorteile:

• Der erste Vorteil ist die Trennung von Entdeckung und Auswahl. Die beiden Elemente werden als unabhängige Belohnungen bereitgestellt, wenn eine Entdeckung gefunden und kuratiert wird (d. h. ein relevantes Dokument wird gefunden und dann kuratiert).
• Der zweite Vorteil ist die Hinzufügung eines Diversitätsbonus für die verwendeten Instruments. Dieser Bonus ist wichtiger als Sie vielleicht denken.

Ohne den Variety-Bonus bleibt der Agent in einer Schleife stecken. Der Agent gibt wiederholt dieselbe Suchanfrage in leicht unterschiedlicher Kind aus, füllt den kuratierten Satz mit vielen ähnlichen Elementen und erlebt einen Stillstand (0,53 kuratierter Rückruf). Der Agent lernt zu nutzen grep_corpus, confirmUnd read_document zusätzlich zu search_corpus wenn ein Diversitätsbonus hinzugefügt wird und sich dadurch der Rückrufwert des Agenten ab dieser einen Änderung auf 0,60 erhöht.

# Simplified reward construction
def compute_reward(episode):
    discovery_score = count_newly_found_relevant_docs(episode)
    selection_score = curated_recall(episode.final_curated_set)
    diversity_bonus = tool_diversity_score(episode.action_sequence)

    # Terminal reward solely - no intermediate shaping
    return selection_score + 0.3 * discovery_score + 0.2 * diversity_bonus

Praktisch: Harness-1 vor Ort ausführen

Probieren wir es aus.

1. Im Second wird dieses Repo verwendet uv für das Abhängigkeitsmanagement und vLLM für die Bereitstellung. Sie benötigen genügend GPU-VRAM, um ein 20-B-Modell auszuführen. Beispielsweise reicht ein einzelner A100 (80 GB) intestine aus. Alternativ funktionieren zwei A100 (40 GB) mit Tensorparallelität sehr intestine, wenn Sie welche haben.
2. Klonen Sie das Repository und installieren Sie es

git clone https://github.com/pat-jj/harness-1.git
cd harness-1

# If you have not put in uv, do it now
pip set up uv

# Pull all dependencies together with vLLM
uv sync --extra vllm

Beachten Sie, dass das Einziehen von vLLM und seinen CUDA-Abhängigkeiten mit erfolgt --extra vllm-Flag und kann beim ersten Abrufen des Pakets einige Zeit dauern. Wenn Sie diesen Schritt nicht ausführen, wird das Inferenzskript aufgrund seiner Abhängigkeit vom vLLM-Server nicht ausgeführt.

3. Wenn Sie zum ersten Mal eine Anwendung ausführen, auf der dieses Modell installiert ist, dauert der Obtain ungefähr 40 GB Gewichte von HuggingFace und richten Sie mit uvicorn einen lokalen OpenAI-kompatiblen Server ein. Nachdem uvicorn gestartet ist, können Sie den Server unter öffnen http://0.0.0.0:8000sollten Sie Ihr Modell ausführen können.

uv run python inference/vllm_local_inference.py serve 
  --model pat-jj/harness-1 
  --served-model-name harness-1

Wenn Sie über zwei GPUs verfügen, können Sie diese hinzufügen --tensor-parallel-size 2 um eine Aufteilung zwischen beiden GPUs zu erstellen. Ohne diese Choice kommt es bei einer 40-GB-GPU zu Problemen mit dem Arbeitsspeicher.

4. Die Ausführung von Schritt 3 bedeutet, dass Sie nun eine Suchanfrage direkt an den Harness-1-Server stellen können. Sie müssen Ihre Suchanfrage als strukturierte Abfrage formatieren, die an ein Chroma-Korpus gerichtet ist. So würde ein minimaler Take a look at mit dem aussehen BrowseComp+-Benchmark Format:

from openai import OpenAI

shopper = OpenAI(base_url="http://localhost:8000/v1", api_key="none")

response = shopper.chat.completions.create(
    mannequin="harness-1",
    messages=(
        {
            "function": "consumer",
            "content material": "Seek for paperwork concerning the 2024 EU AI Act enforcement timeline.",
        }
    ),
    max_tokens=512,
    temperature=0.0,  # deterministic for eval runs
)

# The mannequin emits a structured software motion - parse it
motion = response.selections(0).message.content material
print(motion)

Als Antwort auf Ihre Anfrage erhalten Sie eine Ausgabe, die keinen narrativen Charakter hat. Die Ausgabe erfolgt in Kind einer strukturierten Aktion; z.B fan_out_search(queries=("EU AI Act enforcement 2024", "AI Act timeline implementation")). Dies ist zu erwarten, da es sich bei Harness-1 um einen Abruf-Subagenten und nicht um ein Chat-Modell handelt. Die Ausgabe von Harness-1 wird dann an den Harness gesendet, der die Aktion gegen Ihren Korpus verarbeitet.

5. Nachdem eine vollständige Suchepisode abgeschlossen ist, können Sie die wichtigen Metriken in der Protokolldatei sehen.

Benchmark-Ergebnisse: Wo es steht

Harness-1 wurde anhand von acht verschiedenen Benchmarks getestet, darunter Websuche, SEC-Finanzanmeldungen, Patente und Multi-Hop-Fragenbeantwortung (QA).

Der kuratierte Rückruf ist die zentrale Kennzahl zur Messung der Leistung von Harness-1, d. h. wie viel Prozent aller relevanten Dokumente, die von Harness-1 bei der endgültigen Ausgabe von insgesamt 30 Dokumenten erstellt wurden, es in die Ausgabe geschafft haben.

Was Harness-1 nicht kann?

Es handelt sich um einen Abruf-Subagenten, der einen geordneten Dokumentensatz zurückgibt und keine Argumentation, Zusammenfassung oder Synthese einer Antwort aus diesem Dokumentensatz durchführt. Daher wird das Downstream-Antwortmodell im Umfang nicht berücksichtigt.

Die RL-Schulung wurde nur für SEC-Anfragen durchgeführt, es ist jedoch vielversprechend, die Übertragungsleistung auf webbasierte, Patent- und Multi-Hop-QA-Anfragen zu sehen. Allerdings haben wir die Domänengeneralisierung nicht als Teil des Trainingsaufbaus berücksichtigt. Die Struktur von Finanzdokumenten unterscheidet sich grundlegend von den Multi-Hop-Ketten der Wikipedia.

Darüber hinaus stellen 899 SFT-Trajektorien einen relativ kleinen Datensatz dar. Außerdem struggle der Lehrer GPT-5.4, was teuer ist. Daher bleibt die Frage offen, wie der Prozess der Flugbahnerfassung skaliert werden kann.

Abschluss

Harness-1 zeigt gewissermaßen, dass modulare KI-Systeme am Ende besser abschneiden als monolithische Systeme. Beispielsweise schneidet ein 20B-Modell, das auf eine enge Aufgabe trainiert wurde und über einen intestine gestalteten Gurt verfügt, am Ende besser ab als Frontier-Modelle, die dies getan haben 5-fache Parameter. Es ist auch nicht nur ein architektonischer Sieg, es fühlt sich eher wie ein Rezept an.

Die Gewichte und der Harness-Code sind öffentlich. Wenn Sie additionally etwas mit Retrieval erstellen, wie RAG-Pipelines, Forschungsagenten, Dokument-Q/A usw., ist dieses Setup einen sorgfältigen Blick wert.

Es gibt auch einen Grund, warum die Rangliste der offenen Gewichte im letzten Jahr weitgehend von Frontier-Modellen angeführt wurde. Harness-1 ist bisher der direkteste Kontrapunkt.

Häufig gestellte Fragen

Information Science Trainee bei Analytics Vidhya
Derzeit arbeite ich als Information Science Trainee bei Analytics Vidhya, wo ich mich auf die Entwicklung datengesteuerter Lösungen und die Anwendung von KI/ML-Techniken zur Lösung realer Geschäftsprobleme konzentriere. Meine Arbeit ermöglicht es mir, fortschrittliche Analysen, maschinelles Lernen und KI-Anwendungen zu erforschen, die es Unternehmen ermöglichen, intelligentere, evidenzbasierte Entscheidungen zu treffen.
Mit einem starken Fundament in den Bereichen Informatik, Softwareentwicklung und Datenanalyse ist es mir eine Leidenschaft, KI zu nutzen, um wirkungsvolle, skalierbare Lösungen zu schaffen, die die Lücke zwischen Technologie und Geschäft schließen.
Du kannst mich auch erreichen unter (e mail protected)

Die Artwork und Weise, wie jemand on-line Informationen findet, hat sich völlig verändert. Menschen verlassen sich nicht mehr nur auf die Prime-Ten-Hyperlinks von Google. Heutzutage verlassen sie sich oft auf Antworten, die von KI generiert werden, und dieser Wandel wird oft durch Instruments wie unterstützt GEO-Instrument Das hilft bei der lokalen und geografischen Ausrichtung und bedeutet, dass sich auch die Regeln ändern, um on-line entdeckt zu werden. Wenn Sie ein Unternehmen leiten, ist das Markenvertrauen zu einem wichtigen Faktor für das Suchranking geworden.

Massive Language Fashions (LLMs) priorisieren überprüfbare Autorität. Um den Spitzenplatz zu erringen, muss Ihr Unternehmen daher klare Autoritätssignale aufbauen, sicherstellen, dass Sie von Dritten korrekt erwähnt werden, und Inhalte erstellen, die für Sie äußerst nützlich sind KI dass sie konsequent danach greifen.

Warum die generative Suche vor allem Vertrauen will

Die generative Suche unterscheidet sich von anderen Suchmaschinenmodellen darin, dass sie nicht versucht, Sie irgendwohin zu schicken. Vielmehr soll es Ihnen eine umfassende Antwort geben. Wenn KI eine Antwort generiert, spricht sie mit der impliziten Autorität der Suchmaschine selbst. Daher muss sich das zugrunde liegende System stark auf Genauigkeit und Glaubwürdigkeit verlassen.

Bei Algorithmen wird Vertrauen in mehrere Signale übersetzt: Fachwissen, Erfahrung, Autorität und Vertrauenswürdigkeit (EEAT). Aber KI verarbeitet diese Konzepte anders als in älteren Systemen. Sie wählen nicht nur die besten Hyperlinks basierend auf der stärksten Suchmaschinenoptimierung aus. Sie arbeiten als hochentwickelte Faktenprüfer, die die Kohärenz von Informationen im gesamten Internet bewerten, und sie suchen nach einem Konsens aus überprüfbaren Quellen mit hoher Autorität.

„Bei der Suche geht es darum, ein Rating zu erhalten und angeklickt zu werden. Die Web site beantwortet dann ihre Fragen, zeigt unterstützende Beweise und wandelt den Besucher in einen Lead um“, erklärt Andy Crestodina von OrbitMedia den Unterschied traditionelle versus KI-Suchfunktionen. „Bei KI geht es darum, Empfehlungen basierend auf dem Kontext des Benutzers zu erhalten. Zu den Antworten gehören Vergleiche und Vertrauenssignale …“ Daher ist Vertrauen kein vager Marketingfaktor mehr. Es ist die eigentliche technische Voraussetzung, wenn Sie in den wertvollsten Suchmaschinen erscheinen wollen.

Autorität und Fachwissen aufbauen

Um in einem solch neuen Umfeld erfolgreich zu sein, muss Ihr Unternehmen seine Autorität aktiv so verbreiten, dass KI-Systeme sie sowohl sehen als auch verarbeiten können. Das Ziel geht tiefer als jede Customary-Search engine optimisation-Strategie. Es geht darum, klares, maschinenlesbares Materials zu erstellen, das zeigt, dass Sie ein Experte für ein Thema sind. Dies erfordert auch eine kontinuierliche Wartung, da Suchsysteme die Glaubwürdigkeit einer Marke weiterhin anhand immer komplexerer Signale interpretieren.

Eine Möglichkeit, dies zu erreichen, ist das Daten- und Schema-Markup. Dies hilft KI-Systemen dabei, Ihr Unternehmen genauer in den breiteren Wissensbestand einzuordnen. Sie möchten sicherstellen, dass Ihre Inhalte an erkennbare Experten mit nachweisbaren Referenzen gebunden sind. Wenn KI beispielsweise bestätigen kann, dass der Autor von akademischen, behördlichen oder industriellen Stellen referenziert wird, ist es wahrscheinlicher, dass der Inhalt als maßgeblich angesehen wird.

Die Macht der Erwähnung durch Dritte

Generative Suchmodelle sind sehr intestine darin, Muster zu finden und Inkonsistenzen zu erkennen. Wenn Sie additionally möchten, dass eine Marke vertrauenswürdig wirkt, muss sie von anderen Autoritätspersonen genau und konsistent referenziert werden, was ihr einen Vorteil gegenüber anderen Quellen verschafft.

Auch Konsistenz ist wichtig. Wenn die grundlegenden Informationen Ihres Unternehmens selbst auf zuverlässigen Branchenseiten fehlerhaft oder ungenau sind, kann das KI-System Sie als unzuverlässig kennzeichnen. Wenn Sie jedoch von Quellen Dritter korrekt und häufig zitiert werden, fungieren diese Verweise als Vertrauensbeweis, den die KI erkennen kann. Externe Validierung ist wichtig, da KI-Modelle einen Konsens anstreben. Wenn dieser Konsens darauf hinweist, dass Ihre Marke die zuverlässigste Quelle ist, können Sie Ihre wahrgenommene Autorität stärken.

Inhalte erstellen, die von der KI gefunden werden können

Der Inhalt sollte nützlich, strukturiert und leicht zu referenzieren sein. Inhalte, die übermäßig werblich sind oder denen der Kontext fehlt, werden mit größerer Wahrscheinlichkeit ignoriert, selbst wenn sie alle alten Search engine optimisation-Sweetspots treffen.

Um KI-freundliche Inhalte zu erstellen, strukturieren Sie Ihre Informationen in einem logischen Muster. Verwenden Sie klare Überschriften, Aufzählungspunkte und klar definierte Abschnitte, die es einem Algorithmus erleichtern, bestimmte Fakten und Konzepte zu finden, die als Ergebnisse präsentiert werden können, wenn Personen Fragen stellen. Artikel, die tief in ein Thema eintauchen, sind oft effektiver, da sie die umfassende Sprache bieten, die KI gerne verwendet, um eine vollständige Antwort zu erstellen. Vermeiden Sie außerdem Fachjargon und stellen Sie sicher, dass alle Datenpunkte oder Behauptungen durch überprüfbare Quellen gestützt werden.

Denken Sie daran, dass es beim Übergang zur generativen Suche nicht darum geht, Search engine optimisation aufzugeben. Vielmehr geht es darum, die Messlatte für Qualität und Vertrauen höher zu legen. Die digitale Welt wird wahrscheinlich weiterhin auf KI angewiesen sein, um komplizierte Informationen zu destillieren, und die Marken mit starken Autoritätssignalen könnten besser positioniert sein. Anstatt einfach nur nach Schlüsselwörtern zu optimieren, sollten Sie sich auf überprüfbare Autorität, genaue externe Referenzen und hochwertige Inhalte konzentrieren, die Ihnen dabei helfen können, Ihre Marke auf die Zukunft der Suche vorzubereiten.

Hervorgehobener Bildnachweis

Diese Woche hat Liquid AI zwei neue Abrufmodelle veröffentlicht. Sie sind LFM2.5-ColBERT-350M Und LFM2.5-Embedding-350M. Beide enthalten 350 Millionen Parameter. Beide sind die ersten bidirektionalen Mitglieder der LFM-Familie. Sie bauen darauf auf LFM2.5-350M-Foundationveröffentlicht im März. Das Paar zielt auf eine schnelle mehrsprachige und mehrsprachige Suche in 11 Sprachen ab. Ihre Stellfläche ist klein genug, um quick überall eingesetzt zu werden. Beide sind ab sofort auf Hugging Face unter der LFM Open License v1.0 verfügbar.

LFM2.5 Retriever

Die beiden Modelle haben das gleiche Grundgerüst, stellen Textual content jedoch unterschiedlich dar. LFM2.5-Embedding-350M ist ein dichter Bi-Encoder. Es verwandelt jedes Dokument in einen einzelnen Vektor. Wählen Sie es, wenn Sie die schnellste Suche und den kleinsten, günstigsten Index wünschen.

LFM2.5-ColBERT-350M ist ein Modell der späten Interaktion. Es wandelt jedes Token in einen Vektor um und nicht in einen Vektor professional Dokument. Dadurch können Abfragen Wort für Wort abgeglichen werden, um eine höhere Genauigkeit und eine bessere Verallgemeinerung zu erzielen. Der Kompromiss ist ein größerer Index. Wählen Sie es, wenn Genauigkeit wichtiger ist als Speicherplatz. Die Abfragelänge ist auf 32 Token begrenzt. Es kann auch die Ergebnisse eines Retrievers der ersten Stufe neu einordnen, ohne einen Index zu erstellen.

Beide zielen auf die Kurzkontextsuche ab. Zu den guten Lösungen gehören Produktkataloge, FAQ-Wissensdatenbanken und Supportdokumente. Liquid AI positioniert sowohl als Drop-in-Ersatz für eine bestehende RAG-Pipeline.

Der Architekturwandel: Von kausal zu bidirektional

Beide Modelle beginnen mit LFM2.5-350M-Base, einem mitteltrainierten Allzweck-Kontrollpunkt. Liquid AI wendet einen kleinen Satz an bidirektionale Patches zur LFM2-Architektur. Diese adaptieren ihn von einem kausalen Decoder zu einem bidirektionalen Encoder.

In einer Kausalkonfiguration verwendet jeder Token nur sich selbst und vorherige Token. Das eignet sich für die Era von hyperlinks nach rechts, ist aber für das Abrufen weniger natürlich. Das Group ersetzt die kausale Aufmerksamkeitsmaske durch eine bidirektionale. Jetzt kann jedes Token sowohl den linken als auch den rechten Kontext berücksichtigen. Sie machen auch die kurzen LFM2-Faltungen nicht kausal. Diese mischen lokale Informationen symmetrisch um jeden Token herum, nicht nur aus der Vergangenheit.

Dadurch bleibt die Effizienz des LFM2-Backbones erhalten und gleichzeitig werden die Abrufanforderungen für Vollkontextdarstellungen erfüllt. Jedes Modell hat 17 Schichten: 10 Faltungsschichten, 6 Aufmerksamkeitsschichten und 1 Pooling- oder Dense-Schicht. Die Kontextlänge erreicht 32.768 Token, obwohl Dokumente auf 512 Token abgestimmt sind. Vom Shared-Encoder unterscheiden sich die beiden Modelle lediglich in der Ausgabe. Beim Einbetten wird Pooling im CLS-Stil für einen 1024-Dim-Vektor verwendet. ColBERT behält 128-Dim-Einbettungen professional Token für die späte MaxSim-Interaktion bei.

Coaching und Daten

Beide Modelle folgen dem gleichen dreistufigen Rezept:

• Stufe eins ist ein groß angelegtes kontrastives Vortraining in Englisch.
• Stufe zwei ist die mehrsprachige und sprachübergreifende Destillation aller 11 Sprachen durch einen starken Lehrer.
• Stufe drei ist die letzte Feinabstimmung der hart abgebauten Detrimental.

Das Einbettungsmodell empfängt etwas mehr sprachübergreifende Daten als ColBERT. Der sprachübergreifende Abruf erfolgt in der späten Interaktionskonfiguration natürlicher. Trainingsdaten kombinieren kuratierte interne Daten mit englischsprachigen Open-Supply-Retrieval-Datensätzen. LLM-basierte Übersetzung erweitert die mehrsprachigen und sprachenübergreifenden Paare.

Benchmark

Liquid AI hat zwei Fähigkeiten bewertet. Der erste ist der mehrsprachige Abruf mit NanoBEIR. Die zweite ist die sprachübergreifende Open-Area-QA mit MKQA-11. Beide berichten über Ergebnisse in allen 11 Sprachen: Arabisch, Deutsch, Englisch, Spanisch, Französisch, Italienisch, Japanisch, Koreanisch, Norwegisch, Portugiesisch und Schwedisch.

Im Durchschnitt führen beide Modelle ihre Klasse an. Hier die Vergleichsdetails:

ColBERT führt in beiden Durchschnittswerten. Die Einbettung liegt bei MKQA-11 mit 0,691 knapp dahinter. Beide schlagen Qwen3-Embedding-0.6B, ein größeres Modell. Der neue ColBERT verbessert auch den früheren LFM2-ColBERT-350M, von 0,540 auf 0,605 auf NanoBEIR. Liquid AI weist außerdem darauf hin, dass NanoBEIR English das teurere vollständige BEIR verfolgt. Die beiden korrelieren weiterhin stark miteinander, wobei NanoBEIR nahezu konstant etwa 15 % besser abschneidet. Das Forschungsteam nutzt NanoBEIR daher als praktischen Stellvertreter bei Trainingsläufen.

Latenz und Edge-Bereitstellung

Liquid AI hat GGUF-Varianten für veröffentlicht lama.cpp. Dadurch können beide Modelle auf CPUs, Laptops und Edge-Geräten laufen. Die folgenden Abbildungen verwenden ein MacBook Professional M4 Max im FP16. Abfragen bestehen aus 32 Token; Dokumente sind 256 Token.

Wenn Dokumenteinbettungen vorab berechnet werden, bleibt die mittlere (p50) Abfragelatenz unter 10 ms. Durch die Kodierung von Dokumenten zur Abfragezeit wird ColBERT auf 34,3 ms erhöht. Für den Unternehmensmaßstab hat Liquid AI außerdem einen internen GPU-Stack erstellt. Auf einem H100 bei FP16 werden Latenzen von nur 1 ms beobachtet. Die Einbettungs-Abfragelatenz beträgt dort 1,5 ms p50.

Anwendungsfälle mit Beispielen

• E-Commerce: Durchsuchen Sie einen Produktkatalog in mehreren Sprachen mit einem Index. Ein Käufer gibt eine koreanische Suchanfrage ein und das System zeigt eine englische Produktliste an. Durch den sprachübergreifenden Abruf funktioniert dies ohne Indizes professional Sprache.
• FAQ und Help-Wissensdatenbanken: Rufen Sie zuverlässig die richtige Antwort auf allen kundenorientierten Oberflächen ab. Eine französische Supportfrage ist einem englischen Hilfeartikel zugeordnet.
• Semantische Suche auf dem Gerät: Durchsuchen Sie Dateien, E-Mails und Notizen lokal auf Shopper-{Hardware}. Der GGUF-Construct speichert Daten auf dem Gerät zu nahezu Nullkosten.
• Wissensassistenten für Unternehmen: Rufen Sie interne rechtliche, finanzielle und technische Dokumente in mehreren Sprachen ab. ColBERT eignet sich hierfür, wenn die Antwortgenauigkeit wichtiger ist als die Indexgröße.

Code: Erste Schritte

Das Einbettungsmodell läuft durch sentence-transformers. Übergeben Sie immer die asymmetrischen Eingabeaufforderungen. question: Und doc:. Werden sie stillschweigend weggelassen, verschlechtert sich die Abrufqualität.

from sentence_transformers import SentenceTransformer

mannequin = SentenceTransformer(
    "LiquidAI/LFM2.5-Embedding-350M",
    trust_remote_code=True,
)

queries = ("What's the capital of France?")
paperwork = ("Paris is the capital and largest metropolis of France.")

q_emb = mannequin.encode(queries,   prompt_name="question",    normalize_embeddings=True)
d_emb = mannequin.encode(paperwork, prompt_name="doc", normalize_embeddings=True)

scores = q_emb @ d_emb.T  # form: (n_queries, n_documents)

Das ColBERT-Modell läuft durch PyLate. Sein PLAID-Index nutzt FastPLAID für eine effiziente Ähnlichkeitssuche.

from pylate import indexes, fashions, retrieve

mannequin = fashions.ColBERT(
    model_name_or_path="LiquidAI/LFM2.5-ColBERT-350M",
    trust_remote_code=True,
)
mannequin.tokenizer.pad_token = mannequin.tokenizer.eos_token

index = indexes.PLAID(index_folder="pylate-index", index_name="index", override=True)

docs_emb = mannequin.encode(("doc 1 textual content", "doc 2 textual content"), is_query=False)
index.add_documents(documents_ids=("1", "2"), documents_embeddings=docs_emb)

retriever = retrieve.ColBERT(index=index)
q_emb = mannequin.encode(("a search question"), is_query=True)
scores = retriever.retrieve(queries_embeddings=q_emb, okay=10)

Um stattdessen eine vorhandene Pipeline der ersten Stufe neu einzustufen, überspringen Sie den Index und verwenden Sie rank.rerank.

from pylate import fashions, rank

mannequin = fashions.ColBERT(model_name_or_path="LiquidAI/LFM2.5-ColBERT-350M", trust_remote_code=True)

queries = ("question A")
paperwork = (("candidate doc 1", "candidate doc 2"))
documents_ids = ((1, 2))

q_emb = mannequin.encode(queries, is_query=True)
d_emb = mannequin.encode(paperwork, is_query=False)

reranked = rank.rerank(
    documents_ids=documents_ids,
    queries_embeddings=q_emb,
    documents_embeddings=d_emb,
)

Sie können jedes Modell auch anhand Ihrer eigenen Daten optimieren. Die Einbettungskarte bietet Snippets mit sentence-transformers Und MultipleNegativesRankingLoss.

Wichtige Erkenntnisse

• LFM2.5-ColBERT-350M und LFM2.5-Embedding-350M von Liquid AI sind die ersten bidirektionalen LFMs, die für die mehrsprachige Suche in 11 Sprachen entwickelt wurden.
• Beide 350M-Modelle führen ihre Klasse auf NanoBEIR und MKQA-11 an und schlagen den größeren Qwen3-Embedding-0.6B.
• Durch die Einbettung erhält man den kleinsten und günstigsten Index; ColBERT handelt mit einem größeren Index für eine höhere Genauigkeit professional Token.
• GGUF-Builds werden über llama.cpp auf CPUs, Laptops und Edge ausgeführt, mit einer zwischengespeicherten p50-Abfragelatenz von weniger als 10 ms.
• Sie fallen durch in bestehende RAG-Pipelines sentence-transformers und PyLate unter der LFM Open License v1.0.

Interaktiver Erklärer