Salesforce – chatgpz.de – KI-Tools & Praxiswissen

Salesforce AI Analysis veröffentlicht VoiceAgentRAG: einen Twin-Agent-Speicherrouter, der die Latenz beim Sprach-RAG-Abruf um das 316-fache verkürzt

admin — Mon, 30 Mar 2026 11:33:01 +0000

[ad_1]

In der Welt der Sprach-KI wird der Unterschied zwischen einem hilfreichen Assistenten und einer unangenehmen Interaktion in Millisekunden gemessen. Während sich textbasierte Retrieval-Augmented Era (RAG)-Systeme einige Sekunden „Denkzeit“ leisten können, müssen Sprachagenten innerhalb von 200 Sekunden reagierenMS Funds, um einen natürlichen Gesprächsfluss aufrechtzuerhalten. Standardmäßige Produktionsvektordatenbankabfragen fügen normalerweise 50–300 hinzuMS der Netzwerklatenz, wodurch effektiv das gesamte Funds verbraucht wird, bevor ein LLM überhaupt mit der Generierung einer Antwort beginnt.

Das Salesforce-KI-Forschungsteam hat veröffentlicht VoiceAgentRAGeine Open-Supply-Architektur mit zwei Agenten, die diesen Abrufengpass umgehen soll, indem das Abrufen von Dokumenten von der Antwortgenerierung entkoppelt wird.

https://arxiv.org/pdf/2603.02206

Die Twin-Agent-Architektur: Schneller Redner vs. Langsamer Denker

VoiceAgentRAG fungiert als Speicherrouter, der zwei gleichzeitige Agenten über einen asynchronen Ereignisbus orchestriert:

Der schnelle Redner (Vordergrundagent): Dieser Agent verwaltet den kritischen Latenzpfad. Bei jeder Benutzerabfrage wird zunächst ein lokaler In-Reminiscence-Speicher überprüft Semantischer Cache. Wenn der erforderliche Kontext vorhanden ist, dauert die Suche etwa 0,35MS. Bei einem Cache-Fehler greift es auf die Distant-Vektordatenbank zurück und speichert die Ergebnisse sofort für zukünftige Runden zwischen.
Der Langsame Denker (Hintergrundagent): Dieser Agent wird als Hintergrundaufgabe ausgeführt und überwacht kontinuierlich den Gesprächsstrom. Es nutzt ein Schiebefenster des letzten sechs Gesprächsrunden vorhersagen 3–5 wahrscheinliche Folgethemen. Anschließend ruft es relevante Dokumentblöcke aus dem Distant-Vektorspeicher in den lokalen Cache ab, bevor der Benutzer überhaupt seine nächste Frage stellt.

Um die Suchgenauigkeit zu optimieren, wird der Sluggish Thinker angewiesen, zu generieren Beschreibungen im Dokumentstil statt Fragen^{. Dadurch wird sichergestellt, dass die resultierenden Einbettungen besser mit der tatsächlichen Prosa in der Wissensdatenbank übereinstimmen^.}

Das technische Rückgrat: Semantisches Caching

Die Effizienz des Methods hängt von einem speziellen semantischen Cache ab, der mit einem In-Reminiscence implementiert wird FAISS IndexFlat IP (inneres Produkt)^{^{^{^.}}}

Indizierung zur Einbettung von Dokumenten: Im Gegensatz zu passiven Caches, die nach Abfragebedeutung indizieren, indiziert VoiceAgentRAG Einträge selbst Einbettungen von Dokumenten. Dadurch kann der Cache eine ordnungsgemäße semantische Suche über seinen Inhalt durchführen und so die Relevanz sicherstellen, selbst wenn die Formulierung des Benutzers von den Vorhersagen des Methods abweicht.
Schwellenwertmanagement: Da die Kosinus-Ähnlichkeit zwischen Abfrage und Dokument systematisch geringer ist als die Ähnlichkeit zwischen Abfrage und Abfrage, verwendet das System einen Standardschwellenwert von $tau = 0,40$ um Präzision und Erinnerung in Einklang zu bringen.
Wartung: Der Cache erkennt Beinahe-Duplikate mithilfe von a 0,95 Kosinus-Ähnlichkeitsschwelle und beschäftigt a Am wenigsten kürzlich genutzt (LRU) Räumungspolitik mit a 300 Sekunden Time-To-Dwell (TTL).
Prioritätsabruf: Bei einem Quick-Talker-Cache-Fehlschlag, a PriorityRetrieval Das Ereignis veranlasst den Sluggish Thinker, einen sofortigen Abruf mit einem durchzuführen erweitertes High-Ok (2x die Standardeinstellung) um den Cache um den neuen Themenbereich schnell zu füllen.

Benchmarks und Leistung

Das Forschungsteam bewertete das System anhand von Qdrant Cloud als Distant-Vektordatenbank für 200 Abfragen und 10 Konversationsszenarien.

Metrisch	Leistung
Gesamt-Cache-Trefferrate	75 % (79 % bei warmen Kurven)
Beschleunigung des Abrufs	316x $(110 ms rightarrow 0,35 ms)$
Gesamte Zeitersparnis beim Abrufen	16,5 Sekunden über 200 Umdrehungen

Die Architektur ist in thematisch kohärenten oder thematisch nachhaltigen Szenarien am effektivsten. Zum Beispiel, ‚Funktionsvergleich‘ (S8) erreicht a 95 % Trefferquote. Umgekehrt sank die Leistung in volatileren Szenarien; Das Szenario mit der niedrigsten Leistung struggle „Bestandskunden-Improve“ (S9) bei a 45 % Trefferquotewährend „Gemischtes Schnellfeuer“ (S10) 55 % beibehielt.

https://arxiv.org/pdf/2603.02206

Integration und Help

Das VoiceAgentRAG-Repository ist auf umfassende Kompatibilität mit dem gesamten KI-Stack ausgelegt:

LLM-Anbieter: Unterstützt OpenAI, Anthropisch, Zwillinge/Vertex-KIUnd Ollama. Das Standardbewertungsmodell des Papiers struggle GPT-4o-mini.
Einbettungen: Die Forschung genutzt OpenAI text-embedding-3-small (1536 Dimensionen), aber das Repository bietet Unterstützung für beide OpenAI Und Ollama Einbettungen.
STT/TTS: Unterstützt Flüstern (lokal oder OpenAI) für Speech-to-Textual content und Edge-TTS oder OpenAI für Textual content-to-Speech.
Vector Shops: Integrierte Unterstützung für FAISS Und Qdrant.

Wichtige Erkenntnisse

Twin-Agent-Architektur: Das System löst den RAG-Latenzengpass, indem es einen „Quick Talker“ im Vordergrund für Cache-Suchen unter einer Millisekunde und einen „Sluggish Thinker“ im Hintergrund für vorausschauendes Vorabholen verwendet.
Deutliche Beschleunigung: Es wird eine 316-fache Abrufgeschwindigkeit erreicht $(110 ms rightarrow 0,35 ms)$ bei Cache-Treffern, was entscheidend ist, um innerhalb des natürlichen Sprachantwortbudgets von 200 ms zu bleiben.
Hohe Cache-Effizienz: Über verschiedene Szenarien hinweg behält das System eine Gesamt-Cache-Trefferquote von 75 % bei und erreicht bei thematisch zusammenhängenden Gesprächen wie Funktionsvergleichen einen Spitzenwert von 95 %.
Dokumentindiziertes Caching: Um die Genauigkeit unabhängig von der Benutzerformulierung sicherzustellen, indiziert der semantische Cache Einträge nach Dokumenteinbettungen und nicht nach der Einbettung der vorhergesagten Abfrage.
Vorausschauendes Vorabrufen: Der Hintergrundagent verwendet ein Schiebefenster der letzten sechs Gesprächsrunden, um wahrscheinliche Folgethemen vorherzusagen und den Cache während natürlicher Pausen zwischen den Gesprächsrunden zu füllen.

Schauen Sie sich das an Papier Und Repo hier. Sie können uns auch gerne weiter folgen Twitter und vergessen Sie nicht, bei uns mitzumachen 120.000+ ML SubReddit und Abonnieren Unser Publication. Warten! Bist du im Telegram? Jetzt können Sie uns auch per Telegram kontaktieren.

[ad_2]

Salesforce AI Analysis veröffentlicht CODA-1.7B: Ein diskretes Diffusions-Code-Modell mit bidirektionaler Parallel-Token-Technology

admin — Mon, 06 Oct 2025 01:15:15 +0000

[ad_1]

Salesforce AI Analysis veröffentlicht Coda-1.7bein diffusionsbasiertes Sprachmodell für Code, das von generiert wird Denoising ganzer Sequenzen mit bidirektionalem KontextAktualisierung mehrere Token parallel eher anstatt von der nächsten nach rechts zu rechten Vorhersage. Das Forschungsteam veröffentlichte beide Base Und Anweisen Checkpoints und ein Finish-to-Finish-Trainings-/Bewertungs-/Servierstapel.

Verständnis der Architektur und des Trainings

Coda passt ein 1,7b-Parameter-Rückgrat an Diskrete Verbreitung Für Textual content: Maskierte Sequenzen werden iterativ unter Verwendung der Aufmerksamkeit der Sachhäuser iterativ abgelenkt, wodurch einheimische Infillieren und nicht autoregressive Decodierung ermöglicht werden. Die Modellkarten dokumentiert a dreistufige Pipeline (Vorausbildung mit bidirektionaler Maskierung, beaufsichtigtem Nachtraining und progressiver Denoising bei Inferenz) und reproduzierbare Skripte für TPU-Vorausbildung, GPU-Feinabstimmung und Bewertung.

Die wichtigsten Funktionen sind in der Veröffentlichung aufgetaucht:

Bidirektionaler Kontext über Diffusions -Denoising (keine feste Erzeugungsreihenfolge).
Konfidenzgesteuerte Probenahme (Entropiestil-Dekodierung) zur Handelsqualität im Vergleich zu Geschwindigkeit.
Offene Trainingspipeline mit Bereitstellung von Skripten und CLI.

Wie treten sie mit Benchmarks auf?

Auf Customary-Code-Gen-Suiten, Coda-1.7b-unstruktur Berichte: Humanerad 54,3%Anwesend Humanerover+ 47,6%Anwesend MBPP 47,2%Anwesend MBPP+ 63,2%Anwesend Evalplus aggregieren 55,4% (Cross@1). Für den Kontext ist die Modellkarte mit Diffusionsbasislinien einschließlich Dream-7b-Instruct (vergleichbar (57,9% Humaner) mit Coda 1.7b Fußabdruck ist mit einigen wettbewerbsfähig 7b Diffusionsmodelle zu mehreren Metriken und unter Verwendung weniger Parameter.

https://huggingface.co/salesforce/coda-v0-instruct

Inferenzverhalten

Die Erzeugungskosten unterliegen den Anzahl der Diffusionsschritte; Coda enthüllt Knöpfe wie z. STEPSAnwesend ALG="entropy"Anwesend ALG_TEMPund blocklänge zum Einstellen Latenz-/Qualitätskompromente. Da Token unter voller Aufmerksamkeit parallel aktualisiert werden, zielt die Coda niedriger ab Wandverkleidungslatenz in kleinem Maßstab im Vergleich zu größeren Diffusionsmodellen bei vergleichbaren Schrittbudgets. (Umarmtes Gesicht)

Bereitstellung und Lizenzierung

Das Repository bietet a Fastapi-Server mit OpenAI-kompatiblen APIs und eine interaktive CLI für lokale Inferenz; Zu den Anweisungen gehören Umgebungsanlagen und a start_server.sh Launcher. Modellkarten und a Umarmende Gesichtskollektion Artefakte zentralisieren. Die Kontrollpunkte werden unter veröffentlicht CC BY-NC 4.0 An Umarmtes Gesicht.

Coda-1.7b steht als saubere Referenz für die Erzeugung diskreter Diffusionscode in kleinem Maßstab: 1,7b-Parameter, bidirektionale Beenosing mit parallelen Token-Updates und eine reproduzierbare Pipeline von der Voraussetzung bis zu SFT und Servieren. Der gemeldete Cross@1-Ergebnisse-Humaneval 54,3, Humaneval+ 47,6, MBPP 47,2, MBPP+ 63,2, Evalplus aggregieren 55,4-platzieren Sie sie wettbewerbsfähig mit etwa 7B-Diffusions-Baselines (z. B. Dream-7b Humaneval 57,9) und verwenden nur wenige Parameter. Die Inferenzlatenz wird ausdrücklich von Schritt und Dekodierungsknöpfen regiert (Knöpfe (Decoding) (STEPSAnleitung im Entropiestil), die operativ zum Abtun von Durchsatz/Qualität nützlich ist. Die Veröffentlichung enthält Gewichte auf dem Umarmungsgesicht und einen Fastapi -Server/CLI für die lokale Bereitstellung.

Schauen Sie sich das an PapierAnwesend Github Repo Und Modell auf dem Umarmungsgesicht. Fühlen Sie sich frei, unsere zu überprüfen Github -Seite für Tutorials, Codes und Notizbücher. Fühlen Sie sich auch frei, uns zu folgen Twitter Und vergessen Sie nicht, sich unserer anzuschließen 100k+ ml Subreddit und abonnieren Unser E-newsletter. Warten! Bist du im Telegramm? Jetzt können Sie sich uns auch im Telegramm anschließen.

Asif Razzaq ist der CEO von Marktechpost Media Inc. Sein jüngstes Bestreben ist die Einführung einer Medienplattform für künstliche Intelligenz, Marktechpost, die sich durch die ausführliche Berichterstattung über maschinelles Lernen und Deep-Studying-Nachrichten auszeichnet, die von einem breiten Publikum technisch intestine und leicht verständlich sind. Die Plattform verfügt über über 2 Millionen monatliche Ansichten und veranschaulicht ihre Beliebtheit des Publikums.

Folgen Sie MarkTechPost: Fügen Sie uns als bevorzugte Quelle bei Google hinzu.

[ad_2]

Salesforce AI Releases Blip3-O: Ein mit Open-Supply-einheitliches multimodales Modell, das mit Clip-Einbettungen und Flussanpassung für Bildverständnis und Erzeugung erstellt wurde

admin — Sat, 17 May 2025 03:08:43 +0000

[ad_1]

Die multimodale Modellierung konzentriert sich auf das Aufbau von Systemen, um Inhalte für visuelle und textliche Formate zu verstehen und zu generieren. Diese Modelle sind so konzipiert, dass sie visuelle Szenen interpretieren und neue Bilder mit natürlichen Sprachanforderungen produzieren. Mit zunehmendem Interesse an der Überbrückung von Imaginative and prescient und Sprache arbeiten die Forscher daran, die Bilderkennung und die Bildgenerierungsfunktionen in ein einheitliches System zu integrieren. Dieser Ansatz beseitigt die Notwendigkeit separater Pipelines und eröffnet den Weg zu kohärenteren und intelligenteren Interaktionen über Modalitäten hinweg.

Eine zentrale Herausforderung in diesem Bereich besteht darin, Architekturen zu entwickeln, die sowohl Verständnis als auch Era bewältigen, ohne die Qualität von beiden zu beeinträchtigen. Modelle müssen komplexe visuelle Konzepte erfassen und qualitativ hochwertige Bilder erzeugen, die den Benutzeraufforderungen entsprechen. Die Schwierigkeit besteht darin, geeignete Bilddarstellungen und Schulungsverfahren zu identifizieren, die beide Aufgaben unterstützen. Dieses Drawback wird deutlicher, wenn erwartet wird, dass das gleiche Modell detaillierte Textbeschreibungen interpretiert und basierend auf ihnen visuell genaue Ausgänge generiert. Es erfordert eine Ausrichtung des semantischen Verständnisses und der Synthese auf Pixelebene.

Frühere Ansätze haben im Allgemeinen Variations-Autocoder (VAEs) oder Clip-basierte Encoder verwendet, um Bilder darzustellen. VAEs sind für den Rekonstruktion effizient, kodieren jedoch Merkmale auf niedrigerer Ebene und führen häufig zu weniger informativen Darstellungen. Clip-basierte Encoder bieten hochrangige semantische Einbettungen, indem sie aus großen Bild-Textual content-Paaren lernen. Der Clip wurde jedoch nicht für die Bildrekonstruktion erstellt, wodurch es für die Era schwierig ist, mit Modellen wie Diffusionsdecoden gepaart zu werden. In Bezug auf das Coaching wird der mittlere Quadratfehler (MSE) in den Einfachheit halber weit verbreitet, neigt jedoch dazu, deterministische Ausgaben zu erzeugen. Um die Vielfalt und Qualität der Erzeugung zu verbessern, haben sich die Forscher in Flussübereinstimmungen verwandelt, was die kontrollierte Stochastizität einführt und die kontinuierliche Natur von Bildmerkmalen besser modelliert.

Forscher aus Salesforce Analysis in Zusammenarbeit mit der College of Maryland und mehreren akademischen Institutionen führten BLIP3-O vor, eine Familie einheitlicher multimodaler Modelle. Das Modell verwendet eine zweistufige Trainingsstrategie, bei der das Bildverständnis zuerst erlernt wird, gefolgt von der Bildgenerierung. Das vorgeschlagene System nutzt Clip -Einbettungen, um Bilder darzustellen, und integriert sie in einen Diffusionstransformator, um neue visuelle Ausgänge zu synthetisieren. Im Gegensatz zu früheren gemeinsamen Trainingsmethoden behält der sequentielle Ansatz die Stärke jeder Aufgabe unabhängig voneinander bei. Das Diffusionsmodul wird trainiert, während das autoregressive Rückgrat gefroren bleibt und Aufgabenstörungen vermeiden. Um die Ausrichtung und visuelle Treue zu verbessern, kuratierte das Workforce auch Blip3O-60K, ein hochwertiges Datensatz mit der Anweisungseinstellung, das durch Aufforderung an GPT-4O über verschiedene visuelle Kategorien hinweg erstellt wurde, einschließlich Szenen, Objekten, Gesten und Textual content. Sie entwickelten zwei Modellversionen: ein 8-Milliarden-Parametermodell, das mit proprietären und öffentlichen Daten trainiert wurde, und eine 4-Milliarden-Model mit nur Open-Supply-Daten.

Die Bildgenerierungspipeline von Blip3-O basiert auf QWEN2.5-VL-Großsprachmodellen. Eingabeaufforderungen werden verarbeitet, um visuelle Merkmale zu erzeugen, die durch einen Durchfluss -Matching -Diffusionstransformator verfeinert wurden. Dieser Transformator basiert auf der Lumina-Subsequent-Architektur, die für Geschwindigkeit und Qualität optimiert ist und die Aufmerksamkeit der 3D-Rotary-Place und die Aufmerksamkeit für Gruppierungen einbettet. Das Modell codiert jedes Bild in 64 semantische Vektoren mit fester Länge, unabhängig von der Auflösung, die kompakte Speicherung und effiziente Decodierung unterstützt. Das Forschungsteam verwendete einen groß angelegten Datensatz von 25 Millionen Bildern aus Quellen wie CC12M, SA-1B und JourneyDB, um die Modelle zu trainieren. Sie erweiterten es mit 30 Millionen proprietären Stichproben für das 8B -Modell. Dazu gehörten auch 60K-Anleitungsabstimmungen, die anspruchsvolle Eingabeaufforderungen wie komplexe Gesten und Orientierungspunkte abdecken, die über GPT-4O erzeugt wurden.

In Bezug auf die Leistung zeigte BLIP3-O High-Ergebnisse in mehreren Benchmarks. Das 8B -Modell erreichte einen Genrezwert von 0,84 für die Ausrichtung der Bildgenerierung und einen weisen Rating von 0,62 für die Argumentationsfähigkeit. Bildverständnis bewertet 1682.6 zur MME-Notion, 647.1 zu MME-Kognition, 50.6 auf MMMU und 83,1 sowohl für VQAV2- als auch für TextVQA-Datensätze. Eine menschliche Bewertung zum Vergleich von Blip3-O 8b mit Janus Professional 7b zeigte, dass Blip3-O 50,4% der Zeit für die visuelle Qualität und 51,5% für die sofortige Ausrichtung bevorzugt wurde. Diese Ergebnisse werden durch statistisch signifikante P-Werte (5.05E-06 und 1.16E-05) unterstützt, was auf die Überlegenheit von Blip3-O bei subjektiven Qualitätsbewertungen hinweist.

Diese Forschung beschreibt eine klare Lösung für die doppelte Herausforderung des Bildverständnisses und der Erzeugung. Clip -Einbettungen, Movement -Matching und eine sequentielle Trainingsstrategie zeigen, wie das Drawback methodisch angegangen werden kann. Das Blip3-O-Modell liefert modernste Ergebnisse und führt einen effizienten und offenen Ansatz für eine einheitliche multimodale Modellierung ein.

Schauen Sie sich das an PapierAnwesend Github -Seite Und Modell auf dem Umarmungsgesicht. Alle Krediten für diese Forschung gilt an die Forscher dieses Projekts. Fühlen Sie sich auch frei, uns zu folgen Twitter Und vergessen Sie nicht, sich unserer anzuschließen 90k+ ml Subreddit.

Der Beitrag Salesforce AI Releases Blip3-O: Ein mit Open-Supply-einheitliches multimodales Modell, das mit Clip-Einbettungen und Flussanpassung für Bildverständnis und Erzeugung erstellt wurde erschien zuerst auf Marktechpost.

[ad_2]

Salesforce -Entlassungen: 1.000 betroffene Arbeitsplätze – hier ist derjenige, der gefährdet ist

admin — Wed, 05 Feb 2025 05:13:05 +0000

[ad_1]

Salesforce hat Pläne angekündigt, mehr als 1.000 Arbeitsplätze im Rahmen einer Umstrukturierungsanstrengung zu beseitigen, die darauf abzielt, die Ressourcen für seine wachsenden Initiativen für künstliche Intelligenz zu verwirklichen. Die Entscheidung markiert den jüngsten Schritt des Tech -Riese, um den Betrieb zu optimieren und seine Belegschaft in einem breiteren Branchentrend zur Automatisierung und Kostenreduzierung anzupassen.

Salesforce setzt 1.000 Arbeitsplätze und KI erhält stattdessen das Funds

Laut Unternehmensaussagen folgen die Entlassungen frühere Reduzierungen, die im Januar 2024 700 Positionen und im Juli 2024 zusätzlich 300 aufgenommen haben. Mit einer Belegschaft von quick 73.000 Mitarbeitern zum Ende des Geschäftsjahr in den betrieblichen Prioritäten des Unternehmens.

CEO Marc Benioff betonte, dass die Änderungen dazu gedacht sind, den Fokus von Salesforce auf seine neuen KI -Produkte zu unterstützen, einschließlich des Flaggschiffs des Unternehmens, Agentforce. Das Unternehmen leitet Kapital aus traditionellen technischen Rollen um, um seine KI -Fähigkeiten zu verbessern.

Die betroffenen Mitarbeiter haben die Möglichkeit, im Rahmen eines internen Mobilitätsprogramms andere Rollen innerhalb von Salesforce zu beantragen. Das Unternehmen gab an, dass diese Maßnahmen die Auswirkungen auf die einzelnen Karrieren minimieren sollen und gleichzeitig den Übergang zu einem kI-gesteuerten Geschäftsmodell erleichtern.

Grubhub -Datenverstoß: Hier ist, was Hacker bekommen haben und was Sie jetzt tun müssen

Branchenanalysten stellen fest, dass die Entscheidung von Salesforce mit ähnlichen Anpassungen der Belegschaft in anderen wichtigen Technologieunternehmen übereinstimmt, bei denen Automatisierung und KI -Integration zu erheblichen organisatorischen Änderungen geführt haben. Die Entlassungen spiegeln eine strategische Reaktion auf sich weiterentwickelnde Marktbedingungen wider. Unternehmen versuchen, die Betriebskosten zu senken und die Produktivität durch technologiebetriebene Lösungen zu verbessern.

Salesforce hat keine weiteren Einzelheiten zu den spezifischen Abteilungen oder Rollen angegeben, die von den Kürzungen betroffen sind. Das Unternehmen bestätigte, dass die Umstrukturierung Teil seiner breiteren Strategie ist, in Bereiche mit hohem Wachstum zu investieren und gleichzeitig die Wettbewerbsfähigkeit in einem zunehmend automatisierten Umfeld aufrechtzuerhalten.

Zu diesem Zeitpunkt wurden von Salesforce keine zusätzlichen Kommentare abgegeben. Weitere Particulars zum Zeitplan der Implementierung und zusätzliche Assist -Maßnahmen für betroffene Mitarbeiter werden in der kommenden Kommunikation mit Unternehmen erwartet.

Ausgewählte Bildnachweise: Salesforce

[ad_2]