Das amerikanische Startup Tiiny AI Inc. wurde als offizieller Verifizierer von Guinness World Information ins Leben gerufen und ist der wichtigste KI-Celebrity der Welt. Taschenlabor Einige davon sind nicht so groß wie eine Powerbank mit einer Größe von 14,2 × 8 × 2,53 cm und einem Gewicht von nur 300 Gramm.

Ein weiterer Schritt (Tveksamt) ist die Ein-Klick-Set up des Open-Supply-Modellierers GPT-OSS, Lama, Qwen, DeepSeek, Mistral och Phiein beliebter KI-Agent wie OpenManus, ComfyUI und Flowise. Alle Anmeldedaten, Präferenzen und Dokumentation von Standorten mit Bankverbindung und Kryptografie.

Hardwarespezifikationen

Was ist mit Pocket Lab passiert?​

Sie sagten, die Finnen würden sich über die Skepsis im Klaren sein. Sie benötigen ein 120-Millionen-Greenback-Parametermodell mit nur 80 GB RAM, sind aggressiver als 4-Bit-Lösungen und verfügen über einen technischen Analysator, um sicherzustellen, dass das Gerät praktisch und effizient ist. Bei der Suche nach einer Größe von 10 bis 100 Millionen Prozent ist die Wahrscheinlichkeit größer, dass sie realistischer ist.​

Kleines KI-Taschenlabor

Notebookcheck – Tiiny AI Pocket Lab: Mini-PC mit 12-Core-ARM-CPU

Open Supply für Sie – Tiiny AI stellt den kleinsten persönlichen KI-Supercomputer der Welt vor

Liquid AI und Apollo: Deine non-public AI ist verdammt

Ich glaube, es gibt einen KI-Assistenten, der Ihr Web aktiviert und Ihre Daten in Echtzeit verarbeitet. Es ist genau das, was Liquid AI mit sich bringt Grundlagenmodelle (LFMs) und Apollo-appen.

Die letzte Era von LFM2 wurde von Grund auf entwickelt, um den Standort vor Ort zu schützen und zu nutzen, ohne die Batterie oder den Akku aufzuladen.

Liquid AI hat sich von Anfang an auf die große AI-Klasse konzentriert. Es ist für Sie ein enormer Vorteil, wenn Sie einen enormen Modellierungsaufwand erzielen, da Sie so schnell wie möglich arbeiten können. Supereffektive KI-Modellierer können direkt über Ihr Telefon erworben werden.

Das bedeutet, dass Sie mit dem Kopieren von Code oder dem Videoclip-Syftet ein kleines privates LLM- und Mobilgerät haben.

Dies führt dazu, dass die Funktionsfähigkeit des Geräts bei kompakter Größe nicht gewährleistet ist:

Textbearbetning und Språkstöd – Bis über 50 Jahre alt, nur wenige Textnachrichten oder ähnliches ab sofort verfügbar. Der Pilz schnappte sich nicht mehr, nachdem ich direkt am Telefon gesessen hatte.

Multimodaler Enter – Du kannst schreiben, oder Bilder für die Interaktion mit AI:n. Appen förstår din fråga oavsett hur du ställer the.

iOS: App Retailer

Android: Google Play Retailer

Um das AI-Modell Ihres Kindes zu starten, müssen Sie es erst nach der Set up starten.

Liquid Basis Fashions (LFMs) – Aktualisierte Model:

LFM2-2.6B: Ein höchst effektives Testmodell, das für den Einsatz auf einem einzigen Gerät optimiert ist.

LFM2-VL-3B: Ein effektives Imaginative and prescient-Language-Modell, das für Edge Computing entwickelt wurde.

LFM2-VL: Ein grundlegendes, effektives Modell für Imaginative and prescient-Language-Supporter.

LFM2-Audio: Ein Finish-to-Finish-Audiogrundmodell.

LFM2-8B-A1B: Ein effektives Expertenmischungsmodell für den Einsatz auf einem Server.

LFM2-7B: Ein effektives Testmodell, das nicht mehr benötigt wird.

Weitere Informationen:

1. Liquid AI: Erstellen Sie effiziente Allzweck-KI in jeder Größenordnung
2. Wir stellen vor: LFM2: Die schnellste On-System Basis
3. Wir stellen vor: Liquid Nanos – bahnbrechende Leistung auf Alltagsgeräten
4. Liquid AI Kochbuch
5. Flüssige KI – Huggingface
6. Apollo AI auf Android: Sichere, non-public, schnelle KI für alle

Für ML -Praktiker ist die natürliche Erwartung, dass ein neues ML -Modell, das vielversprechende Ergebnisse offline zeigt, auch in der Produktion erfolgreich sein wird. Aber oft ist das nicht der Fall. ML -Modelle, die die Testdaten übertreffen, können für echte Produktionsbenutzer unterdurchschnittlich sein. Diese Diskrepanz zwischen Offline- und On-line -Metriken ist häufig eine große Herausforderung für das maschinelle Lernen angewandt.

In diesem Artikel werden wir untersuchen, was sowohl On-line- als auch Offline -Metriken wirklich messen, warum sie sich unterscheiden und wie ML -Groups Modelle erstellen können, die sowohl on-line als auch offline intestine abschneiden können.

Der Komfort von Offline -Metriken

Die Offline -Modellbewertung ist der erste Kontrollpunkt für jedes Modell in der Bereitstellung. Die Trainingsdaten werden normalerweise in Zugsätze und Validierungs-/Testsätze unterteilt, und die Bewertungsergebnisse werden auf letzterem berechnet. Die für die Bewertung verwendeten Metriken können je nach Modelltyp variieren: a Einstufung Modell verwendet normalerweise Präzision, RückrufAUC usw., a Empfehlungssystem Verwendet NDCG, Karte, während ein Prognosemodell RMSE, MAE, MAPE usw. verwendet.

Die Offline -Bewertung ermöglicht eine schnelle Iteration, da Sie mehrere Modellbewertungen professional Tag ausführen, ihre Ergebnisse vergleichen und ein schnelles Suggestions erhalten können. Aber sie haben Grenzen. Die Bewertungsergebnisse hängen stark von dem von Ihnen ausgewählten Datensatz ab. Wenn der Datensatz keinen Produktionsverkehr darstellt, können Sie ein falsches Vertrauensgefühl erhalten. Die Offline -Bewertung ignoriert auch On-line -Faktoren wie Latenz, Backend -Einschränkungen und dynamisches Benutzerverhalten.

Die Realitätsprüfung von On-line -Metriken

Im Gegensatz dazu werden On-line -Metriken in einer Dwell -Produktionsumgebung über A/B -Checks oder Dwell -Überwachung gemessen. Diese Metriken sind diejenigen, die für das Geschäft von Bedeutung sind. Für Empfehlungssysteme können es Trichterraten wie Click on-Via-Fee (CTR) und Conversion Fee (CVR) oder Retention sein. Für ein Prognosemodell kann es Kosteneinsparungen, eine Verringerung der Ereignisse außerhalb des Bestehens usw. bringen.

Die offensichtliche Herausforderung bei On-line -Experimenten besteht darin, dass sie teuer sind. Jeder A/B -Check verbraucht den Versuchsverkehr, der zu einem anderen Experiment hätte gehen können. Die Ergebnisse dauern Tage, manchmal sogar Wochen, um zu stabilisieren. Darüber hinaus können On-line -Signale manchmal laut sein, dh von Saisonalität, Feiertagen, die mehr Datenwissenschaftsbandbreite bedeuten können, um den wahren Effekt des Modells zu isolieren.

Die On-line-Offline-Trennung

Warum stolpern Modelle, die offline leuchten, on-line? Erstens ist das Benutzerverhalten sehr dynamisch und Modelle, die in der Vergangenheit geschult sind, können möglicherweise nicht mit den aktuellen Benutzeranforderungen Schritt halten. Ein einfaches Beispiel hierfür ist ein im Winter geschultes Empfehlungssystem, das möglicherweise nicht die richtigen Empfehlungen für den Sommer geben kann, da sich die Benutzerpräferenzen geändert haben. Zweitens spielen Suggestions-Loops eine entscheidende Rolle in der On-line-Offline-Diskrepanz. Das Experimentieren mit einem Modell in der Produktion verändert das, was Benutzer sehen, was wiederum ihr Verhalten verändert, was sich auf die von Ihnen gesammelten Daten auswirkt. Diese rekursive Schleife existiert bei Offline -Checks nicht.

Offline -Metriken gelten als Proxies für On-line -Metriken. Aber oft stimmen sie nicht mit realen Zielen zusammen. Zum Beispiel minimiert Root Imply Squared Fehler (RMSE) den Gesamtfehler, kann jedoch nicht excessive Peaks und Trogs erfassen, die bei der Planung der Lieferketten vielmehr wichtig sind. Zweitens können App -Latenz und andere Faktoren auch die Benutzererfahrung beeinflussen, was sich wiederum auf Geschäftsmetriken auswirken würde.

Die Lücke überbrücken

Die gute Nachricht ist, dass es Möglichkeiten gibt, das Downside der On-line-Offline-Diskrepanz zu verringern.

1. Wählen Sie bessere Stellvertreter: Wählen Sie mehrere Proxy -Metriken aus, die die Geschäftsergebnisse annähern, anstatt eine Metrik zu überlegen. Beispielsweise kann ein Empfehlungssystem Präzision@ok mit anderen Faktoren wie Vielfalt kombinieren. Ein Prognosemodell könnte die Reduzierung der Förderung und andere Geschäftsmetriken neben RMSE bewerten.
2. Studienkorrelationen: Mit früheren Experimenten können wir analysieren, welche Offline -Metriken mit erfolgreichen On-line -Ergebnissen korrelierten. Einige Offline -Kennzahlen werden durchweg besser sein als andere, wenn sie den On-line -Erfolg vorhersagen. Das Dokumentieren dieser Erkenntnisse und die Verwendung dieser Metriken hilft dem gesamten Group, zu wissen, auf welche Offline -Metriken sie sich verlassen können.
3. Simulation von Interaktionen: Es gibt einige Methoden in Empfehlungssystemen, wie Bandit -Simulatoren, die die historischen Protokolle der Benutzer wiederholen und schätzen, was passiert wäre, wenn ein anderes Rating gezeigt worden wäre. Eine kontrafaktische Bewertung kann auch dazu beitragen, das On-line -Verhalten mithilfe von Offline -Daten zu nähern. Methoden wie diese können dazu beitragen, die On-line-Offline-Lücke einzugrenzen.
4. Überwachen Sie nach der Bereitstellung: Trotz erfolgreicher A/B -Checks driftet die Modelle, wenn sich das Benutzerverhalten weiterentwickelt (wie das obige Winter- und Sommerbeispiel). Daher wird es immer bevorzugt, sowohl Eingabedaten als auch KPIs auszugeben, um sicherzustellen, dass die Diskrepanz nicht stillschweigend wieder geöffnet wird.

Praktisches Beispiel

Betrachten Sie ein Einzelhändler, der ein neues Nachfrageprognosemodell einsetzt. Das Modell zeigte großartige vielversprechende Ergebnisse offline (in RMSE und MAPE), was das Group sehr aufgeregt machte. Bei on-line getestet wurde das Unternehmen jedoch nur minimale Verbesserungen und in einigen Metriken sahen die Dinge sogar schlechter aus als die Basislinie.

Das Downside struggle die Fehlausrichtung der Proxy. Bei der Planung der Lieferkette führt die Unterpressung der Nachfrage nach einem Trendprodukt zu verlorenen Umsätzen, während die überbearbeitete Nachfrage nach einem langsam bewegenden Produkt zu einem Verschwendung von Inventar führt. Die Offline-Metrik-RMSE behandelte beide gleich, aber die realen Kosten waren nicht symmetrisch.

Das Group entschied sich, seinen Bewertungsrahmen neu zu definieren. Anstatt sich nur auf RMSE zu verlassen, definierten sie eine maßgefertigte geschäftsgewichtige Metrik, die die Unterpressung stärker für Trendprodukte bestraft und explizit nachverfolgt wurde. Mit dieser Änderung lieferte die nächste Modell -Iteration sowohl starke Offline -Ergebnisse als auch On-line -Umsatzgewinne.

Gedanken schließen

Offline -Metriken sind wie die Proben einer Tanzpraxis: Sie können schnell lernen, Ideen testen und in einer kleinen, kontrollierten Umgebung scheitern. On-line -Metriken sind wie diese tatsächliche Tanzperformance: Sie messen die tatsächlichen Reaktionen des Publikums und ob Ihre Änderungen einen echten Geschäftswert bieten. Keiner allein ist genug.

Die eigentliche Herausforderung besteht darin, die besten Offline -Bewertungsrahmen und Metriken zu finden, die den On-line -Erfolg vorhersagen können. Wenn es intestine gemacht wird, können Groups schneller experimentieren und innovieren, verschwendete A/B -Checks minimieren und besser bauen Ml Systeme, die sowohl offline als auch on-line intestine durchführen.

Häufig gestellte Fragen

Madhura Raut ist eine Hauptdatenwissenschaftlerin am Arbeitstag, wo sie das Design von großflächigen maschinellen Lernsystemen für die Prognose der Arbeitsbedarf leitet. Sie ist die führende Erfinderin bei zwei US -Patenten im Zusammenhang mit fortschrittlichen Zeitreihenstechniken, und ihr ML -Produkt wurde von Personalrecutive als Prime -HR -Produkt des Jahres anerkannt. Madhura struggle ein Hauptredner auf vielen renommierten Datenwissenschaftskonferenzen, darunter KDD 2025, und struggle Richter und Mentor für mehrere Cosecrunch -Hackathons.