# Einführung

In den letzten zwei Jahren galt bei der Agenten-KI die einfache Annahme: Je größer das Modell, desto besser der Agent. Größere Kontextfenster, mehr Parameter, schärfere Argumentation. Was kann man nicht mögen? NVIDIAs eigenes Forschungsteam hat das Jahr 2025 damit verbracht, im Stillen Argumente gegen diese Annahme zu entwickeln, und das daraus resultierende Argument hat die Artwork und Weise verändert, wie viele Produktionsagenten im Jahr 2026 tatsächlich gebaut werden. Das meiste, was ein Agent Tag für Tag tut, ist nicht umfassend, kreativ oder neuartig. Es handelt sich um eine kleine Anzahl spezialisierter Aufgaben, die wiederholt und mit wenig Variation ausgeführt werden, und ein zum Generalisten ausgebildetes Modell ist für Arbeit, die grundsätzlich eng ist, übertrieben. Das ist der Beginn für kleine Sprachmodelle (SLMs), und sie haben sich von einer Fußnote zu einer echten Architekturentscheidung im Agentendesign entwickelt.

Dieser Artikel befasst sich mit fünf konkreten Möglichkeiten, wie SLMs derzeit in Agenten der nächsten Era auftauchen, von den Forschungsergebnissen, die sie belegen, bis hin zu den Instruments und Zahlen, die es wert sind, kennengelernt zu werden, wenn Sie entscheiden, ob Ihr nächster Agent überhaupt ein Frontier-Modell benötigt.

# 1. Umgang mit repetitiver Arbeit Grenzmodelle wurden nie entwickelt

Die grundlegenden Argumente für SLMs in Agenten stammen aus einem einzigen, viel diskutierten Artikel von NVIDIA Analysis: Kleine Sprachmodelle sind die Zukunft der Agenten-KI. Die Autoren argumentieren, dass große Sprachmodelle für allgemeine Konversationen geschätzt werden, Agentensysteme jedoch meist auf Sprachmodelle zurückgreifen, um eine kleine Anzahl spezialisierter Aufgaben wiederholt auszuführen, wie etwa das Parsen eines Befehls, die Auswahl eines Instruments oder die Rückgabe eines Ergebnisses in einer festen JSON-Type. Das ist eine ganz andere Aufgabe, als ein offenes Gespräch zu führen, und es ist kein Modell erforderlich, das für alles ausgebildet ist.

Die zentrale Behauptung des Papiers ist direkt: SLMs sind für viele Aufrufe in Agentensystemen ausreichend leistungsfähig, von Natur aus geeigneter und notwendigerweise wirtschaftlicher und stellen daher die Zukunft der Agenten-KI dar. Was dies zu mehr als einem Meinungsartikel macht, ist die Begründung dahinter. Agenten legen mehr Wert auf Zuverlässigkeit als auf Kreativität, und ein kleines Modell, das darauf abgestimmt ist, immer einem festen Ausgabeformat und einer festen Feldreihenfolge zu folgen, ist für diesen einen Auftrag oft zuverlässiger als ein großes Allzweckmodell, das spontan dasselbe erledigen soll. Große Modelle verdienen immer noch ihren Platz für wirklich neuartige oder offene Überlegungen. Sie sind einfach nicht mehr die Standardeinstellung für alles dazwischen.

# 2. Direkte Ausführung auf dem Gerät, kein Cloud-Roundtrip erforderlich

Eine der praktischsten Änderungen, die SLMs ermöglicht haben, besteht darin, das Modell selbst von einem Distant-Server auf die {Hardware} zu verlagern, auf der der Agent bereits ausgeführt wird, beispielsweise ein Telefon, einen Laptop computer oder ein Industriegerät. Das Senden einer Anfrage an ein Rechenzentrum dauert Hunderte von Millisekunden, während die Edge-Inferenz mehrere zehn Millisekunden dauert, und für einen Agenten, der sich augenblicklich reaktionsfähig fühlen soll, ist diese Lücke der Unterschied zwischen etwas, das sich augenblicklich anfühlt, und etwas, bei dem es sich anfühlt, als würde er zu angestrengt nachdenken.

Die {Hardware} hat schneller aufgeholt, als die meisten Leute erwartet hatten. Die neuronalen Beschleuniger des Apple A19 Professional geben dem iPhone 17 Professional genug kombinierten KI-Durchsatz, um Modelle mit 8 Milliarden Parametern mit über 20 Token professional Sekunde auszuführen – schnell genug für Echtzeitgespräche – und Apples M5 Max kann Modelle mit bis zu 30 Milliarden Parametern mit akzeptabler Latenz verarbeiten. Die Quantisierung ist ein wesentlicher Grund dafür, dass dies auf Client-{Hardware} überhaupt funktioniert. Ein auf 4-Bit-Präzision komprimiertes Phi-4-Mini-Modell belegt bei voller Präzision etwa 1,2 GB Speicher statt 7,6 GB und bleibt dabei erhalten 95 % seiner Benchmark-Leistung – klein genug, um bequem auf ein Telefon mit 8 GB RAM zu passen.

Werkzeuge wie Ollama für lokales Servieren und Microsofts Phi-Modellfamilie sind zu gängigen Ausgangspunkten für Entwickler geworden, die ein solches Agentenverhalten auf dem Gerät entwickeln, insbesondere für Anwendungsfälle, in denen der Agent auch dann weiterarbeiten muss, wenn eine Netzwerkverbindung nicht garantiert ist.

# 3. Sich zu Werkzeug-Calling-Spezialisten weiterbilden

Ein generisches kleines Modell, direkt aus der Field, ist wirklich schlecht im Instrument-Calling. Es halluziniert Funktionsnamen, gibt falsche Parameter an und unterbricht das erwartete Ausgabeformat häufiger als Ihnen lieb ist. Bei der Lösung handelt es sich nicht um ein größeres Modell, sondern um ein fokussierteres. Die Feinabstimmung eines kleinen Modells anhand eines bestimmten Toolschemas führt zu einer Genauigkeit von über 90 % bei praktisch null Kosten professional Abfrage, da das Modell nicht mehr versucht, ein Generalist zu sein, sondern bei genau einer engen Aufgabe sehr intestine ist.

Die Forschungsergebnisse, die dies belegen, sind bemerkenswert. Ein fein abgestimmtes SLM erreichte eine Erfolgsquote von 77,55 % bei der ToolBench-Bewertung und lag damit deutlich über den Basisansätzen, die viel größere Modelle verwendeten, die auf einer Gedankenkette basieren. Um dorthin zu gelangen, ist auch kein großer Trainingslauf erforderlich. In der Praxis reichen in der Regel 1.000 bis 5.000 hochwertige Beispiele professional Instrument aus, um bei einem klar definierten Schema eine Genauigkeit von über 95 % zu erreichen, was eine realistische Datenmenge darstellt, die ein kleines Crew intern erstellen kann.

Wenn Sie einen genaueren Blick darauf werfen möchten, welche konkreten Modelle hier derzeit führend sind, KDnuggets hat kürzlich fünf kleine, offene Modelle zusammengestellt, die speziell für den Agenten-Instrument-Aufruf entwickelt wurden, jeweils ein paar Milliarden Parameter umfassen und für den Betrieb ohne dahinterliegendes Rechenzentrum konzipiert sind.

# 4. Betrieb heterogener Systeme, bei denen große und kleine Modelle die Arbeit aufteilen

Der architektonisch interessanteste Einsatz von SLMs besteht nicht darin, große Modelle vollständig zu ersetzen; es geht darum, sie zu paaren. Das Muster, das im Jahr 2026 zum Normal geworden ist, überträgt einem Grenzmodell mit hoher Argumentation die Rolle des Planers, der Handhabungsstrategie und der Auflösung von Mehrdeutigkeiten, während domänenspezifische kleine Modelle als Arbeiter fungieren, die jeweils auf eine atomare Aufgabe wie Parsing, Klassifizierung oder Zusammenfassung abgestimmt sind. Manche nennen dies die Government-Employee-Architektur; andere nennen es heterogenes Modellrouting. In jedem Fall besteht die Idee darin, die teuren Argumente dort einzusetzen, wo sie tatsächlich benötigt werden, und billigere Modelle mit der Lautstärke zu betrauen.

Der dadurch entstehende Kostenunterschied ist schwer zu ignorieren. Ein Grenzmodell zum Preis von ca $15 professional Million Token, die 30 % der Aufgaben erledigengepaart mit einem kleinen Modell herum $0,15 professional Million Token, die die restlichen 70 % verwaltenkostet etwa zehnmal weniger, als wenn alles nur über das Frontier-Modell geleitet würde. Das Muster bleibt auch in der kontrollierten Forschung bestehen. Eine Studie, in der ein homogener Aufbau aller verglichen wurde 7B-Parameter Agenten gegen ein heterogenes Setup, wo kleiner 3B-Modelle erledigte Arbeiten auf niedrigerer Ebene, während a 7B-Modell Als Prüfer blieb er dabei und stellte fest, dass die Leistung des heterogenen Methods nahezu identisch mit der reinen 7B-Basislinie blieb und gleichzeitig die Latenz um ein Vielfaches reduziert wurde 31,6 % und Gesamt-API-Kosten von 41,8 %. NVIDIA hat Instruments für den Einbau dieser Artwork von System zusammengestellt NeMorichtet sich an Groups, die fein abgestimmte SLMs für Routinearbeiten mit gelegentlichen Aufrufen eines größeren Modells für wirklich schwierige Fälle kombinieren möchten.

# 5. Smart Daten auf dem Gerät behalten, anstatt sie irgendwohin zu senden

Bei der letzten Verschiebung geht es weniger um Geschwindigkeit oder Kosten als vielmehr darum, wohin die Daten überhaupt gehen dürfen. Ein Agent, der vollständig auf lokaler {Hardware} ausgeführt wird, muss niemals die Konversation, Dokumente oder das Verhalten eines Benutzers an eine API eines Drittanbieters senden, um eine Antwort zu erhalten. Dies ist von großer Bedeutung, wenn Sie mit Gesundheitsakten, Finanzinformationen oder anderen Dingen arbeiten, die strengen Compliance-Regeln unterliegen.

Insbesondere bei Anwendungsfällen im Gesundheitswesen oder in der industriellen Sicherheit können Daten das lokale Netzwerk oft überhaupt nicht verlassen, was Cloud-gehostete Frontier-Modelle als Choice ausschließt, egal wie intestine sie sind. Kleine Modelle umgehen diese Einschränkung vollständig, indem sie dort ausgeführt werden, wo die Daten bereits gespeichert sind. Die Edge-Bereitstellung auf etwas wie Apple Silicon oder einem Qualcomm-Chip kostet nur die Gerätehardware selbst, wobei das Internet hosting für ein privates kleines Modell bereitgestellt wird 10.000 Tägliche Abfragen werden normalerweise ausgeführt $500 Zu $2.000 ein Monat, im Vergleich zu $5.000 Zu 50.000 $ einen Monat für das entsprechende Volumen über eine große Modell-API.

Dies ist auch die einzig realistische Choice für Umgebungen mit vollständiger Air-Hole-Umgebung – Orte, an denen konstruktionsbedingt überhaupt keine Internetverbindung besteht –, in denen ein Cloud-abhängiger Agent unabhängig vom Finances einfach nicht funktionieren kann. Für Agenten, die für regulierte Branchen oder Offline-First-Produkte entwickelt wurden, ist dies kein nettes Further. Dies ist der einzige Grund, warum der Agent in dieser Umgebung überhaupt existieren kann.

# Zusammenfassung

Das alles bedeutet jedoch nicht, dass die Grenzmodelle auf dem Rückzug sind. Wirklich neuartige Überlegungen, lange offene Kontexte und Aufgaben, die noch niemand zuvor gesehen hat, gehören immer noch zu den großen Vorbildern, und daran wird sich so schnell auch nichts ändern. Was sich geändert hat, ist die Annahme, dass jeder einzelne Anruf eines Agenten diese Leistung erfordert. Der Großteil der eigentlichen Arbeit eines Agenten – das Parsen, das Routing, die Formatierung, die Instrument-Aufrufe – erweist sich als so eng, dass ein kleines, fein abgestimmtes Modell sie genauso intestine erledigen kann, oft schneller und zu einem Bruchteil der Kosten.

Die Agenten, die im Jahr 2026 intestine skalieren, sind nicht diejenigen, die auf dem größten verfügbaren Einzelmodell basieren. Sie sind diejenigen, die mit dem Modell der richtigen Größe für jeden Teil der Aufgabe gebaut wurden – Grenzintelligenz, wo sie verdient wird, und kleine, spezialisierte Modelle überall sonst.

Shittu Olumide ist ein Software program-Ingenieur und technischer Autor, der sich leidenschaftlich dafür einsetzt, modernste Technologien zu nutzen, um fesselnde Erzählungen zu erschaffen, mit einem scharfen Blick fürs Element und einem Gespür für die Vereinfachung komplexer Konzepte. Sie können Shittu auch auf finden Twitter.

# Einführung

Wenn Sie ein Unternehmen gründen, bedeutet das nicht, dass Sie vom ersten Tag an Risikokapital aufnehmen müssen. Es gibt unzählige verschiedene Finanzierungsoptionen, und die beste hängt wirklich davon ab, welche Artwork von Unternehmen Sie aufbauen, wie viel Zugkraft Sie haben und wie viel Eigentum Sie behalten möchten. Einige dieser Finanzierungswege sind nicht verwässernd, was bedeutet, dass Sie kein Eigenkapital verschenken müssen. Andere können Ihnen im Austausch gegen etwas Eigenkapital Zugang zu Kapital, Mentoring und Investorennetzwerken verschaffen. Der beste Finanzierungsweg kann sich auch je nach Artwork Ihres Startups ändern. Handelt es sich um ein Software program-Startup, ein Konsumgüterunternehmen, ein Deep-Tech-Unternehmen oder sind Sie ein studentischer Gründer?

In diesem Artikel werden wir uns damit befassen 7 der besten Möglichkeiten, Ihre Startup-Idee zu finanzieren. Wir werden auch die Vor- und Nachteile jeder Choice besprechen. Additionally fangen wir an.

# 1. Bootstrapping

Bootstrapping bedeutet einfach das Startup selbst finanzieren. Dies kann durch Ihre Ersparnisse, Geld aus einem Job, freiberuflicher Tätigkeit, Beratung oder sogar durch Einnahmen aus Ihren ersten Kunden geschehen. Für viele Gründer ist dies der einfachste Einstieg, da Sie keine Genehmigung von Investoren benötigen und kein Eigenkapital verschenken müssen. Sie können bauen, was Sie wollen, und in Ihrem eigenen Tempo vorgehen. Es ist jetzt auch viel einfacher geworden, Bootstrap durchzuführen. KI-Instruments, No-Code-Plattformen, Open-Supply-Software program und kostenlose Cloud-Credit haben die Kosten für den Versand einer ersten Model gesenkt. Sie fangen klein an, erstellen eine frühe Model des Produkts, gewinnen einige Benutzer oder Kunden und stecken das Geld wieder in das Unternehmen.

Vorteile:

• Sie behalten das volle Eigentum am Unternehmen.
• Sie behalten die Kontrolle über Entscheidungen.
• Kein Anlegerdruck.
• Sie bauen frühzeitig finanzielle Disziplin auf.
• Sie können beweisen, dass die Leute das Produkt tatsächlich wollen, bevor Sie Geld sammeln.

Nachteile:

• Das Wachstum kann langsamer sein.
• Das finanzielle Risiko übernehmen Sie selbst.
• Weniger Geld für Einstellungen, Advertising and marketing oder Infrastruktur.
• Kann stressig sein, wenn man alles persönlich finanziert.

# 2. Zuschüsse und nicht verwässernde Finanzierung

Zuschüsse gehören dazu am gründerfreundlichsten Möglichkeiten, an Fördermittel zu kommen. In den meisten Fällen müssen Sie das Geld nicht zurückzahlen und auch kein Eigenkapital verschenken. Sie sind besonders nützlich für Startups, die in Bereichen wie KI, Klima, Bildung, Gesundheitswesen, Biotechnologie, Robotik oder Deep Tech usw. arbeiten. Der Prozess ist sehr einfach. Sie bewerben sich für ein Programm, und wenn Sie ausgewählt werden, erhalten Sie finanzielle Mittel für die Arbeit daran. Bei einigen Zuschüssen erhalten Sie das Geld im Voraus, bei anderen erhalten Sie eine Rückerstattung, nachdem Sie es ausgegeben haben. Daher ist es wichtig, die Bedingungen je nach Finanzierung vorher sorgfältig zu lesen.

Vorteile:

• Sie behalten Ihr gesamtes Eigenkapital.
• In den meisten Fällen ist eine Rückzahlung des Geldes nicht erforderlich.
• Ultimate für technische und forschungsintensive Projekte.
• Erhöht die Glaubwürdigkeit im Gespräch mit zukünftigen Investoren.
• Kann Projekte finanzieren, die für Investoren zu früh sind.

Nachteile:

• Bewerbungen können einige Zeit in Anspruch nehmen.
• Die Zulassungsvoraussetzungen können streng sein.
• Papierkram und Berichterstattung können Kopfschmerzen bereiten.
• Einige Zuschüsse erstatten nur die Kosten, anstatt eine Vorauszahlung zu leisten.

# 3. Startup-Wettbewerbe und Pitch-Preise

Startup-Wettbewerbe können eine gute Möglichkeit sein, welche zu bekommen Frühzeitige Finanzierung, Bekanntmachung und Validierung für deine Idee. Sie werden oft von Universitäten, Startup-Hubs, Acceleratoren und staatlich unterstützten Organisationen betrieben. Normalerweise reichen Sie eine Bewerbung, ein Pitch Deck und manchmal eine Demo Ihres Produkts ein. Wenn Sie in die engere Wahl kommen, stellen Sie Ihr Startup einer Jury vor. Wenn Sie gewinnen, erhalten Sie möglicherweise Bargeld, Cloud-Gutschriften, Mentoring, Büroräume oder die Vorstellung von Investoren. In vielen Fällen erfolgt die Finanzierung nicht verwässernd, sodass Sie kein Eigenkapital verschenken müssen.

Vorteile:

• Normalerweise nicht verwässernd.
• Offen für Begin-ups im sehr frühen Stadium.
• Gute Möglichkeit, Pitching zu üben.
• Kann zu Mentoren, Investoren und potenziellen Kunden führen.

Nachteile:

• Die Gewinnsummen sind oft begrenzt.
• Der Vorgang kann einige Zeit dauern.
• Der Gewinn eines Wettbewerbs bedeutet nicht, dass die Leute Ihr Produkt kaufen.
• Es ist leicht, zu viel Zeit mit dem Pitchen statt mit dem Bauen zu verbringen.

# 4. Beschleuniger und Inkubatoren

Acceleratoren und Inkubatoren helfen Startups dabei, schneller voranzukommen, indem sie Unterstützung wie Mentoring, Finanzierung und Zugang zu Investoren und anderen Gründern bieten. Der Hauptunterschied ist einfach. Acceleratoren sind kurz und strukturiert, während Inkubatoren flexibler und langfristiger sind. Wenn Sie ausgewählt werden, schließen Sie sich einer Gruppe anderer Startups an und verbringen Zeit damit, Ihr Produkt, Ihren Pitch und Ihr gesamtes Geschäft zu verbessern. Bei manchen Programmen wird die Finanzierung gegen Eigenkapital eingetauscht, bei anderen wird kein Eigentum übernommen. Y-Kombinator Und Techstars sind zwei beliebte Beispiele, die Gründern auch dabei helfen, mit Investoren in Kontakt zu treten und schneller zu wachsen.

Vorteile:

• Starker Glaubwürdigkeitsschub.
• Zugang zu erfahrenen Mentoren.
• Einfachere Einführung für Investoren.
• Strukturierte Unterstützung und Verantwortlichkeit.
• Hilfreich für Erstgründer.
• Tolle Gründergemeinschaft.

Nachteile:

• Der Einstieg ist sehr wettbewerbsintensiv.
• Kann einen erheblichen Zeitaufwand erfordern.
• Einige Programme erfordern Eigenkapital.

# 5. Angel-Investoren

Angel-Investoren sind in der Regel die ersten externen Investoren, von denen viele Startups Geld beschaffen. Hierbei handelt es sich um Einzelpersonen, die ihr eigenes Geld in junge Unternehmen investieren, oft bevor VCs bereit sind, sich zu engagieren. Neben der Finanzierung, Good Angels können auch bei Vorstellungen, Einstellungen, Kunden und Ratschlägen aus ihrer eigenen Startup-Erfahrung helfen. Angel-Investoren investieren typischerweise über SAFEs, Wandelanleihen oder Eigenkapitalrunden. Die Menge kann sehr unterschiedlich sein. Einige Engel investieren möglicherweise ein paar tausend Greenback, während andere viel größere Schecks ausstellen können. Die meisten Gründer finden Angels über ihr Netzwerk, Startup-Occasions, Accelerator-Programme oder Vorstellungen anderer Gründer.

Vorteile:

• Gute Choice für Startups im Pre-Seed- und Seed-Stadium.
• Normalerweise schneller als das Erhöhen von VCs.
• Kann wertvolle Ratschläge und Einführungen geben.
• Flexibler als institutionelle Anleger.

Nachteile:

• Die Qualität der Engel ist sehr unterschiedlich.
• Manche Anleger stellen nur Geld und sonst wenig zur Verfügung.
• Das Anheben vieler kleiner Engel kann Ihren Cap-Tisch unordentlich machen.
• Sie geben immer noch einen Teil des zukünftigen Eigentums auf.

# 6. Risikokapital

Risikokapital ist wahrscheinlich die Finanzierungsoption, an die die meisten Menschen denken, wenn sie das Wort Startup hören. Die Realität ist jedoch, dass VC nicht für jedes Unternehmen die richtige Lösung ist. VC-Firmen suchen nach Startups, die sehr schnell wachsen und zu sehr großen Unternehmen werden können. Wenn Sie in einem großen Markt tätig sind und das Potenzial haben, schnell zu wachsen, könnte Risikokapital sinnvoll sein. Sie investieren Geld als Gegenleistung für Eigentum an Ihrem Unternehmen. Die Finanzierung erfolgt in der Regel in Phasen wie Pre-Seed, Seed, Serie A, Serie B und darüber hinaus. Frühe Runden werden oft mit SAFEs oder Wandelschuldverschreibungen beschafft, während spätere Runden typischerweise bepreiste Aktienrunden sind, bei denen das Unternehmen eine formelle Bewertung erhält. Der Prozess umfasst in der Regel das Pitchen von Investoren, das Teilen von Kennzahlen, die Beantwortung von Due-Diligence-Fragen und die Aushandlung von Konditionen.

Vorteile:

• Zugang zu erheblichen Kapitalbeträgen.
• Kann Ihnen helfen, viel schneller zu skalieren.
• Nützlich für Einstellungen und Wachstum.
• Starke Investoren können die Glaubwürdigkeit erhöhen.
• Zugang zu Investorennetzwerken und Partnerschaften.
• Eine gute Lösung für große Märkte, in denen es auf Geschwindigkeit ankommt.

Nachteile:

• Sie geben das Eigentum am Unternehmen auf.
• Investoren erwarten ein starkes Wachstum.
• Die Mittelbeschaffung kann Monate dauern.
• Für die meisten Unternehmen nicht die richtige Lösung.
• Möglicherweise haben Sie weniger Kontrolle über wichtige Entscheidungen.

# 7. Crowdfunding

Crowdfunding ist eine Möglichkeit, on-line Geld von einer großen Gruppe von Menschen zu sammeln, anstatt sich auf einige wenige Investoren zu verlassen. Es gibt zwei Haupttypen. Gegenleistungsbasiertes Crowdfunding ist, wenn Menschen Ihre Idee unterstützen und im Gegenzug ein Produkt oder eine Belohnung erhalten. Eigenkapital-Crowdfunding ist, wenn Menschen in Ihr Unternehmen investieren und im Gegenzug Eigentum erhalten. Beim belohnungsbasierten Crowdfunding erstellen Sie eine Kampagnenseite mit Ihren Produktdetails, Bildern oder Movies und einem Finanzierungsziel. Die Leute unterstützen die Idee, indem sie das Produkt vorbestellen. Beim Fairness-Crowdfunding investieren Menschen über eine Plattform und werden Teilhaber des Unternehmens.

Vorteile:

• Ermöglicht Ihnen, die Nachfrage mit echten Kunden zu validieren.
• Kann vor dem Begin eine Neighborhood aufbauen.
• Hervorragend geeignet für Konsumgüter.
• Kann Werbung und Dynamik erzeugen.
• Gegenleistungsbasiertes Crowdfunding hat in der Regel keine Verwässerung zur Folge.

Nachteile:

• Erfordert viel Marketingaufwand.
• Kampagnen können öffentlich scheitern.
• Die Lieferung von Produkten kann eine Herausforderung sein, insbesondere bei {Hardware}.
• Für Fairness-Crowdfunding gelten gesetzliche Anforderungen.
• Normalerweise nicht die beste Lösung für die meisten B2B-Startups.

# Letzte Gedanken

Die Wahrheit ist, dass es nicht für jedes Startup die beste Finanzierungsoption gibt. Die richtige Wahl hängt davon ab, wo Sie sich auf der Reise befinden und was Sie als Nächstes erreichen möchten.

• Wenn Sie Kontrolle wünschen → Bootstrapping, Zuschüsse und Wettbewerbe.
• Wenn Sie Geschwindigkeit wollen → Beschleuniger, Engel und VC.
• Wenn Sie für Verbraucher bauen, kann auch Crowdfunding hilfreich sein.

Bei der besten Finanzierung geht es nicht um den dicken Scheck. Es ist diejenige, die Ihnen hilft, zur nächsten Stufe überzugehen, ohne den Fokus zu verlieren oder zu viel Eigenverantwortung zu übernehmen. Informieren Sie sich außerdem immer über die aktuellen Regelungen, bevor Sie sich bewerben, da sich die Förderprogramme ständig ändern.

Kanwal Mehreen ist ein Ingenieur für maschinelles Lernen und ein technischer Redakteur mit einer großen Leidenschaft für Datenwissenschaft und die Schnittstelle zwischen KI und Medizin. Sie ist Mitautorin des E-Books „Maximizing Productiveness with ChatGPT“. Als Google Era Scholar 2022 für APAC setzt sie sich für Vielfalt und akademische Exzellenz ein. Sie ist außerdem als Teradata Variety in Tech Scholar, Mitacs Globalink Analysis Scholar und Harvard WeCode Scholar anerkannt. Kanwal ist ein leidenschaftlicher Verfechter von Veränderungen und hat FEMCodes gegründet, um Frauen in MINT-Bereichen zu stärken.

# Einführung

Claude Code ist wirklich nützlich, kann aber auch viel schneller teuer werden, als man denkt. Der Grund ist einfach. Sie zahlen nicht nur für die Eingabeaufforderung, die Sie gerade eingegeben haben. In vielen Fällen trägt Claude auch den Relaxation der Sitzung mit sich, z. B. frühere Nachrichten, bereits gelesene Dateien, Instrument-Ausgaben und Speicherdateien CLAUDE.mdund andere Hintergrundanweisungen. Wenn additionally der Token-Verbrauch ansteigt, liegt das eigentliche Drawback meist nicht in einer schlechten Aufforderung. Es ist ein chaotischer Kontext.

Viele allgemeine Ratschläge zu diesem Thema sind nicht besonders hilfreich. „Halten Sie Gespräche kurz“ ist wahr, aber es sagt Ihnen nicht, was tatsächlich die Nadel bewegt. Was tatsächlich hilft, ist zu verstehen, wie Claude Code Kontext aufbaut, was immer wieder sauer wird und welche Teile Ihres Workflows mit der Zeit stillschweigend zu Verschwendung führen. In diesem Artikel werden wir uns damit befassen 7 praktische Möglichkeiten, die Ihnen helfen, Claude Code effizient zu nutzen ohne ständig über die Kosten nachdenken zu müssen. Additionally, fangen wir an.

# 1. Modellwechsel nach Aufgabenkomplexität

Dieses ist einfach, wird aber stark zu wenig genutzt. Nicht jede Aufgabe erfordert das teuerste Setup. Zur API-Abrechnung: Opus kostet professional Token 5x mehr als Sonnet. Bei Abonnementplänen erschöpfen schwerere Modelle Ihr Kontingentfenster schneller.

/mannequin sonnet    # Day-to-day: writing assessments, easy edits,
                 # explaining code, refactoring
/mannequin opus      # Complicated: multi-file structure choices,
                 # debugging gnarly cross-system points
/mannequin haiku     # Fast: lookups, formatting, renaming,
                 # something repetitive

Starten Sie jede Sitzung auf Sonnet. Wechseln Sie nur dann zu Opus, wenn Sie wirklich eine umfassende Analyse oder komplexe Umgestaltung benötigen. Besuchen Sie Haiku für die mechanischen Sachen. Sie können den Aufwandsgrad auch direkt mit steuern /effort. Bei einfachen Aufgaben reduziert die Reduzierung des Aufwands das Denkbudget, das das Modell zuweist, wodurch direkt Ausgabetoken eingespart werden.

# 2. CLAUDE.md klein und nützlich halten

Eine der besten Möglichkeiten, Token zu speichern, besteht darin, nicht mehr in jedem Chat die gleichen Projektregeln einzugeben. Genau das ist es CLAUDE.md ist für. Es wird geladen, bevor Claude Ihren Code liest, bevor es Ihre Aufgabe liest, vor irgendetwas. Es bleibt während der gesamten Sitzung im Kontextfenster bestehen und wird niemals verzögert geladen oder entfernt. Das bedeutet einen 5.000-Token CLAUDE.md kostet in jeder Runde 5.000 Token, unabhängig davon, ob Sie 2 oder 200 Nachrichten senden. Platzieren Sie dort additionally Ihre stabilen Anweisungen: wie Sie Assessments durchführen, welchen Paketmanager Sie verwenden sollten, Ihre Formatierungsregeln, wichtige architektonische Einschränkungen und die Verzeichnisse, die Claude nicht berühren sollte. Dies reduziert den Aufwand für wiederholte Eingabeaufforderungen über mehrere Sitzungen hinweg.

Ein weiterer wichtiger Teil besteht darin, es schlank zu halten. Fügen Sie keine Besprechungsnotizen, Designhistorien oder langen Implementierungsleitfäden ein. Die besten Ergebnisse erzielen Sie, wenn CLAUDE.md Funktioniert eher wie eine Nachschlagetabelle als wie ein riesiger Mind Dump.

# 3. Ausführliche Arbeit an Subagenten delegieren

Dies ist einer der wirklich hilfreichen Tipps, da er die Artwork und Weise verändert, wie der Kontext wächst. Subagenten sind isolierte Claude-Instanzen, die in ihrem eigenen Kontextfenster ausgeführt werden. Wenn ein Subagent ausgeführt wird, bleiben alle seine ausführlichen Ausgaben – Dateisuchen, Protokoll-Dumps, mehrstufige Argumentation – isoliert. Nur die Zusammenfassung kehrt zu Ihrem Hauptgespräch zurück. Dadurch kann Ihr Hauptthread viel sauberer bleiben. Aber hier gehen auch viele allgemeine Ratschläge schief. Subagenten sind nicht automatisch günstiger. Group-Assessments zeigen, dass ein Subagent für kleine Aufgaben, insbesondere einfache Shell-Aktionen oder schnelle Git-Operationen, verschwenderisch sein kann, da die Architektur selbst durch Eingabeaufforderungen, Instrument-Definitionen und zusätzliche Instrument-Aufruf-Roundtrips zusätzlichen Aufwand verursacht. Die praktische Regel lautet additionally nicht: „Für alles Subagenten verwenden“. Es heißt: „Verwenden Sie Subagenten, wenn die eingesparte Unordnung im Hauptkontext mehr wert ist als der Startaufwand.“

# 4. Claude auf genaue Dateien und Zeilenbereiche verweisen

Eine der schnellsten Möglichkeiten, Token zu verschwenden, besteht darin, Claude zu bitten, sich im Repo umzusehen, wenn das Drawback wirklich in einer oder zwei Dateien besteht. Je unklarer die Aufgabe, desto wahrscheinlicher ist es, dass Claude Token ausgibt, um mehrere Dateien zu öffnen, Sackgassen zu erkunden und den Kontext zu rekonstruieren, den Sie ihm direkt hätten geben können. Hier ist ein Beispiel.

Authentic:

„Sehen Sie sich den Authentifizierungscode an und sagen Sie mir, was falsch ist.“

Besser:

„Vergleichen src/auth/session.ts Zeilen 30 bis 90 mit src/api/login.ts Zeilen 10 bis 60 und erklären Sie die Nichtübereinstimmung.

Das erste klingt natürlich, löst aber oft eine kostspielige Erkundung aus.

Ein weiterer Tipp ist Verwenden Sie den Planmodus vor teuren Operationen. Schalten Sie es um Shift+Tab. Im Planmodus gibt Claude einen Schritt-für-Schritt-Plan aus, ohne Änderungen vorzunehmen. Sie überprüfen den Plan, streichen alles Unnötige und kehren dann in den Normalmodus zurück. Dadurch wird die größte Quelle der Token-Verschwendung eliminiert: die Trial-and-Error-Ausführung, bei der Claude Dinge ausprobiert, auf Fehler stößt und iteriert – wobei jede Iteration Token kostet.

# 5. /compact proaktiv nutzen (nicht reaktiv)

Claude kann Ihre Sitzung automatisch komprimieren und Sie können sie auch ausführen /compact selbst. Aber das Timing ist wichtiger als man denkt.

Wenn Claude mehrere Dateien inspiziert, Befehle ausgeführt und ein paar falschen Hinweisen nachgegangen ist, enthält Ihre Sitzung normalerweise eine Menge Materials, das nicht mehr von Bedeutung ist. Das ist der richtige Zeitpunkt zum Verdichten. Anstatt den ganzen zusätzlichen Kontext in den nächsten Schritt zu übertragen, verkürzen Sie das Gespräch, sobald die wichtigen Teile klar sind, und fahren dann mit einer viel lockereren Sitzung fort.

Ein häufiger Fehler ist die Verwendung /compact zu spät. Viele Entwickler warten, bis Claude anfängt, Dinge zu vergessen oder eine Kontextwarnung anzeigt. Zu diesem Zeitpunkt ist die Sitzung bereits überlastet und die Zusammenfassung ist nicht mehr so ​​sauber oder nützlich. Wenn Sie früher komprimieren, während die Sitzung noch „gesund“ ist, ist die Zusammenfassung viel besser. Sie behalten die wichtigsten Informationen bei, reduzieren den Lärm und vermeiden, unnötige Token in jeden zukünftigen Schritt einzuschleppen.

# 6. /Kontext vor der Optimierung prüfen

Eine der am meisten unterschätzten Ideen besteht darin, sich einfach nur den Kontext anzuschauen, der sie in Anspruch nimmt. Eine Menge Token-Verschwendung fühlt sich mysteriös an, bis man bedenkt, dass der teure Teil möglicherweise nicht die sichtbare Aufforderung ist. Es kann sich um eine große Datei handeln, die Claude zuvor gelesen hat, um eine angesammelte Werkzeugausgabe, um eine große Speicherdatei oder um den Mehraufwand an zusätzlichen Werkzeugen.

Der /context Der Befehl ist Ihr Diagnosetool. Bevor Sie Ihren gesamten Workflow ändern, prüfen Sie, was tatsächlich geladen oder wiederholt erneut gesendet wird. In vielen Fällen lässt sich die größte Verbesserung nicht durch eine bessere Aufforderung erreichen. Es kommt davon, dass man einen „stillen Täter“ entdeckt hat, der in jeder Kurve mitgefahren ist. Deshalb ist es besser, nicht blind zu optimieren. Überprüfen Sie zunächst, was in Ihrem Kontext steht. Entfernen oder reduzieren Sie dann die Teile, die tatsächlich die Blähungen verursachen.

# 7. Halten Sie die Einrichtung Ihrer Werkzeuge einfach

Claude Code kann eine Verbindung zu vielen externen Instruments und Datenquellen herstellen, was sehr leistungsstark ist – aber vernetztere Instruments können auch einen höheren Kontextaufwand bedeuten, sobald diese Instruments ins Spiel kommen. Wenn zu viele Instruments oder Helfer beteiligt sind, kann das Modell am Ende mehr Aufwand mit sich herumschleppen, als die Aufgabe wirklich benötigt. Halten Sie Ihr Setup schlank. Nutzen Sie Integrationen, die ein tatsächlich wiederkehrendes Drawback lösen. Laden Sie Claude Code nicht mit allen verfügbaren Fähigkeiten auf, nur weil Sie es können.

# Letzte Gedanken

Der beste Weg, die Nutzung von Claude-Code-Token zu reduzieren, besteht darin, nicht jede Eingabeaufforderung zu überwachen. Es geht darum, Ihren Arbeitsablauf so zu gestalten, dass Claude nur das sieht, was er wirklich braucht. Die größten Vorteile ergeben sich aus der Steuerung des automatischen Kontexts, der Einschränkung des Suchumfangs und der Verhinderung, dass laute Nebenarbeiten die Hauptsitzung verunreinigen.

Hören Sie auf, nur an Eingabeaufforderungen zu denken, und beginnen Sie, über die Kontextarchitektur nachzudenken.

Kanwal Mehreen ist ein Ingenieur für maschinelles Lernen und ein technischer Redakteur mit einer großen Leidenschaft für Datenwissenschaft und die Schnittstelle zwischen KI und Medizin. Sie ist Mitautorin des E-Books „Maximizing Productiveness with ChatGPT“. Als Google Era Scholar 2022 für APAC setzt sie sich für Vielfalt und akademische Exzellenz ein. Sie ist außerdem als Teradata Variety in Tech Scholar, Mitacs Globalink Analysis Scholar und Harvard WeCode Scholar anerkannt. Kanwal ist ein leidenschaftlicher Verfechter von Veränderungen und hat FEMCodes gegründet, um Frauen in MINT-Bereichen zu stärken.

Bild vom Autor

# Einführung

Sie sind additionally Scholar oder jemand, der gerade erst anfängt, die betriebliche Seite der Erstellung von Anwendungen zu erlernen. Den ersten Schritt haben Sie bereits getan, indem Sie Ihre Anwendung lokal entwickeln und testen. Jetzt möchten Sie es in der Cloud bereitstellen, damit von überall darauf zugegriffen werden kann. Das Drawback besteht darin, dass sich Cloud-Internet hosting zu Beginn kompliziert und teuer anfühlen kann.

In diesem Artikel werfen wir einen Blick auf einige der einfachsten kostenlosen Plattformen, mit denen Sie Ihre Python-Internet- oder API-Anwendung (Software Programming Interface) hosten können, ohne im Voraus zu bezahlen. Auch wenn die Rechenleistung dieser Dienste begrenzt ist, reichen sie für ein erstes Spielzeugprojekt, eine persönliche Demo oder einfach nur zum Experimentieren mit Bereitstellung, Überwachung und grundlegender Anwendungsverwaltung mehr als aus.

# 1. Teilen Sie KI-Apps mit Hugging Face Areas

Gesichtsräume umarmen ist eine meiner Lieblingsoptionen zum Hosten von Python-Anwendungen, insbesondere wenn Sie an Projekten zur künstlichen Intelligenz arbeiten. Es ist sehr anfängerfreundlich und macht den Einsatz deutlich weniger einschüchternd. Sie können eine starten Gradio Anwendung einfach durch Hochladen Ihrer Dateien, Drücken der Git Commits oder sogar die Verwendung der Hugging Face-Befehlszeilenschnittstelle (CLI).

Es ist besonders nützlich für maschinelles Lernen und LLM-Projekte (Giant Language Mannequin), unterstützt aber auch Streamlit und Docker-basierte Anwendungen. Das gibt Ihnen eine gewisse Flexibilität, je nachdem, wie einfach oder individuell Ihre Anwendung ist.

Die standardmäßige kostenlose {Hardware} von Hugging Face Areas bietet Ihnen 2 CPU-Kerne, 16 GB RAM und 50 GB nicht persistenten Speicherplatz, was mehr als genug für viele Demos, Prototypen, Klassenprojekte und kleine Experimente ist.

Beachten Sie, dass Areas auf der kostenlosen CPU-Basisstufe nach etwa 48 Stunden Inaktivität automatisch in den Ruhezustand wechseln, aber neu gestartet werden, wenn jemand die Anwendung erneut besucht.

# 2. Stellen Sie Daten-Apps mit der Streamlit Neighborhood Cloud bereit

Streamlit Neighborhood Cloud conflict eine der ersten Plattformen, die ich nutzte, als ich lernte, wie man Python-Webanwendungen bereitstellt. Neben HerokuDadurch fühlte sich der gesamte Prozess viel verständlicher an. Es ist ein toller Ausgangspunkt für Anfänger, da Sie von einem lokalen Projekt zu einer Stay-Anwendung wechseln können, ohne sich mit allzu viel Setup befassen zu müssen.

Auch wenn viele Leute Streamlit immer noch nur als Dashboard-Instrument betrachten, ist es zu einer flexiblen Möglichkeit geworden, Datenanwendungen, interne Instruments und einfache interaktive Webanwendungen in Python zu erstellen. Das Bereitstellungserlebnis ist eine seiner größten Stärken, denn Ihr GitHub Das Repository fungiert als Quelle der Wahrheit und Push-Vorgänge an das Repository werden automatisch in der Anwendung widergespiegelt.

Für die kostenlose Stufe gibt Streamlit an, dass alle Neighborhood Cloud-Benutzer denselben Ressourcenpool teilen, mit ungefähren Grenzen von 0,078 bis 2 CPU-Kernen, 690 MB bis 2,7 GB Arbeitsspeicher und bis zu 50 GB Speicher. Wichtig zu wissen ist, dass Anwendungen, die 12 Stunden lang keinen Datenverkehr haben, in den Ruhezustand versetzt werden, aber wieder aktiviert werden können, wenn jemand die Anwendung besucht.

# 3. Stellen Sie Backend-APIs mit Render bereit

Machen ist eine umfassendere Internet hosting-Plattform, mit der Sie alle Arten von Webanwendungen bereitstellen können, einschließlich Python, Node.js, Ruby on Rails und Docker-basierte Dienste. Es ist eine gute Possibility, wenn Sie ein Internet hosting durchführen möchten Flasche oder FastAPI Backend, ohne selbst Server einzurichten.

Der Bereitstellungsablauf ist sehr einfach. Sie stellen eine Verbindung zu einem GitHub-Repository her – obwohl Render dies auch unterstützt GitLab Und Bitbucket – und die Plattform übernimmt den Erstellungs- und Bereitstellungsprozess für Sie. Das macht es zu einer sehr einsteigerfreundlichen Möglichkeit, eine Python-API on-line zu stellen.

Render bietet eine kostenlose Stufe für Webdienste an, die zum Testen von Ideen, Hobbyprojekten und kleinen Demos nützlich ist. Es ist wichtig zu wissen, dass kostenlose Webdienste nach 15 Minuten Inaktivität heruntergefahren werden und es bei einem erneuten Besuch bis zu einer Minute dauern kann, bis der Dienst wieder aktiviert wird.

# 4. Führen Sie Python-Apps mit Modal aus

Modal ist eine meiner liebsten modernen Plattformen zum Ausführen von Python-Anwendungen, insbesondere wenn das Projekt etwas fortgeschrittener ist als eine einfache Demo. Ich habe es für Mannequin Context Protocol (MCP)-Backends, KI-Agenten und komplexere Anwendungen verwendet, bei denen ich schnell etwas wollte, ohne die Infrastruktur selbst verwalten zu müssen. Einer der schönsten Aspekte ist, dass Sie die Infrastruktur in Python definieren, sodass sich die gesamte Entwicklererfahrung viel natürlicher anfühlt, wenn Sie bereits im Python-Ökosystem arbeiten.

Es eignet sich besonders intestine für Workloads des maschinellen Lernens, Hintergrundjobs und Backend-Dienste. Sie können Python-Funktionen, geplante Jobs und Internet-Endpunkte ausführen, was es flexibel genug für APIs, asynchrone Verarbeitung und Modellinferenz macht.

Das kostenlose Kontingent ist für den Einstieg recht großzügig. Der Starter-Plan von Modal umfasst 30 US-Greenback professional Monat an kostenlosen Credit sowie begrenzte Internet-Endpunkte und Cron-Jobs, was normalerweise für kleine Experimente, persönliche Projekte und frühe Prototypen ausreicht.

# 5. Hosten Sie vollständige Python-Apps auf PythonAnywhere

PythonAnywhere ist eine der bekanntesten Plattformen für Python-Internet hosting. Im Vergleich zu neueren Instruments fühlt es sich zwar etwas altmodischer an, erledigt aber trotzdem seine Aufgabe. Ein Grund dafür, dass die Leute immer wieder darauf zurückgreifen, ist, dass es speziell für Python entwickelt wurde, sodass Sie Code schreiben, Dateien verwalten, Konsolen öffnen und eine Webanwendung über den Browser bereitstellen können, ohne einen eigenen Server einzurichten.

Es ist eine gute Possibility für einfache Flaschen und Django Projekte, insbesondere wenn Sie eine All-in-One-Umgebung wünschen, anstatt viele separate Dienste zu verbinden. Für Anfänger kann dies die Lernkurve erheblich erleichtern.

Das kostenlose Konto eignet sich hervorragend zum Lernen und für kleine Projekte. Zu den kostenlosen Konten gehören derzeit:

• Eine Webanwendung mit einem Internet-Employee.
• Zwei Konsolen.
• 512 MiB Festplattenspeicher und 100 CPU-Sekunden.
• Anwendungen laufen auf einem yourusername.pythonanywhere.com Subdomain und kostenlose Konten haben einen eingeschränkten ausgehenden Internetzugang.

# Zusammenfassung

Hier ist ein kurzer Vergleich, der Ihnen bei der Auswahl der richtigen Plattform basierend auf der Artwork der Python-Anwendung, die Sie bereitstellen möchten, helfen soll.

Abid Ali Awan (@1abidaliawan) ist ein zertifizierter Datenwissenschaftler, der gerne Modelle für maschinelles Lernen erstellt. Derzeit konzentriert er sich auf die Erstellung von Inhalten und das Schreiben technischer Blogs zu maschinellem Lernen und Datenwissenschaftstechnologien. Abid verfügt über einen Grasp-Abschluss in Technologiemanagement und einen Bachelor-Abschluss in Telekommunikationstechnik. Seine Imaginative and prescient ist es, ein KI-Produkt mithilfe eines graphischen neuronalen Netzwerks für Schüler mit psychischen Erkrankungen zu entwickeln.

Bild vom Herausgeber

# Einführung

Halluzinationen sind nicht nur ein Modellproblem. In der Produktion stellen sie ein Systemdesignproblem dar. Die zuverlässigsten Groups reduzieren Halluzinationen, indem sie das Modell auf vertrauenswürdige Daten stützen, die Rückverfolgbarkeit erzwingen und die Ergebnisse mit automatisierten Prüfungen und kontinuierlicher Auswertung steuern.

In diesem Artikel behandeln wir sieben bewährte und praxiserprobte Strategien, die Entwickler und KI-Groups heute nutzen, um Halluzinationen in LLM-Anwendungen (Massive Language Mannequin) zu reduzieren.

# 1. Erdungsantworten mittels Retrieval-Augmented Technology

Wenn Ihre Anwendung in Bezug auf interne Richtlinien, Produktspezifikationen oder Kundendaten korrekt sein muss, lassen Sie nicht zu, dass das Modell aus dem Gedächtnis antwortet. Verwenden Retrieval-Augmented Technology (RAG) um relevante Quellen (z. B. Dokumente, Tickets, Wissensdatenbankartikel oder Datenbankeinträge) abzurufen und Antworten aus diesem spezifischen Kontext zu generieren.

Zum Beispiel:

• Der Benutzer fragt: „Wie lauten unsere Rückerstattungsrichtlinien für Jahrespläne?“
• Ihr System ruft die aktuelle Richtlinienseite ab und fügt sie in die Eingabeaufforderung ein
• Der Assistent antwortet und zitiert den genauen Satz, der verwendet wurde

# 2. Erfordernis von Zitaten für wichtige Ansprüche

Eine einfache Betriebsregel, die in vielen Produktionsassistenten verwendet wird, ist: Keine Quellen, keine Antwort.

Die Leitplankenführung von Anthropic empfiehlt ausdrücklich, die Ergebnisse überprüfbar zu machen, indem Zitate gefordert werden und das Modell jede Behauptung überprüfen lässt, indem es ein unterstützendes Zitat findet, und alle Behauptungen, die es nicht unterstützen kann, zurückzieht. Diese einfache Technik reduziert Halluzinationen drastisch.

Zum Beispiel:

• Zu jedem Sachaufzählungspunkt muss das Modell ein Zitat aus dem abgerufenen Kontext anhängen
• Wenn es kein Zitat finden kann, muss es mit „Ich habe nicht genügend Informationen in den bereitgestellten Quellen“ antworten.

# 3. Software Calling anstelle von Freiform-Antworten verwenden

Für transaktionale oder sachliche Abfragen ist das sicherste Muster: LLM – Software/API – Verified System of Document – Antwort.

Zum Beispiel:

• Preise: Abrechnungsdatenbank abfragen
• Ticketstatus: Interne Anwendungsprogrammierschnittstelle (API) für Buyer Relationship Administration (CRM) aufrufen
• Richtlinienregeln: Versionskontrollierte Richtliniendatei abrufen

Anstatt das Modell Fakten „abrufen“ zu lassen, ruft es sie ab. Der LLM wird zum Router und Formatierer, nicht zur Quelle der Wahrheit. Diese einzige Designentscheidung eliminiert eine große Klasse von Halluzinationen.

# 4. Hinzufügen eines Verifizierungsschritts nach der Generierung

Viele Produktionssysteme umfassen mittlerweile ein „Richter“- oder „Grader“-Modell. Der Workflow folgt normalerweise diesen Schritten:

1. Antwort generieren
2. Senden Sie Antwort- und Quelldokumente an ein Verifizierermodell
3. Werten Sie nach Bodenständigkeit oder sachlicher Unterstützung
4. Wenn der Schwellenwert unterschritten wird, regenerieren oder verwerfen

Einige Groups führen auch einfache lexikalische Prüfungen durch (z. B. Schlüsselwortüberschneidungen oder BM25 Scoring), um zu überprüfen, ob behauptete Fakten im Quelltext vorkommen. Ein viel zitierter Forschungsansatz ist Verifizierungskette (CoVe): Entwerfen Sie eine Antwort, erstellen Sie Überprüfungsfragen, beantworten Sie diese unabhängig und erstellen Sie dann eine endgültige überprüfte Antwort. Diese mehrstufige Validierungspipeline reduziert nicht unterstützte Ansprüche erheblich.

# 5. Zitieren statt paraphrasieren

Paraphrasierungen erhöhen die Wahrscheinlichkeit einer subtilen sachlichen Abweichung. Eine praktische Leitplanke ist:

• Fordern Sie für Sachbehauptungen direkte Zitate an
• Zusammenfassung nur zulassen, wenn Anführungszeichen vorhanden sind
• Lehnen Sie Ausgaben ab, die nicht unterstützte Nummern oder Namen einführen

Dies funktioniert besonders intestine in Rechts-, Gesundheits- und Compliance-Anwendungsfällen, bei denen es auf Genauigkeit ankommt.

# 6. Unsicherheit kalibrieren und elegant scheitern

Halluzinationen können nicht vollständig beseitigt werden. Stattdessen sind Produktionssysteme auf einen sicheren Ausfall ausgelegt. Zu den gängigen Techniken gehören:

• Vertrauensbewertung
• Unterstützen Sie Wahrscheinlichkeitsschwellenwerte
• „Nicht genügend Informationen verfügbar“-Fallback-Antworten
• Human-in-the-Loop-Eskalation für Antworten mit geringem Vertrauen

Die Rückkehr der Unsicherheit ist sicherer als die Rückkehr der selbstbewussten Fiktion. In Unternehmensumgebungen ist diese Designphilosophie oft wichtiger als die Erzielung geringfügiger Genauigkeitsgewinne.

# 7. Kontinuierliche Bewertung und Überwachung

Die Reduzierung der Halluzination ist keine einmalige Lösung. Selbst wenn Sie die Halluzinationsraten heute verbessern, können sie morgen aufgrund von Modellaktualisierungen, Dokumentänderungen und neuen Benutzeranfragen abweichen. Produktionsteams führen kontinuierliche Evaluierungspipelines durch, um:

• Bewerten Sie jede N-te Anfrage (oder alle Anfragen mit hohem Risiko)
• Verfolgen Sie die Halluzinationsrate, die Zitatabdeckung und die Richtigkeit der Ablehnungen
• Warnen Sie, wenn sich die Metriken verschlechtern, und setzen Sie Eingabeaufforderungs- oder Abrufänderungen zurück

Auch Benutzer-Feedbackschleifen sind von entscheidender Bedeutung. Viele Groups protokollieren jeden Halluzinationsbericht und geben ihn an die Feinabstimmung oder sofortige Anpassung weiter. Das ist der Unterschied zwischen einer Demo, die genau aussieht, und einem System, das genau bleibt.

# Zusammenfassung

Bei der Reduzierung von Halluzinationen in Produktions-LLMs geht es nicht darum, eine perfekte Eingabeaufforderung zu finden. Wenn man es als architektonisches Downside betrachtet, verbessert sich die Zuverlässigkeit. Um die Genauigkeit zu gewährleisten:

• Bodenantworten in realen Daten
• Bevorzugen Sie Instruments gegenüber Speicher
• Fügen Sie Überprüfungsebenen hinzu
• Design für sicheren Ausfall
• Kontinuierlich überwachen

Kanwal Mehreen ist ein Ingenieur für maschinelles Lernen und ein technischer Redakteur mit einer großen Leidenschaft für Datenwissenschaft und die Schnittstelle zwischen KI und Medizin. Sie ist Mitautorin des E-Books „Maximizing Productiveness with ChatGPT“. Als Google Technology Scholar 2022 für APAC setzt sie sich für Vielfalt und akademische Exzellenz ein. Sie ist außerdem als Teradata Variety in Tech Scholar, Mitacs Globalink Analysis Scholar und Harvard WeCode Scholar anerkannt. Kanwal ist ein leidenschaftlicher Verfechter von Veränderungen und hat FEMCodes gegründet, um Frauen in MINT-Bereichen zu stärken.

Unternehmen aller Branchen haben die Welle der Cloud-Einführung erlebt, aber Edge Computing könnte die nächste Ära der Web-of-Issues-Infrastruktur (IoT) sein. Es gibt sie schon seit einiger Zeit, aber der Wunsch, die Cloud-Abhängigkeit zu verringern und sichere Daten und Belongings zu lokalisieren, wird in einer volatilen Bedrohungslandschaft immer wichtiger. Edge Computing im IoT bietet mehrere Vorteile, die andere Frameworks nicht umfassend bieten können, wodurch es für die aktuellen Produktivitäts-, Sicherheits- und Computeranforderungen von einzigartiger Bedeutung ist.

Föderiertes Lernen und datenschutzorientierte künstliche Intelligenz (KI)

Für Inferenzen wurden Edge-Computing-Ressourcen verwendet, die die bereits trainierten Modelle unterstützen, die Unternehmen während des Betriebs verwenden. Unternehmen können Edge und IoT jedoch auch nutzen, um mehrere Modelle gemeinsam zu trainieren. Die Daten bleiben lokal, ohne dass eine scheinbar unendliche Datenmenge auf zentralen Servern gebündelt wird. Stattdessen viele Geräte Schlüsselparameter individuell festlegen bis sie in einem verschlüsselten Format an das globale Modell gesendet werden.

Diese Segmentierung gewährleistet die Cybersicherheit auf vielfältige Weise. Dadurch wird verhindert, dass alle Informationen in einem Bereich gespeichert werden, wodurch der Wert eines einzelnen Zugangspunkts für einen Bedrohungsakteur verringert wird. Darüber hinaus ermöglicht es Unternehmen, die Datenminimierung zu praktizieren und sich so besser an internationale Compliance-Empfehlungen zu halten. Das IoT braucht diese Verbesserungen, da die Branche für ihre schwachen Abwehrmechanismen bekannt ist.

Verbesserte Echtzeitanalyse

Edge Computing ermöglicht eine datenorientiertere und genauere Ära des maschinellen Lernens auf dem Gerät. Für die erweiterte Verarbeitung in Anwendungen wie maschinellem Lernen bietet die Nähe von Belongings zahlreiche Vorteile, insbesondere für informationshungrige Geräte wie IoT-Sensoren. Lokale Analyse verbessert die Reaktionsfähigkeit und reduziert Verzögerungen weil Daten eine kürzere Distanz zurücklegen. Die Bandbreite unterliegt weniger Belastungen, da sie keine Fernübertragungen zu entfernten Cloud-Infrastrukturen unterstützt.

Stellen Sie sich eine Roboterkamera vor, die zur Qualitätskontrolle ständig Produkte in einer Produktionslinie analysiert. Die Informationen seiner visuellen Sensoren werden lokal auf Edge-Geräten gespeichert. Diese Knoten könnten innerhalb einer Mesh-WLAN-Struktur vorhanden sein. was einen reibungslosen Datenfluss ermöglicht über mehrere Geräte und Räume hinweg. Sie enthalten nur standortspezifische Daten und werden nicht mit anderen Unternehmenszweigen verknüpft.

Wenn es zu einem Zustrom von Fehlern kommt, könnte das Modell diese schneller erkennen. Die maschinellen Lernalgorithmen können schneller verarbeiten, da weniger Serveranfragen um die Navigation und den Zugang zu einer ausgelasteten Cloud-Umgebung konkurrieren.

Proaktive Datensouveränität und Compliance-Durchsetzung

Die Cloud-Infrastruktur ist schwer zu überwachen. Da es allgemein zugänglich ist, wird die Integrität aller implementierten Maßnahmen zur Datensouveränität in Frage gestellt. Noch schwieriger ist es, diese durchzusetzen Governance-Strukturen in allen Ländern wo die Informationen verwendet werden dürfen. Glücklicherweise hilft Edge Computing dem IoT dabei, Informationen zu kategorisieren, die auf Edge-Geräten geschützt bleiben oder anonymisiert und an die Cloud gesendet werden sollen.

Beispielsweise müssen internationale Unternehmen Vorschriften wie die DSGVO der Europäischen Union und die CSL Chinas einhalten. Weltweit kann jeder Standort Server vor Ort hosten, auf denen Echtzeit-Datenverarbeitung und KI-Modelle ausgeführt werden. Es kann Informationen wie Mitarbeiterkennzahlen und Auftragnehmerverträge sicher und lokal aufbewahren, ohne sie in einer ungeschützten Cloud-Umgebung zu gefährden. Außerdem wird der Zugriff einfacher. Diese Verfügbarkeit ist besonders bei Audits von entscheidender Bedeutung, wenn standortspezifische Informationen unerlässlich sind.

Intelligente Informationskuration und verderbliche Daten

IoT-Geräte sind aufgrund der Menge an Informationen, die sie sammeln und speichern können, leistungsstark, geraten jedoch in die Datengravitationsfalle kann zu einer umständlichen Organisation führen und Wartung. Die Verwaltung von Informationen wird teuer, da mehr Zeit und Ressourcen für die Bereinigung und Sicherung benötigt werden. Edge Computing im IoT erfordert, dass Unternehmen selektiver mit den erfassten Daten umgehen und unnötiges Rauschen herausfiltern. Programmierer können es anweisen, nur aussagekräftige Leistungsinformationen zu sammeln, beispielsweise wenn es sich um eine Anomalie handelt oder auf Wartungsbedarf hinweist.

Darüber hinaus erhalten vergängliche Daten dadurch mehr Gewicht, da sie ihren Wert verlieren können, wenn nicht sofort gehandelt wird. Kurzfristige Erkenntnisse, die im IoT verbleiben, können die Datengenauigkeit beeinträchtigen, wenn Unternehmen sie für langfristige Prognosen benötigen. Auf alle Datenpunkte, die schnellere Reaktionszeiten erfordern, kann aufgrund der Nähe zu Edge-Computing-Ressourcen einfacher zugegriffen werden.

Dadurch kann das Gerät seine Zuordnung zu diesen vergänglichen Datenpunkten anpassen, indem es die in Bezug auf diesen Auslöser ergriffenen Maßnahmen erkennt. Dann verstehen Algorithmen besser, wie diese Kategorien in Zukunft behandelt werden müssen, und liefern relevantere Vorschläge für Wartung oder Reparaturen.

Schwarmintelligenz und Machine-to-Machine (D2D)-Kollaboration

Diese Anpassungsfähigkeit wäre von wesentlicher Bedeutung, insbesondere für große Hersteller, die sich einer digitalen Transformation unterziehen und Technologien wie Robotik und Automatisierung einführen. Ein Schwarm unabhängiger Roboter, der unbeaufsichtigt zusammenarbeiten soll, muss kommunizieren und angemessen reagieren, wenn einer ausfällt oder einen Defekt erkennt. Durch die D2D-Kommunikation kann die Maschine diese Bedingungen erkennen und ihre Routen und Aufgaben entsprechend anpassen. Testumgebungen zeigten optimistic Ergebnisse für diese Setups. Erreichen einer Wirksamkeit von 98 % bei maximaler Leistung Kapazität.

Dynamische digitale Zwillingssynchronisation

Das nächste Zeitalter des Edge Computing im IoT

Giant Language Fashions (LLMs) sind das Herzstück von Agentic-Systemen und RAG-Systemen. Und das Bauen mit LLMs ist spannend, bis die Größe sie teuer macht. Es gibt immer einen Kompromiss zwischen Kosten und Qualität, aber in diesem Artikel werden wir meiner Meinung nach die 10 besten Möglichkeiten untersuchen, wie man die Kosten für die LLM-Nutzung senken und sich gleichzeitig auf die Aufrechterhaltung der Qualität des Techniques konzentrieren kann. Beachten Sie auch, dass ich für die Inferenz die OpenAI-API verwende, die Techniken jedoch auch auf andere Modellanbieter angewendet werden könnten. Lassen Sie uns additionally ohne weitere Umschweife die Kostengleichung verstehen und Wege zur LLM-Kostenoptimierung finden.

Voraussetzung: Verständnis der Kostengleichung

Bevor wir beginnen, sollten wir uns besser mit Kosten, Token und Kontextfenster vertraut machen:

• Token: Dies sind die kleinen Einheiten des Textes. Aus praktischen Gründen können Sie davon ausgehen, dass 1.000 Token ungefähr 750 Wörtern entsprechen.
• Immediate-Tokens: Dies sind die Eingabetokens, die wir an das Modell senden. Sie sind im Allgemeinen günstiger.
• Abschlusstoken: Dies sind die vom Modell generierten Token. Sie sind oft 3-4 mal teurer als Enter-Tokens.
• Kontextfenster: Dies ist wie ein Kurzzeitgedächtnis (es kann die alten Ein- und Ausgänge umfassen). Wenn Sie diese Grenze überschreiten, lässt das Modell die früheren Teile des Gesprächs aus. Wenn Sie im Kontextfenster 10 vorherige Nachrichten senden, zählen diese als Eingabe-Tokens für die aktuelle Anfrage und erhöhen die Kosten.
• Gesamtkosten: (Eingabe-Tokens x Kosten professional Eingabe-Token) + (Ausgabe-Tokens x Kosten professional Ausgabe-Token)

Notiz: Für OpenAI können Sie das Abrechnungs-Dashboard verwenden, um die Kosten zu verfolgen: https://platform.openai.com/settings/group/billing/overview

Um zu erfahren, wie Sie die OpenAI-API erhalten, lesen Sie Das Artikel.

1. Leiten Sie Anfragen an das richtige Modell weiter

Nicht für jede Aufgabe ist das beste Modell auf dem neuesten Stand der Technik erforderlich. Sie können mit einem günstigeren Modell experimentieren oder versuchen, mit einem günstigeren Modell eine Eingabeaufforderung in wenigen Schritten zu verwenden, um ein größeres Modell zu reproduzieren.

Konfigurieren Sie den API-Schlüssel

from google.colab import userdata 
import os 

os.environ('OPENAI_API_KEY')=userdata.get('OPENAI_API_KEY') 

Definieren Sie die Funktionen

from openai import OpenAI 

shopper = OpenAI() 
SYSTEM_PROMPT = "You're a concise, useful assistant. You reply in 25-30 phrases" 

def generate_examples(questions, n=3): 
   examples = () 
   for q in questions(:n): 
    response = shopper.chat.completions.create( 
        mannequin="gpt-5.1", 
        messages=({"position": "system", "content material": SYSTEM_PROMPT}, 
                     {"position": "person", "content material": q}) 
       ) 
       examples.append({"q": q, "a": response.decisions(0).message.content material}) 

   return examples

Diese Funktion verwendet den größeren GPT-5.1 und beantwortet die Frage in 25-30 Wörtern.

# Instance utilization 

questions = ( 
   "What's overfitting?", 
   "What's a confusion matrix?", 
   "What's gradient descent?" 
) 

few_shot = generate_examples(questions, n=3)

Großartig, wir haben unsere Frage-Antwort-Paare bekommen.

def build_prompt(examples, query): 

   immediate = "" 
   for ex in examples: 
       immediate += f"Q: {ex('q')}nA: {ex('a')}nn" 
   return immediate + f"Q: {query}nA:" 

def ask_small_model(examples, query): 

   immediate = build_prompt(examples, query) 
   response = shopper.chat.completions.create( 

    mannequin="gpt-5-nano", 
    messages=({"position": "system", "content material": SYSTEM_PROMPT}, 
                 {"position": "person", "content material": immediate}) 
   ) 

   return response.decisions(0).message.content material

Hier haben wir eine Funktion, die das kleinere „gpt-5-nano“ verwendet, und eine andere Funktion, die die Eingabeaufforderung mithilfe der Frage-Antwort-Paare für das Modell erstellt.

reply = ask_small_model(few_shot, "Clarify regularization in ML.") 

print(reply)

Lassen Sie uns eine Frage an das Modell weiterleiten.

Ausgabe:

Regularization provides a penalty to the loss for mannequin complexity to scale back overfitting. Frequent kinds embody L1 (lasso) selling sparsity and L2 (ridge) shrinking weights; elastic internet blends. 

Großartig! Wir haben ein viel günstigeres Modell (gpt-5-nano) verwendet, um unsere Ausgabe zu erhalten, aber wir können das billigere Modell sicherlich nicht für jede Aufgabe verwenden.

2. Verwenden Sie Modelle entsprechend der Aufgabe

Die Idee dabei ist, ein kleineres Modell für Routineaufgaben zu verwenden und die größeren Modelle nur für komplexe Überlegungen. Wie machen wir das? Hier definieren wir einen Klassifikator, der „einfach“ oder „komplex“ zurückgibt und leiten die Abfragen entsprechend weiter. Dies hilft uns, Kosten bei den Routinekosten zu sparen.

Beispiel:

from openai import OpenAI 

shopper = OpenAI() 

def get_complexity(query): 

   immediate = f"Fee the complexity of the query from 1 to 10 for an LLM to reply. Present solely the quantity.nQuestion: {query}" 

   res = shopper.chat.completions.create( 
    mannequin="gpt-5.1", 
    messages=({"position": "person", "content material": immediate}), 
    ) 

   return int(res.decisions(0).message.content material.strip()) 

print(get_complexity("Clarify convolutional neural networks"))

Ausgabe:

4 

Unser Klassifikator sagt additionally, dass die Komplexität 4 ist. Machen Sie sich keine Sorgen über den zusätzlichen LLM-Aufruf, da dieser nur eine einzige Zahl generiert. Diese Komplexitätszahl kann zum Weiterleiten der Aufgaben verwendet werden, wie zum Beispiel: Komplexität < 7 Dann zu einem kleineren Modell weiterleiten, andernfalls zu einem größeren Modell.

3. Verwenden von Immediate Caching

Wenn das LLM-System umfangreiche Systemanweisungen oder viele Beispiele mit wenigen Schüssen über viele Aufrufe hinweg verwendet, stellen Sie sicher, dass Sie diese an der richtigen Stelle platzieren Begin Ihrer Nachricht.

Hier ein paar wichtige Punkte:

• Stellen Sie sicher, dass das Präfix bei allen Anforderungen genau identisch ist (einschließlich aller Zeichen, einschließlich Leerzeichen).
• Laut OpenAI profitieren die unterstützten Modelle automatisch von Caching, die Eingabeaufforderung muss jedoch länger als 1.024 Token sein.
• Anfragen, die Immediate Caching verwenden, haben eine cached_tokens Wert als Teil der Antwort.

4. Verwenden Sie die Batch-API für Aufgaben, die warten können

Viele Aufgaben erfordern keine sofortigen Antworten. Hier können wir den asynchronen Batch-Endpunkt für die Inferenz verwenden. Indem Sie eine Datei mit Anfragen einreichen und OpenAI bis zu 24 Stunden Zeit für deren Bearbeitung geben, werden die Token-Kosten im Vergleich zu den üblichen OpenAI-API-Aufrufen um 50 % gesenkt.

5. Trimmen Sie die Ausgänge mit den Parametern max_tokens und Stops

Was wir hier versuchen, ist, die Generierung von unkontrollierten Token zu stoppen. Nehmen wir an, Sie benötigen eine Zusammenfassung mit 75 Wörtern oder ein bestimmtes JSON-Objekt. Lassen Sie nicht zu, dass das Modell weiterhin unnötigen Textual content generiert. Stattdessen können wir die Parameter verwenden:

Beispiel:

from openai import OpenAI 
shopper = OpenAI() 

response = shopper.chat.completions.create( 
   mannequin="gpt-5.1", 
   messages=( 
       { 
           "position": "system", 
           "content material": "You're a knowledge extractor. Output solely uncooked JSON." 
       } 
   ), 
   max_tokens=100, 
   cease=("nn", "}") 
)

Wir haben max_tokens auf 100 gesetzt, da es ungefähr 75 Wörter sind.

6. Nutzen Sie RAG

Anstatt das Kontextfenster zu überfluten, können wir Retrieval-Augmented Era verwenden. Dies hilft dabei, die Wissensdatenbank in Einbettungen umzuwandeln und diese in einer Vektordatenbank zu speichern. Wenn ein Benutzer eine Anfrage stellt, befindet sich nicht der gesamte Kontext im Kontextfenster, sondern die abgerufenen oberen paar relevanten Textabschnitte werden als Kontext übergeben.

7. Verwalten Sie immer den Gesprächsverlauf

Hier liegt unser Fokus auf dem Konversationsverlauf, in dem wir die älteren Ein- und Ausgaben weitergeben. Anstatt die Konversationen iterativ hinzuzufügen, können wir einen „Schiebefenster“-Ansatz implementieren.

Hier löschen wir die ältesten Nachrichten, sobald der Kontext zu lang wird (legen Sie einen Schwellenwert fest) oder fassen frühere Nachrichten in einer einzigen Systemnachricht zusammen, bevor wir fortfahren. Stellen Sie sicher, dass das aktive Kontextfenster nicht zu lang ist, da es für lang laufende Sitzungen von entscheidender Bedeutung ist.

Funktion zur Zusammenfassung

from openai import OpenAI 

shopper = OpenAI() 

SYSTEM_PROMPT = "You're a concise assistant. Summarize the chat historical past in 30-40 phrases." 

def summarize_chat(history_text): 

   response = shopper.chat.completions.create( 
    mannequin="gpt-5.1", 
    messages=( 
           {"position": "system", "content material": SYSTEM_PROMPT}, 
           {"position": "person", "content material": history_text} 
       ) 
   ) 

   return response.decisions(0).message.content material

Schlussfolgerung

chat_history = """ 

Person: Hello, I am attempting to know how embeddings work. 
Assistant: Embeddings flip textual content into numeric vectors. 

Person: Can I take advantage of them for similarity search?
Assistant: Sure, that’s a standard use case. 

Person: Good, present me easy code. 
Assistant: Certain, this is a brief instance... 

""" 

abstract = summarize_chat(chat_history)

Der Benutzer hat gefragt, was Einbettungen sind. Der Assistent erklärte, dass sie Textual content in numerische Vektoren umwandeln. Der Benutzer fragte dann nach der Verwendung von Einbettungen für die Ähnlichkeitssuche. Der Assistent bestätigte dies und stellte ein kurzes Beispielcode-Snippet zur Verfügung, das die grundlegende Ähnlichkeitssuche demonstriert.

Wir haben jetzt eine Zusammenfassung, die zum Kontextfenster des Modells hinzugefügt werden kann, wenn die Eingabetokens über einem definierten Schwellenwert liegen.

8. Improve auf effiziente Modellmodi

OpenAI veröffentlicht häufig optimierte Versionen seiner Modelle. Suchen Sie immer nach neueren „Mini“- oder „Nano“-Varianten der neuesten Modelle. Diese sind speziell auf Effizienz ausgelegt und bieten oft eine ähnliche Leistung für bestimmte Aufgaben zu einem Bruchteil der Kosten.

9. Strukturierte Ausgaben erzwingen (JSON)

Wenn Sie Daten extrahieren oder formatieren müssen. Durch die Definition eines strikten Schemas wird das Modell gezwungen, die unnötigen Token herauszuschneiden und nur die genauen angeforderten Datenfelder zurückzugeben. Dichtere Antworten bedeuten weniger generierte Token auf Ihrer Rechnung.

Importe und Strukturdefinition

from openai import OpenAI 

import json 

shopper = OpenAI() 

immediate = """ 
You're an extraction engine. Output ONLY legitimate JSON. 
No explanations. No pure language. No additional keys. 

Extract these fields: 

- title (string)
- date (string, format: YYYY-MM-DD) 
- entities (array of strings) 

Textual content: 

"On 2025-12-05, OpenAI launched Structured Outputs, permitting builders to implement strict JSON schemas. This improved reliability was welcomed by many engineers." 

Return JSON on this actual format: 

{ 
 "title": "", 
 "date": "", 
 "entities": () 
} 

"""

Schlussfolgerung

response = shopper.chat.completions.create( 
   mannequin="gpt-5.1", 
   messages=({"position": "person", "content material": immediate}) 
) 

knowledge = response.decisions(0).message.content material 

json_data = json.masses(knowledge) 

print(json_data)

Ausgabe:

{'title': 'OpenAI Introduces Structured Outputs', 'date': '2025-12-05', 'entities': ('OpenAI', 'Structured Outputs', 'JSON', 'builders', 'engineers')} 

Wie wir sehen können, wird nur das erforderliche Wörterbuch mit den erforderlichen Particulars zurückgegeben. Außerdem ist die Ausgabe übersichtlich als Schlüssel-Wert-Paare strukturiert.

10. Cache-Abfragen

Im Gegensatz zu unserer früheren Idee des Cachings ist dies ganz anders. Wenn die Benutzer häufig genau dieselben Fragen stellen, speichern Sie die Antwort des LLM in Ihrer eigenen Datenbank. Überprüfen Sie diese Datenbank, bevor Sie die API aufrufen. Diese zwischengespeicherte Antwort ist für den Benutzer schneller und praktisch kostenlos. Wenn Sie mit LangGraph für Agenten arbeiten, können Sie dies auch für das Caching auf Knotenebene untersuchen: Caching in LangGraph

Abschluss

Die Entwicklung mit LLMs ist leistungsstark, kann aber aufgrund ihrer Größe schnell teuer werden. Daher ist das Verständnis der Kostengleichung unerlässlich. Durch die Anwendung der richtigen Mischung aus Modellrouting, Caching, strukturierten Ausgaben, RAG und effizientem Kontextmanagement können wir die Inferenzkosten erheblich senken. Diese Techniken tragen dazu bei, die Qualität des Techniques aufrechtzuerhalten und gleichzeitig sicherzustellen, dass die gesamte LLM-Nutzung praktisch und kosteneffektiv bleibt. Vergessen Sie nicht, nach der Implementierung jeder Technik das Abrechnungs-Dashboard auf die Kosten zu überprüfen.

Häufig gestellte Fragen

Leidenschaftlich für Technologie und Innovation, Absolvent des Vellore Institute of Expertise. Derzeit arbeite ich als Knowledge Science Trainee mit Schwerpunkt auf Knowledge Science. Großes Interesse an Deep Studying und generativer KI, begierig darauf, modernste Techniken zu erforschen, um komplexe Probleme zu lösen und wirkungsvolle Lösungen zu schaffen.

Endlich ist es da! Gemini 3, Googles Flaggschiff-KI-Modell, ist da. Aber all das Gerede über Technik auf der Welt bedeutet nichts, wenn man nicht herausfindet, wie man es tatsächlich nutzt. Dieser Artikel soll Ihnen nicht nur dabei helfen, darauf zuzugreifen, sondern auch verschiedene Möglichkeiten dafür aufzeigen. Dies würde unterschiedliche Zielgruppen mit unterschiedlichen technischen Fähigkeiten ansprechen. Lassen Sie uns additionally ohne weitere Umschweife loslegen.

Lassen Sie uns die Verwirrung durchbrechen. Sie müssen kein Programmier-Experte sein oder einen Supercomputer im Keller haben, um loszulegen (ein solcher Pc bietet jedoch mehr Möglichkeiten). Hier finden Sie die Möglichkeiten, auf die Sie zugreifen können Zwillinge 3 kostenlos:

Der zugänglichste Weg: Gemini App

Der einfachste Weg, auf Gemini 3 zuzugreifen, wäre die Verwendung der Gemini-App oder die Verwendung der Browserversion der Google Gemini-App unter gemini.google.com. Die App läuft jetzt auf Gemini 3. Sie steht allen offen, aber Benutzer mit einem Gemini Professional-Abonnement können den Denkmodus für längere, tiefergehende Antworten wählen. Das Erlebnis fühlt sich strukturierter und ausdrucksvoller an.

Der einfachste Weg: AI-Modus

Sie können mit dem neuen auf Gemini 3 zugreifen KI-Modus Hier können Sie zu einer Gemini 3-basierten Ansicht wechseln. Während es zuvor auf die älteren Iterationen dieses Modells beschränkt battle, unterstützt es jetzt Gemini 3. Dieser Modus kann erklären, zusammenfassen, planen und strukturierte Antworten erstellen, die über einfache Suchergebnisse hinausgehen. Für den Zugriff gibt es zwei Möglichkeiten KI-Modus:

1. Suchoberfläche: Führen Sie einfach eine Google-Suche durch und wählen Sie den AI-Modus aus den Ergebnissen aus

2. Webinterface: Besuchen https://www.google.com/search?udm=50&aep=11

Ich würde vorschlagen, es auf die vorherige Artwork und Weise zu verwenden, um nahtlose Hilfe bei Ihrer Suche zu erhalten.

Der technikfreundliche Weg: Gemini CLI

Gemini-CLI ermöglicht Entwicklern die direkte Interaktion mit Gemini 3 vom Terminal aus. Derzeit ist es auf Google AI Extremely-Abonnenten oder diejenigen beschränkt, die über den kostenpflichtigen Gemini-API-Schlüssel verfügen. Sie können Code generieren, Apps aufbauen, Dateien analysieren und Aufgaben auf Agentenebene ausführen, ohne Ihren Workflow zu verlassen. Mehr dazu finden Sie im offizielle Dokumentation von Zwillinge 3.

Der funktionalste Weg: Google AI Studio

Google AI Studio unterstützt auch Gemini 3. Sie können multimodale Eingaben testen, Agentenverhalten erkunden und Arbeitscode direkt in ihre Anwendungen exportieren. Das ist meine liebste Artwork des Zugriffs jedes neue von Google veröffentlichte Modell, da es nicht nur eine einzigartige Schnittstelle für den Zugriff auf alle (auch die älteren Modelle) bietet, sondern wir können diese auch optimieren Einstellungen ausführen um Antworten zu erhalten, die auf unsere Anforderungen zugeschnitten sind. Dies ist eine der einfachsten Möglichkeiten, mit dem neuen Modell zu experimentieren, ohne Code schreiben zu müssen.

Der kontrollierte Weg: Google API

Wie immer bietet Google den Zugriff auf sein Modell über eine API an. Entwickler und Groups können im Inneren auf Gemini 3 Professional zugreifen Vertex-KI. Die API-Kostenrechnung ist wie folgt:

Aber es gibt einen Haken. Sie können Gemini 3 kostenlos über die Google Studio API verwenden. Sie können Ihren Google Studio-API-Schlüssel hier erstellen Hier.

Wie wählt man aus?

Das Motiv ist klar. Google hält sein Magnum Opus nicht für diejenigen bereit, die sich seines Kommens bewusst sind. Stattdessen versuchen sie, es jedem zu liefern, egal auf welchem ​​Instrument oder Medium er es haben möchte.

Letztendlich gibt es für jeden einen Weg. Von der lockeren Neugier der Gemini-App bis hin zur umfassenden kreativen Kontrolle in Google AI Studio gibt es keine Eintrittsbarriere für Gemini 3. Sie sind dank kostenpflichtiger Abonnements nicht mehr in Gefahr. Da es mehrere Zugangsmöglichkeiten gibt, hängt die Wahl von Ihrem Anwendungsfall ab.

Häufig gestellte Fragen

Ich bin auf die Überprüfung und Verfeinerung von KI-gestützter Forschung, technischer Dokumentation und Inhalten im Zusammenhang mit neuen KI-Technologien spezialisiert. Meine Erfahrung umfasst KI-Modelltraining, Datenanalyse und Informationsabruf und ermöglicht es mir, Inhalte zu erstellen, die sowohl technisch korrekt als auch zugänglich sind.

Vor ein paar Wochen stellte mir mein Freund Vasu eine einfache, aber knifflige Frage: „Gibt es eine Möglichkeit, non-public LLMs lokal auf meinem Laptop computer auszuführen?“ Ich machte mich sofort auf die Suche nach Weblog-Beiträgen, YouTube-Tutorials usw. und kam mit leeren Händen zurück. Nichts, was ich finden konnte, erklärt es wirklich für Nicht-Ingenieure, für jemanden, der diese Modelle nur sicher und privat nutzen wollte.

Das hat mich zum Nachdenken gebracht. Wenn ein kluger Freund wie Vasu Schwierigkeiten hat, eine klare Ressource zu finden, wie viele andere da draußen stecken dann auch fest? Leute, die keine Entwickler sind, mit denen man sich nicht herumschlagen will Docker, Pythonoder GPU Fahrer, die aber dennoch die Magie der KI auf ihrer eigenen Maschine nutzen möchten.

Hier sind wir additionally. Vielen Dank, Vasu, dass du mich auf dieses Bedürfnis hingewiesen und mich dazu angeregt hast, diesen Leitfaden zu schreiben. Dieser Weblog richtet sich an alle, die hochmoderne LLMs lokal, sicher und privat ausführen möchten, ohne den Verstand in der Setup-Hölle zu verlieren.

Wir gehen die Instruments durch, die ich ausprobiert habe: Ollama, LM Studio und AnythingLLM (plus ein paar lobende Erwähnungen). Am Ende wissen Sie nicht nur, was funktioniert, sondern auch, warum es funktioniert und wie Sie Ihre eigene lokale KI im Jahr 2025 zum Laufen bringen.

Warum LLMs überhaupt lokal ausführen?

Bevor wir eintauchen, lasst uns einen Schritt zurücktreten. Warum sollte sich jemand die Mühe machen, Multi-Gigabyte-Modelle auf seinem persönlichen Rechner auszuführen, wenn OpenAI oder Anthropic nur einen Klick entfernt sind?

Drei Gründe:

1. Datenschutz und Kontrolle: Keine API-Aufrufe. Keine Protokolle. Nein „Ihre Daten dürfen zur Verbesserung unserer Modelle verwendet werden.“ Sie können Llama 3 oder Mistral buchstäblich ausführen, ohne dass etwas aus Ihrer Maschine austritt.
2. Offline-Fähigkeit: Sie können es in einem Flugzeug ausführen. In einem Keller. Während eines Stromausfalls (okay, vielleicht auch nicht). Der Punkt ist, dass es lokal ist, es gehört Ihnen.
3. Kosten und Freiheit: Sobald Sie das Modell heruntergeladen haben, ist die Nutzung kostenlos. Keine Abonnementstufen, keine Abrechnung professional Token. Sie können jedes beliebige offene Modell laden, es optimieren oder morgen austauschen.

Der Kompromiss ist natürlich die {Hardware}.

Das Ausführen eines 70B-Parametermodells auf einem MacBook Air ist wie der Versuch, eine Rakete mit einem Fahrrad zu starten. Aber kleinere Modelle wie 7B, 13B und sogar einige effiziente 30B-Varianten laufen heutzutage dank Quantisierung und intelligenteren Laufzeiten wie GGUF, llama.cpp usw. überraschend intestine.

1. Ollama: Das minimalistische Arbeitstier

Das erste Device, das wir sehen werden, ist Ollama. Wenn Sie in letzter Zeit auf Reddit oder Hacker Information waren, haben Sie es wahrscheinlich in jedem „lokalen LLM“-Diskussionsthread gesehen.

Die Set up von Ollama ist kinderleicht, Sie können es direkt von der Web site herunterladen und schon kann es losgehen. Kein Docker. Keine Python-Hölle. Kein CUDA-Treiber-Albtraum.

Das ist das offizielle Web site zum Obtain des Instruments:

Es ist für MacOS, Linux und Home windows verfügbar. Nach der Set up können Sie Ihr Modell aus der Liste der verfügbaren Modelle auswählen und es einfach herunterladen.

Ich habe Qwen3 4B heruntergeladen und Sie können sofort mit dem Chatten beginnen. Hier sind die nützlichen Datenschutzeinstellungen, die Sie vornehmen können:

Sie können steuern, ob Ollama mit anderen Geräten in Ihrem Netzwerk kommuniziert oder nicht. Außerdem gibt es diesen netten „Flugzeugmodus“-Schalter, der im Grunde alles sperrt: Ihre Chats, Ihre Modelle, alles bleibt vollständig lokal.

Und natürlich musste ich es auf die altmodische Artwork testen. Ich habe mein WLAN buchstäblich mitten im Chat ausgeschaltet, nur um zu sehen, ob es noch funktioniert (Spoiler: Ja, haha).

Was mir gefallen hat?

• Tremendous saubere UX: Die Benutzeroberfläche kommt ChatGPT/Claude/Gemini bekannt vor und Sie können problemlos Modelle herunterladen.
• Effizientes Ressourcenmanagement: Ollama verwendet unter der Haube llama.cpp und unterstützt quantisierte Modelle (This autumn, Q5, Q6 usw.), was bedeutet, dass Sie sie tatsächlich auf einem anständigen MacBook ausführen können, ohne es zu zerstören.
• API-kompatibel: Sie erhalten einen lokalen HTTP-Endpunkt, der die API von OpenAI nachahmt. Wenn Sie additionally über openai.ChatCompletion.create vorhandenen Code haben, können Sie ihn einfach umleiten http://localhost:11434.
• Integrationen: Viele Apps wie AnythingLLM, Chatbox und sogar LM Studio können Ollama als Backend verwenden. Es ist wie die lokale Modell-Engine, an die sich jeder anschließen möchte.

Ollama fühlt sich wie ein Geschenk an. Es ist stabil, schön und macht lokale KI auch für Nicht-Ingenieure zugänglich. Wenn Sie nur Modelle verwenden und sich nicht mit der Einrichtung herumschlagen möchten, ist Ollama perfekt.

Vollständiger Leitfaden: Wie führe ich LLM-Modelle lokal mit Ollama aus?

2. LM Studio: Lokale KI mit Stil

LM Studio bietet Ihnen eine elegante Desktop-Oberfläche (Mac/Home windows/Linux), über die Sie mit Modellen chatten, offene Modelle von Hugging Face durchsuchen und sogar Systemeingabeaufforderungen oder Sampling-Einstellungen optimieren können; alles ohne das Terminal zu berühren.

Als ich es zum ersten Mal öffnete, hatte ich das Gefühl: „Okay, so würde ChatGPT aussehen, wenn es auf meinem Desktop wäre und nicht mit einem Server kommunizieren würde.“

Sie können es einfach herunterladen LM Studio von seiner offiziellen Web site:

Beachten Sie, dass Modelle wie GPT-OSS, Qwen, Gemma, DeepSeek und mehr als kompatible Modelle aufgeführt werden, die kostenlos sind und privat verwendet werden können (auf Ihren Pc heruntergeladen). Sobald Sie es heruntergeladen haben, können Sie Ihren Modus auswählen:

Ich habe den Entwicklermodus gewählt, weil ich alle Optionen/Informationen sehen wollte, die während des Chats angezeigt werden. Sie können jedoch einfach einen Benutzer auswählen und mit dem Betrieb beginnen. Sie müssen auswählen, welches Modell Sie als Nächstes herunterladen möchten:

Sobald Sie fertig sind, können Sie einfach mit dem Mannequin chatten. Da dies außerdem der Entwicklermodus ist, konnte ich direkt unten zusätzliche Messwerte zum Chat wie CPU-Auslastung und Token-Nutzung sehen:

Und Sie haben zusätzliche Funktionen wie die Möglichkeit, eine „Systemaufforderung“ festzulegen, die beim Einrichten der Persona des Modells oder des Themas des Chats nützlich ist:

Abschließend finden Sie hier die Liste der verfügbaren Modelle:

Was mir gefallen hat?

• Schöne Benutzeroberfläche: Ehrlich gesagt, LM Studio sieht aus Skilled. Chat-Sitzungen mit mehreren Registerkarten, Speicher, Eingabeaufforderungsverlauf, alles übersichtlich gestaltet.
• Ollama-Backend-Unterstützung: LM Studio kann Ollama im Hintergrund verwenden, was bedeutet, dass Sie Modelle über die Laufzeit von Ollama laden können, während Sie weiterhin in der Benutzeroberfläche von LM Studio chatten.
• Modellmarktplatz: Sie können Modelle direkt in der App suchen und herunterladen: Llama 3, Mistral, Falcon, Phi-3, alle sind da.
• Parametersteuerung: Sie können Temperatur, Prime-P, Kontextlänge usw. anpassen. Very best für schnelle Experimente.
• Offline- und lokale Einbettungen: Es unterstützt auch lokale Einbettungen, was hilfreich ist, wenn Sie abruferweiterte Setups erstellen möchten (LAPPEN) ohne Web.

Vollständiger Leitfaden: Wie führe ich LLM lokal mit LM Studio aus?

3. AnythingLLM: Lokale Modelle tatsächlich nützlich machen

Ich habe AnythingLLM hauptsächlich deshalb ausprobiert, weil ich wollte, dass mein lokales Mannequin mehr kann als nur chatten. Es verbindet Ihr LLM (wie Ollama) mit echten Dingen: PDFs, Notizen, Dokumente und ermöglicht die Beantwortung von Fragen anhand Ihrer eigenen Daten.

Die Einrichtung battle einfach und das Beste daran? Alles bleibt lokal. Einbettungen, Abruf, Kontext und alles geschieht auf Ihrem Pc.

Und ja, ich habe meinen üblichen WLAN-Check durchgeführt und ihn während der Abfrage ausgeschaltet, nur um sicherzugehen. Hat immer noch funktioniert, keine geheimen Anrufe, kein Drama.

Es ist nicht perfekt, aber es ist tatsächlich das erste Mal, dass mein lokales Modell dabei ist fühlte sich nützlich an statt nur gesprächig.

Lassen Sie es uns von dort aus einrichten offizielle Web site:

Gehen wir zur Obtain-Seite, sie ist für Linux/Home windows/Mac verfügbar. Beachten Sie, wie deutlich und klar sie ihr Versprechen, die Privatsphäre zu wahren, von Anfang an zum Ausdruck bringen:

Nach der Einrichtung können Sie Ihren Modellanbieter und Ihr Modell auswählen.

Es stehen alle Arten von Modellen zur Verfügung, von Googles Gemma bis hin zu Qwen, Phi, DeepSeek und vielem mehr. Und für Anbieter haben Sie Optionen wie AnythingLLM, OpenAI, Anthropic, Gemini, Nvidia und die Liste geht weiter!

Hier sind die Datenschutzeinstellungen:

Eine tolle Sache ist, dass dieses Device nicht nur auf den Chat beschränkt ist, sondern Sie auch andere nützliche Dinge tun können, wie zum Beispiel Agenten erstellen, RAG und vieles mehr.

Und so sieht die Chat-Oberfläche aus:

Was mir gefallen hat?

• Funktioniert perfekt mit Ollama: vollständige lokale Einrichtung, keine versteckten Cloud-Inhalte.
• Lassen Sie uns echte Daten (PDFs, Notizen usw.) verknüpfen, damit das Modell tatsächlich etwas Nützliches weiß.
• Einfach zu verwenden, saubere Benutzeroberfläche und zum Ausführen ist kein Doktortitel in Entwicklung erforderlich.
• Habe meinen WLAN-Aus-Check mit Bravour bestanden, da ich völlig offline und völlig privat battle.

Vollständiger Leitfaden: Was ist AnythingLLM und wie wird es verwendet?

Lobende Erwähnungen: llama.cpp, OpenWeb UI

Ein kurzer Gruß an ein paar andere Instruments, die etwas Liebe verdienen:

4. lama.cpp: das eigentliche OG hinter den meisten dieser lokalen Setups. Es ist nicht auffällig, aber es ist unglaublich effizient. Wenn Ollama die polierte Hülle ist, ist llama.cpp der rohe Muskel, der darunter die schwere Arbeit leistet. Sie können es direkt vom Terminal aus ausführen, jeden Parameter anpassen und es sogar für Ihre spezifische {Hardware} kompilieren. Pure Kontrolle.

5. WebUI öffnen: Betrachten Sie es als eine schöne, browserbasierte Ebene für Ihre lokalen Modelle. Es funktioniert mit Ollama und anderen und bietet Ihnen eine saubere Chat-Oberfläche, Speicher und Mehrbenutzerunterstützung. Ein bisschen wie das Hosten Ihres eigenen privaten ChatGPT, aber ohne dass Ihre Daten den Pc verlassen.

Beide sind nicht gerade für Anfänger geeignet, aber wenn Sie gerne basteln, sind sie auf jeden Fall eine Erkundung wert.

Lesen Sie auch: 5 Möglichkeiten, LLMs lokal auf einem Pc auszuführen

Datenschutz, Sicherheit und das Gesamtbild

Der springende Punkt bei der lokalen Ausführung ist der Datenschutz.

Wenn Sie Cloud-LLMs verwenden, sind es Ihre Daten andernorts verarbeitet werden. Selbst wenn das Unternehmen verspricht, es nicht aufzubewahren, vertrauen Sie ihm dennoch.

Bei lokalen Modellen dreht sich diese Gleichung um. Alles bleibt auf Ihrem Gerät. Sie können Protokolle prüfen, in einer Sandbox ausführen und sogar den Netzwerkzugriff vollständig blockieren.

Das ist enorm für Menschen in regulierten Branchen oder einfach für jeden, der Wert auf Privatsphäre legt.

Und es geht nicht nur um Paranoia, es geht um Souveränität. Besitzen Sie Ihre Modellgewichte, Ihre Daten, Ihre Berechnungen; das ist mächtig.

Letzte Gedanken

Ich habe ein paar Instruments zum lokalen Ausführen von LLMs ausprobiert und ehrlich gesagt hat jedes seine eigene Ausstrahlung. Manche fühlen sich wie Motoren an, manche wie Armaturenbretter und manche wie persönliche Assistenten.

Hier ist eine kurze Momentaufnahme dessen, was mir aufgefallen ist:

Die lokale Durchführung von LLMs ist kein nerdiges Experiment mehr, sondern praktisch, privat und überraschend unterhaltsam.

Ollama fühlt sich wie ein Arbeitstier an, LM Studio ist ein Spielplatz und AnythingLLM stellt tatsächlich die KI her nützlich mit Ihren eigenen Dateien. Lobende Erwähnungen wie llama.cpp oder Open WebUI füllen die Lücken für Bastler und Energy-Person.

Für mich geht es um das Mischen und Anpassen: Geschwindigkeit, Experimentierfreudigkeit und Nützlichkeit; Und das alles, während ich alles auf meinem eigenen Laptop computer behalte.

Das ist die Magie der lokalen KI im Jahr 2025: Kontrolle, Privatsphäre und die seltsame Befriedigung, einem Modell beim Denken zuzusehen … in Ihrer eigenen Maschine.

Sanad ist leitender KI-Wissenschaftler bei Analytics Vidhya und setzt modernste KI-Forschung in reale Agenten-KI-Produkte um. Mit einem MS in Künstlicher Intelligenz von der College of Edinburgh hat er in führenden Forschungslabors an mehrsprachigem NLP und NLP für ressourcenarme indische Sprachen gearbeitet. Er hat eine Leidenschaft für alles, was mit KI zu tun hat, und liebt es, die Lücke zwischen fundierter Forschung und praktischen, wirkungsvollen Produkten zu schließen.