Nach jüngsten Schätzungen,, Es wird erwartet Ein Marktmarkt von 1,3 Billionen US Benutzerdefinierte LLM -Softwareentwicklung. Es gibt jedoch bestimmte technische Herausforderungen, die erhebliche Hindernisse für die KI/LLM -Implementierung erzeugen. Das Aufbau von schnellen, robusten und leistungsstarken AI-gesteuerten Apps ist eine komplexe Aufgabe, insbesondere wenn Ihnen frühere Erfahrung fehlt.
In diesem Artikel werden wir uns auf gemeinsame Herausforderungen bei der Einführung von KI konzentrieren, die technische Seite der Frage erörtern und Tipps zur Überwindung dieser Probleme geben, um maßgeschneiderte KI-betriebene Lösungen zu erstellen.
Gemeinsame Herausforderungen der KI -Adoption
Wir werden uns in erster Linie auf den Wrapper -Ansatz konzentrieren, der impliziert, dass sie KI -Merkmale auf vorhandenen Systemen überlagern, anstatt KI in den Kern zu integrieren. In solchen Fällen sind die meisten KI -Produkte und -Funktionen als Wrapper über vorhandene Modelle erstellt, wie z. B. Chatgptvon der App über die OpenAI -API genannt. Seine unglaubliche Einfachheit ist das attraktivste Merkmal eines solchen Ansatzes und macht es bei Unternehmen, die auf KI -Transformation streben, sehr beliebt. Sie erklären einfach Ihr Drawback und die gewünschte Lösung in der natürlichen Sprache und erhalten das Ergebnis: natürliche Sprache in natürliche Sprache. Dieser Ansatz hat jedoch mehrere Nachteile. Hier ist, warum Sie unterschiedliche Strategien und Möglichkeiten zur effizienten Umsetzung berücksichtigen.
const response = warte getCompletionfromgpt (Eingabeaufforderung)
Mangel an Differenzierung
Es kann schwierig sein, ein Produkt in der sich schnell entwickelnden Domäne der AI-betriebenen Software program zu unterscheiden. Wenn beispielsweise eine Particular person ein QS -Device mit einem hochgeladenen PDF -Dokument erstellt, werden viele andere bald dasselbe tun. Schließlich sogar OpenAI könnte diese Funktion integrieren direkt in ihren Chat (wie sie es bereits getan haben). Solche Produkte stützen sich auf einfache Techniken, die vorhandenen Modellen mithilfe von jedem schnell replizieren können. Wenn das einzigartige Wertversprechen Ihres Produkts in der fortschrittlichen KI -Technologie hängt, die leicht kopiert werden kann, sind Sie in einer riskanten Place.
Hohe Kosten
Große Sprachmodelle (LLMs) sind vielseitig, aber kostspielig. Sie sind für eine breite Palette von Aufgaben ausgelegt, aber diese Vielseitigkeit macht sie zu groß und komplex und erhöht die Betriebskosten. Nehmen wir an: Nehmen wir an: Benutzer laden 10 Dokumente professional Tag mit jeweils 10 Seiten (durchschnittlich 500 Wörter professional Seite) hoch, und die Zusammenfassung beträgt 1 Seite. Die Verwendung von GPT-4 32K-Modellen zum Zusammenfassen dieses Inhalts würde etwa 143,64 USD professional Benutzer und Monat kosten. Dies beinhaltet 119,70 US -Greenback für die Verarbeitung von Enter -Token und 23,94 USD für die Generierung von Ausgangs -Token, wobei die Token -Preise bei 0,06 USD professional 1.000 Eingangs -Token und 0,12 USD professional 1.000 Ausgangs -Tokens. In den meisten Fällen ist kein im gesamter Web geschultes Modell erforderlich, da eine solche Lösung in der Regel ineffizient und kostspielig ist.
Leistungsprobleme
LLMs sind im Vergleich zu regulären Algorithmen größtenteils langsam. Der Punkt ist, dass sie huge Rechenressourcen benötigen, um Textual content zu verarbeiten und zu generieren, die Milliarden von Parametern und komplexe transformatorbasierte Architekturen umfassen.
Während eine langsamere Modellleistung für einige Anwendungen möglicherweise akzeptabel ist, z. B. Chat, bei dem Antworten von Phrase gelesen werden, ist dies für automatisierte Prozesse problematisch, bei denen die vollständige Ausgabe vor dem nächsten Schritt benötigt wird. Eine Antwort von einem LLM kann einige Minuten dauern, was für viele Anwendungen nicht rentabel ist.
Begrenzte Anpassung
LLMs bieten begrenzte Anpassungen. Feinabstimmung kann helfen, aber es ist oft unzureichend, kostspielig und zeitaufwändig. Zum Beispiel kann die Feinabstimmung eines Modells, das Behandlungspläne für Patienten basierend auf Daten vorschlägt, zu langsamen, teuren und schlechten Ergebnissen führen.
Die Lösung – Erstellen Sie Ihre eigene Werkzeugkette
Wenn Sie sich den oben genannten Problemen stellen, benötigen Sie wahrscheinlich einen anderen Ansatz. Erstellen Sie Ihre eigene Werkzeugkette, indem Sie einen fein abgestimmten LLM mit anderen Technologien und einem benutzerdefinierten Modell kombinieren. Dies ist nicht so schwer, wie es klingen magazine – mäßig erfahrene Entwickler können jetzt ihre eigenen Modelle schulen.
Vorteile einer benutzerdefinierten Werkzeugkette:
- Spezialisierte Modelle, die für bestimmte Aufgaben erstellt wurden, sind Schneller und zuverlässiger
- Benutzerdefinierte Modelle, die auf Ihre Anwendungsfälle zugeschnitten sind billiger rennen
- Einzigartig Die Technologie erschwert es den Wettbewerbern, Ihr Produkt zu kopieren
Die meisten fortschrittlichen KI -Produkte verwenden einen ähnlichen Ansatz, indem sie Lösungen in viele kleine Modelle unterteilen, die jeweils etwas Spezifisches tun können. Ein Modell beschreibt die Konturen eines Bildes, ein anderes erkennt Objekte, ein dritter klassifiziert Elemente und ein viertes Schätzungswerte unter anderem. Diese kleinen Modelle sind in benutzerdefinierten Code integriert, um eine umfassende Lösung zu erstellen. Im Wesentlichen ist jedes intelligente KI -Modell eine Kette kleiner, die jeweils spezielle Aufgaben ausführen, die zur Gesamtfunktionalität beitragen.
Selbstfahrende Autos verwenden beispielsweise kein riesiges Supermodell, das alle Eingaben nimmt und eine Lösung bietet. Stattdessen verwenden sie eine Werkzeugkette spezialisierter Modelle anstelle eines riesigen KI -Gehirns. Diese Modelle behandeln Aufgaben wie Pc Imaginative and prescient, prädiktive Entscheidungsfindung und Verarbeitung natürlicher Sprache, kombiniert mit Standardcode und Logik.
Ein praktisches Beispiel
Um den modularen Ansatz in einem anderen Kontext zu veranschaulichen, berücksichtigen Sie die Aufgabe der automatisierten Dokumentverarbeitung. Angenommen, wir möchten ein System erstellen, das relevante Informationen aus Dokumenten extrahieren kann (z. B. jedes Dokument kann verschiedene Informationen enthalten: Rechnungen, Verträge, Einnahmen).
Schritt-für-Schritt-Aufschlüsselung:
- Eingabeklassifizierung. Ein Modell zur Bestimmung der Artwork des Dokuments/der Stücke. Basierend auf der Klassifizierung wird die Eingabe in verschiedene Verarbeitungsmodule weitergeleitet.
- Spezifische Löser:
- Geben Sie eine Eingabe ein (z. B. Rechnungen): Regelmäßige Löser erledigen unkomplizierte Aufgaben wie das Lesen von Textual content mit OCR (optische Zeichenerkennung), Formeln usw.
- Typ B -Eingabe (z. B. Verträge): KI-basierte Löser für komplexere Aufgaben, wie das Verständnis der juristischen Sprache und das Extrahieren von Schlüsselklauseln.
- Typ C -Eingabe (z. B. Quittungen): Dienstdienste von Drittanbietern für spezielle Aufgaben wie Währungsumwandlung und Steuerberechnung.
- Aggregation. Die Ausgänge dieser speziellen Löser werden aggregiert, um sicherzustellen, dass alle erforderlichen Informationen gesammelt werden.
- LLM -Integration. Schließlich kann ein LLM verwendet werden, um die aggregierten Daten zusammenzufassen und zu polieren, was eine kohärente und umfassende Reaktion liefert.
- Ausgabe. Das System gibt die verarbeiteten und raffinierten Informationen an den Benutzer, Ihren Code oder einen Dienst aus.
Dieser modulare Ansatz stellt, wie im Flussdiagramm dargestellt, sicher, dass jede Komponente des Issues mit der am besten geeigneten und effizienten Methode behandelt wird. Es kombiniert regelmäßige Programmierung, spezialisierte KI-Modelle und Dienste von Drittanbietern, um eine robuste, schnelle und kostengünstige Lösung zu erbringen. Darüber hinaus können Sie während der Konstruktion einer solchen App auch AI-Instruments von Drittanbietern verwenden. In dieser Methodik verarbeiten diese Instruments jedoch weniger, da sie so angepasst werden können, dass sie unterschiedliche Aufgaben erledigen. Daher sind sie nicht nur schneller, sondern auch kostengünstiger im Vergleich zum Umgang mit der gesamten Arbeitsbelastung.
Wie man anfängt
Beginnen Sie mit einer Nicht-AI-Lösung
Beginnen Sie mit der Erforschung des Problemraums mit normalen Programmierpraktiken. Identifizieren Sie Bereiche, in denen spezielle Modelle benötigt werden. Vermeiden Sie die Versuchung, alles mit einem Supermodel zu lösen, was komplex und ineffizient ist.
Machbarkeit der Testen mit KI
Verwenden Sie allgemeine LLM- und Drittanbieterdienste, um die Machbarkeit Ihrer Lösung zu testen. Wenn es funktioniert, ist es ein großartiges Zeichen. Diese Lösung ist jedoch wahrscheinlich eine kurzfristige Wahl. Sie müssen seine Entwicklung fortsetzen, sobald Sie eine erhebliche Skalierung beginnen.
Schicht für Schicht entwickeln
Teilen Sie das Drawback in überschaubare Stücke auf. Versuchen Sie beispielsweise, Probleme mit Standardalgorithmen zu lösen. Erst wenn wir die Grenzen der normalen Codierung erreichen, haben wir KI -Modelle für einige Aufgaben wie die Objekterkennung eingeführt.
Nutzen Sie vorhandene Instruments
Verwenden Sie Instruments wie Azure AI Imaginative and prescient, um Modelle für gemeinsame Aufgaben zu trainieren. Diese Dienstleistungen sind seit vielen Jahren auf dem Markt und sind ziemlich einfach zu übernehmen.
Kontinuierliche Verbesserung
Der Besitz Ihrer Modelle ermöglicht eine ständige Verbesserung. Wenn neue Daten nicht intestine verarbeitet werden, hilft Ihnen das Benutzerfeedback Ihnen, die Modelle täglich zu verfeinern und sicherzustellen, dass Sie wettbewerbsfähig bleiben und hohe Requirements und Markttrends erfüllen. Dieser iterative Prozess ermöglicht eine kontinuierliche Verbesserung der Leistung des Modells. Wenn Sie ständig bewertet und anpassen, können Sie Ihre Modelle fein stimmen, um die Anforderungen Ihrer Anwendung besser zu erfüllen
Schlussfolgerungen
Generative KI -Modelle bieten großartige Möglichkeiten für die Softwareentwicklung. Der traditionelle Wrapper -Ansatz für solche Modelle weist jedoch zahlreiche solide Nachteile auf, wie z. B. mangelnde Differenzierung, hohe Kosten, Leistungsprobleme und begrenzte Anpassungsmöglichkeiten. Um diese Probleme zu vermeiden, empfehlen wir Ihnen, Ihre eigene KI -Werkzeugkette zu erstellen.
Um eine solche Kette zu bauen, die als Grundlage für ein erfolgreiches KI -Produkt dient, minimieren Sie die Verwendung von KI in den frühen Stadien. Identifizieren Sie spezifische Probleme, die die normale Codierung nicht intestine lösen kann, und verwenden Sie dann selektiv AI -Modelle. Dieser Ansatz führt zu schnellen, zuverlässigen und kostengünstigen Lösungen. Durch den Besitz Ihrer Modelle behalten Sie die Kontrolle über die Lösung und setzen den Weg zu seiner kontinuierlichen Verbesserung frei, um sicherzustellen, dass Ihr Produkt einzigartig und wertvoll bleibt.
Der Beitrag Einführung von KI in Softwareprodukte: Häufige Herausforderungen und Lösungen für sie erschien zuerst auf DataFloq.