in der amerikanischen Kultur ist Folgendes:

„Du kannst nicht deinen Kuchen haben und ihn auch essen.“

Ich finde diesen Satz äußerst poetisch, aber auch sehr praktisch und nützlich. Die Botschaft dieses Sprichworts ist klar: Alles, was Sie erreichen, wird durch einen Kompromiss erreicht, denn alles hat seinen Preis.

Die philosophische Diskussion würde den Rahmen dieses Artikels sprengen, aber die praktischen Konsequenzen dieser Überlegungen stimmen weitgehend mit der Datenwissenschaft und Softwareentwicklung im Allgemeinen überein. Lass es mich erklären.

In der Softwareentwicklung und Datenwissenschaft gibt es kein „perfektes Design“ an sich. Derselbe Algorithmus, der für eine bestimmte Anwendung fantastisch ist, versagt bei anderen kläglich.

Denken Sie an die Kompromisse zwischen Berechnung und Speicher in den folgenden Fällen:

Es macht sehr viel Sinn, die Entfernung zwischen zwei Städten vorab zu berechnen und in einem Datensatz zu speichern, aber es macht keinen Sinn, sie während des Fluges zu berechnen. Dies liegt daran, dass Sie davon ausgehen, dass der Datensatz einigermaßen wartungsarm ist (Städte bewegen sich nicht einfach so oft) und es dumm wäre, die Entfernung zwischen New York und San Francisco jeden Bruchteil einer Sekunde zu berechnen. (Fall A)

Allerdings wäre es für einen Chatbot ebenso dumm (und wahrscheinlich unmöglich), sich alle möglichen Fragen zu merken, die ein Mensch stellen kann, und die Antwort auf diese Frage zu finden, wann immer sie gestellt wird. Dies liegt daran, dass das Drawback viel dynamischer ist und eine Berechnung „im laufenden Betrieb“ erfordert. (Fall B)

Im Fall A opfern wir Speicher und erhalten extrem schnelle Berechnungen. In Fall B verbringen wir mehr Rechenzeit, verwenden aber keinen „Abfrage“-Speicher.

Können Sie keine Rechenzeit und kein Gedächtnis bekommen? Nicht wirklich, denn du kannst deinen Kuchen nicht haben und ihn auch essen

---

Aber nehmen wir ein weniger offensichtliches und „trendigeres“ Beispiel. Lassen Sie uns über Massive Language Fashions (LLMs) sprechen.

LLMs sind die leistungsstärksten KI-Modelle, die wir haben, und sie basieren auf dem gesamten weltweit verfügbaren Wissen. Das sind sie auch massiv. Sie sind tatsächlich so groß, dass wir sie selten intern haben und sie normalerweise über APIs aufrufen. Allerdings gilt: API-Aufruf = Token = Kosten.

Stellen Sie sich nun vor, Sie möchten mithilfe eines intelligenten Methods das beste Restaurant für heute Abend auswählen. Sie würden ChatGPT etwa fragen: „Können Sie mir ein gutes italienisches Restaurant anbieten, das nicht superteuer, aber romantisch und in einer guten Lage ist?“

Stellen Sie sich nun vor, das GPT-Modell müsste alle Eating places im Universum erkunden und entscheiden, ob sie italienisch, nicht teuer, an einem guten Standort und in der Nähe Ihres Zuhauses sind. Im besten Fall würden Sie Millionen in Token ausgeben und wären zum Zeitpunkt der Berechnung bereits im Bett.

Allerdings wollen wir auch nicht ganz auf die ganze saftige, natürlichsprachliche Interpretations- und Informationsbeschaffungsfähigkeit der LLMs verzichten. Der Schlüssel liegt darin, dass wir, um das LLM zu nutzen und intelligente Informationen zu erhalten, nicht ständig den intelligentesten Teil der Pipeline nutzen können (das wäre so, als ob wir Ihren Kuchen hätten und ihn auch essen würden).

In diesem Artikel werde ich Ihnen ein Rezept für diese intelligenten, durch LLM verbesserten Empfehlungssysteme geben, wobei ich das Beispiel einer Restaurantempfehlung als Anwendungsfall verwende.

Die Eingabe dieses Methods ist die Beschreibung des Benutzers seines idealen Eating places in einer bestimmten Stadt und die Ausgabe ist eine Reihe empfohlener Eating places.

Fangen wir an!

1. Systemdesign

Der Kuchenspruch, den wir besprochen haben, ist in der Technik auch als Genauigkeit-Skalen-Zeit-Dreieck bekannt:

1. Sie können anhand eines riesigen Datensatzes etwas Genaues machen, aber es wird langsam sein
2. Sie können etwas Genaues und Schnelles erstellen, aber es lässt sich nicht intestine auf einen großen Datensatz skalieren
3. Man kann etwas schnell machen und intestine skalieren, aber es wird nicht so genau sein.

Natürlich möchten wir, dass unsere Ergebnisse letztendlich genau sind, daher reicht Choice 3 allein nicht aus. Allerdings können wir Choice 3 mit einem genaueren Modell zusätzlich zum ersten verfeinern. Mit anderen Worten: Choice 3 kann uns mit wenig Rechenzeit eine gute Kandidatenliste liefern und wir können mithilfe eines großen Sprachmodells die genaueste Empfehlungsliste auswählen.

Mit anderen Worten, das Design sieht so aus:

1. Eine schnelle und einfache Suche findet die High-Okay-Eating places in der Nähe (regelbasiert, hohe Erinnerung, niedrige Präzision)
2. Ein langsames, sehr intelligentes Massive-Language-Modell wird uns dabei helfen, basierend auf der Abfrage unter den besten Okay die besten auszuwählen. (KI-basiert, hohe Präzision)

Auf diese Weise verschwenden wir keine Zeit und kein Geld mit dem langsamen LLM, profitieren aber dennoch von deren Intelligenz, indem wir sie auf einer ausgewählten Kandidatenliste einsetzen.

Genug gejault. Beginnen wir mit dem Codieren!

2. Das Drehbuch

2.1 Das Setup

Ich habe die Drecksarbeit hinter den Kulissen für Sie erledigt

Alles ist in objektorientierter Programmierung (OOP) geschrieben, mit Skripten und einer Pipeline, die den gesamten Prozess übernimmt. Der GitHub-Ordner ist Dieses hierund um den Relaxation des Codes zu generieren, können Sie ihn klonen und diesen Importblock hier verwenden:

2.2 Datengenerierung

Bevor wir etwas empfehlen können, brauchen wir etwas, das wir empfehlen können. In einem realen System würden wir eine Restaurantdatenbank an einem S3-Standort verwenden. Für diesen Artikel generieren wir eine synthetische Model, damit das Ganze vollständig reproduzierbar und frei lauffähig ist.

Dies ist die Aufgabe des RestaurantDataGenerator Klasse drinnen datagenerator.py. Es erstellt eine reproduzierbare Tabelle von ~10.000 Eating places verteilt auf acht Städte (New York, San Francisco, Chicago, Austin, Seattle, Boston, Miami und Denver). Jedes Restaurant erhält:

– ein zufällig zusammengestelltes Title

– A Stadt und a Breiten-/Längengrad rund um das Stadtzentrum dieser Stadt beprobt (innerhalb von ca. 13 km),

– A Küchenstil (Italienisch, Japanisch, Mexikanisch, Thailändisch, Französisch, …),

– A diätetisch Profil (Allesfresser/Vegetarier/Veganer)

– ein durchschnittliche Punktzahl

– A Anzahl der Stimmen

– A Preisklasse (10 / 100 / 1000, ein durchschnittliches Ticket professional Individual in der Größenordnung).

Dieser Generator soll laufen einmal. Das Generieren der Daten ist so einfach wie:

Dieser einzelne Aufruf schreibt in die Tabelle knowledge/eating places.csvdas sieht so aus:

Perfekt, da wir nun unsere Eating places haben, wollen wir mal sehen, wie wir sie empfehlen können.

2.3 Generierung der Kandidaten

Das ist Stufe 1 des Trichters: die günstige, schnelle, regelbasierte Kandidatenliste. Der Benutzer teilt uns mit, in welcher Stadt er sich befindet, und wir behalten nur die geografisch nächstgelegenen Eating places. Der Code filtert die Tabelle nach der Stadt, berechnet die Großkreisentfernung vom Benutzer zu jedem Restaurant und identifiziert die N_DISTANCE_CANDIDATES (Standardmäßig 50).

Diese Section ist bewusst hoher Rückruf, geringe Präzision. Mit diesem Ansatz können wir den gesamten Tisch (10.000 Eating places) ohne einen einzigen API-Aufruf und ohne Token-Kosten abdecken. Natürlich machen wir hier nichts besonders Schlaues oder Ausgefallenes, aber wir filtern tatsächlich alle Daten, die für den Benutzer nicht in Frage kommen. Das allein ist eine große Sache.

Versuchen wir zum Beispiel eine echte Anfrage an die Suche:

„günstige vegane Tacos mit lebhafter Atmosphäre“ in mehreren Städten

Dies ist die Ausgabe:

Beachten Sie, dass die Auswahlliste unten keine Ahnung von „vegan“, „billig“ oder „Tacos“ hat: Sie kennt nur die Entfernung. Dies ist jedoch in Ordnung, da das Ziel dieser Section darin besteht, einen Ausgangspunkt in der richtigen Stadt zu schaffen, den der LLM in Section 2 neu einstufen wird.

Machen wir uns bereit für das LLM!

2.4 Auswahl der Kandidaten

Das ist Stufe 2das langsame, intelligente, LLM-gesteuerte, hochpräzise Ende des Trichters. Dies baut direkt auf der 50-Restaurant-Shortlist von 2.3 auf. Der LLM sieht nie die vollständige Tabelle mit 10.000 Zeilen. Es sieht immer nur den kleinen, bereits relevanten Ausschnitt, den ihm der Distanzfilter übergeben hat.

Wir kommunizieren mit dem Modell über einen kleinen OpenAI-Consumer. Der Schlüssel wird ausgelesen OPENAI_API_KEY (in der Umgebung gespeichert). Der Empfehlungsgeber, definiert als RestaurantRecommenderläuft auf der Abfrage und auf der Stadt durch RestaurantRecommender.recommender(question,metropolis):

Ein paar Dinge sind erwähnenswert:

• Die Präzision steigt. Stufe 1 struggle ein hoher Rückruf, eine geringe Präzision: Es wurden unabhängig von der Anfrage die 50 nächstgelegenen Eating places zurückgegeben. Stufe 2 liest tatsächlich die Abfrage (günstige vegane Tacos mit lebhafter Atmosphäre), verwirft alles, was nicht passt, und gibt nur die besten 5 bis 10 mit einem ehrlichen Wert zurück fit_score.

• Strukturierte Ausgabe mit Pydantic. Wir analysieren niemals Freiformtext. Das Modell wird gezwungen, in Kind eines Pydantic-Modells zu antworten (über strukturierte OpenAI-Ausgaben), sodass garantiert ist, dass jede Antwort mit dem Schema übereinstimmt.

Das Ausgabeschema trägt die restaurant_id Und title (von den Kandidaten), a fit_scoreWert zwischen 0 und 100 und ein Kurzschluss cause. Die Antwort wird ebenfalls mit einem freundlichen Abschluss versehen abstract. Die Durchführung des Aufrufs für unsere drei Städte ergibt zum Beispiel:

Wie Sie bemerken, ist dies viel besser als die reinen Distanz-Shortlists von 2.3. Dort struggle das nächstgelegene Restaurant in jeder Stadt eine im Wesentlichen zufällige Übereinstimmung (koreanisch, libanesisch, mexikanisch, aber vegetarisch). Hier hat das Modell das nachbestellt Dasselbe 50 Kandidaten rund um das, wonach wir eigentlich gefragt haben: vegane und mexikanische Lokale schweben mit Hoch an der Spitzefit_scoresund das Modell ist ehrlich, wenn nichts perfekt passt, indem es Teilübereinstimmungen notiert und erklärt, warum cause. Das ist die Präzision, die uns das LLM bietet, angewendet auf eine Auswahlliste, die klein genug ist, um im großen Maßstab günstig zu bleiben.

3. Ergebnisse

Gehen wir einen Schritt zurück und schauen wir uns an, was uns der zweistufige Trichter tatsächlich gebracht hat, indem wir dieselbe Anfrage in drei Städten verwenden: „günstige vegane Tacos mit lebhafter Atmosphäre“.

• Stufe 1 liefert uns die Liste der Kandidaten. Die Distanz-Shortlists von 2.3 waren konstruktionsbedingt mit hoher Erinnerung und geringer Präzision ausgestattet.
• Stufe 2 identifiziert die tatsächlichen Empfehlungen. Indem wir die 50 Kandidaten von Stufe 1 bis zum LLM weiterleiten, werden sie entsprechend den tatsächlich gestellten Fragen neu angeordnet.

Hier sind die endgültigen Empfehlungen, die das Modell für jede Stadt abgegeben hat:

• New York: Goldener Löffel (vegan, 4,9) und Maison Fork (Mexikaner, im Funds) steigen mit Fitnesswerten von 90 und 85 an die Spitze auf.
• Miami: Royal Tavern & Co. (vegan, mexikanisch, erschwinglich) führt mit 85.
• Boston: Urbaner Löffel Und Kleines Hausbeide preisgünstige mexikanische Plätze, belegen mit 90 und 85 die ersten beiden Plätze.

In jeder Stadt bewarb das Modell die Kandidaten, die zu den veganen, billigen und mexikanisch/tacostypischen Vorstellungen passten, und struggle ehrlich, wenn es um unvollkommene Übereinstimmungen ging: Orte, die der Ernährung, aber nicht der Küche (oder umgekehrt) entsprachen, wurden als Backup mit sichtbar niedrigeren Werten behalten fit_scores.

4. Schlussfolgerungen

Danke, dass du Zeit mit mir verbringst, das bedeutet mir sehr viel. Das haben wir gemeinsam gemacht:

– Einen zweistufigen Empfehlungstrichter entwickelt, der sowohl skalierbar als auch clever ist.

– Verwendet einen günstigen, regelbasierten Distanzfilter (Stufe 1), um 10.000 Eating places auf die nächsten 50 zu reduzieren.

– Durch eine LLM-Neueinstufung (Stufe 2) wurden diese 50 Kandidaten zu den besten 5 bis 10 gemacht, mit einer ehrlichen Bewertung und Begründung für jeden.

In vielen realen Projekten erfreut sich ein Trichter wie der hier gebaute meist großer Beliebtheit. Solche Systeme sind sehr skalierbar, da das LLM sinnvoll eingesetzt wird, und clever, da wir Modelle verwenden, die den Kontext sehr effizient verstehen können.

7. Bevor Sie losfahren!

Nochmals vielen Dank für Ihre Zeit. Es bedeutet viel. Mein Title ist Piero Paialunga und ich bin dieser Typ hier:

Ich komme ursprünglich aus Italien und habe einen Doktortitel. aus dem Universität von Cincinnatiund arbeite als Datenwissenschaftler bei The Commerce Desk in New York Metropolis. Ich schreibe darüber KI, maschinelles Lernen und die sich entwickelnde Rolle von Datenwissenschaftlern sowohl hier auf TDS als auch auf LinkedIn. Wenn Ihnen der Artikel gefallen hat und Sie mehr über maschinelles Lernen erfahren und meine Studien verfolgen möchten, können Sie:

A. Folge mir weiter Linkedinwo ich alle meine Geschichten veröffentliche
B. Folge mir weiter GitHubwo Sie meinen gesamten Code sehen können
C. Bei Fragen können Sie mir eine E-Mail senden an piero.paialunga@hotmail

Die meisten Sprachen nutzen Wortposition und Satzstruktur, um Bedeutung zu extrahieren. Beispielsweise ist „Die Katze saß auf der Kiste“ nicht dasselbe wie „Die Kiste stand auf der Katze.“ Im Laufe eines langen Textes, etwa eines Finanzdokuments oder eines Romans, entwickelt sich die Syntax dieser Wörter wahrscheinlich weiter.

Ebenso könnte eine Particular person Variablen in einem Codeabschnitt verfolgen oder Anweisungen befolgen, die bedingte Aktionen beinhalten. Dies sind Beispiele für Zustandsänderungen und sequentielles Denken, bei denen wir erwarten, dass hochmoderne Systeme der künstlichen Intelligenz hervorragende Leistungen erbringen. Der bestehende, hochmoderne Aufmerksamkeitsmechanismus innerhalb von Transformatoren – die primäre Architektur, die in großen Sprachmodellen (LLMs) zur Bestimmung der Bedeutung von Wörtern verwendet wird – weist jedoch theoretische und empirische Einschränkungen auf, wenn es um solche Fähigkeiten geht.

Ein Aufmerksamkeitsmechanismus ermöglicht es einem LLM, auf frühere Teile einer Abfrage oder eines Dokuments zurückzublicken und anhand seines Trainings zu bestimmen, welche Particulars und Wörter am wichtigsten sind; Dieser Mechanismus allein versteht jedoch die Wortreihenfolge nicht. Es „sieht“ alle eingegebenen Wörter, auch Token genannt, gleichzeitig und verarbeitet sie in der Reihenfolge, in der sie angezeigt werden. Daher haben Forscher Techniken zur Kodierung von Positionsinformationen entwickelt. Dies ist von entscheidender Bedeutung für stark strukturierte Domänen wie die Sprache. Die vorherrschende Methode zur Positionskodierung, die so genannte Rotary Place Encoding (RoPE), berücksichtigt jedoch nur den relativen Abstand zwischen Token in einer Sequenz und ist unabhängig von den Eingabedaten. Das bedeutet, dass beispielsweise Wörter, die vier Positionen voneinander entfernt sind, wie „Katze“ und „Field“ im obigen Beispiel, alle dieselbe feste mathematische Drehung erhalten, die für diesen relativen Abstand spezifisch ist.

Nun hat eine vom MIT und dem MIT-IBM Watson AI Lab geleitete Forschung eine Codierungstechnik namens „PaTH Consideration“ hervorgebracht, die Positionsinformationen adaptiv und kontextbewusst macht und nicht statisch, wie bei RoPE.

„Transformatoren ermöglichen eine genaue und skalierbare Modellierung vieler Bereiche, weisen jedoch diese Einschränkungen gegenüber der Zustandsverfolgung auf, einer Klasse von Phänomenen, von denen angenommen wird, dass sie den wichtigen Fähigkeiten zugrunde liegen, die wir in unseren KI-Systemen wünschen. Die wichtige Frage lautet additionally: Wie können wir die Skalierbarkeit und Effizienz von Transformatoren aufrechterhalten und gleichzeitig die Zustandsverfolgung ermöglichen?“ sagt der leitende Autor des Papiers, Yoon Kim, außerordentlicher Professor am Division of Electrical Engineering and Laptop Science (EECS), Mitglied des Laptop Science and Synthetic Intelligence Laboratory (CSAIL) und Forscher am MIT-IBM Watson AI Lab.

Ein neues Papier zu dieser Arbeit wurde Anfang dieses Monats auf der Convention on Neural Info Processing Methods (NeurIPS) vorgestellt. Zu Kims Co-Autoren gehören der Hauptautor Songlin Yang, ein EECS-Doktorand und ehemaliger Praktikant des MIT-IBM Watson AI Lab Summer season Program; Kaiyue Wen von der Stanford College; Liliang Ren von Microsoft; und Yikang Shen, Shawn Tan, Mayank Mishra und Rameswar Panda von IBM Analysis und dem MIT-IBM Watson AI Lab.

Weg zum Verständnis

Anstatt jedem Wort eine feste Rotation basierend auf dem relativen Abstand zwischen Token zuzuweisen, wie es RoPE tut, ist PaTH Consideration flexibel und behandelt die dazwischen liegenden Wörter als einen Pfad, der aus kleinen, datenabhängigen Transformationen besteht. Jede Transformation, die auf einer mathematischen Operation namens Householder-Reflexion basiert, wirkt wie ein kleiner Spiegel, der sich abhängig vom Inhalt jedes übergebenen Tokens anpasst. Jeder Schritt in einer Sequenz kann Einfluss darauf haben, wie das Modell Informationen später interpretiert. Durch den kumulativen Effekt kann das System modellieren, wie sich die Bedeutung entlang des Pfads zwischen Wörtern ändert, und nicht nur, wie weit sie voneinander entfernt sind. Dieser Ansatz ermöglicht es Transformatoren, zu verfolgen, wie sich Entitäten und Beziehungen im Laufe der Zeit ändern, und vermittelt so ein Gefühl des „Positionsgedächtnisses“. Stellen Sie sich das so vor, als würden Sie einen Weg gehen, während Sie Ihre Umgebung und deren Auswirkungen auf Sie erleben. Darüber hinaus entwickelte das Crew auch einen hardwareeffizienten Algorithmus zur effizienteren Berechnung der Aufmerksamkeitswerte zwischen jedem Token-Paar, sodass die kumulative mathematische Transformation von PaTH Consideration komprimiert und in kleinere Berechnungen zerlegt wird, sodass sie mit der schnellen Verarbeitung auf GPUs kompatibel ist.

Anschließend untersuchten die MIT-IBM-Forscher die Leistung von PaTH Consideration bei synthetischen und realen Aufgaben, einschließlich Argumentation, Langkontext-Benchmarks und vollständigem LLM-Coaching, um zu sehen, ob es die Fähigkeit eines Modells, Informationen im Laufe der Zeit zu verfolgen, verbessert. Das Crew testete seine Fähigkeit, dem letzten „Schreib“-Befehl trotz vieler ablenkender Schritte und mehrstufiger Erinnerungstests zu folgen, Aufgaben, die für Customary-Positionskodierungsmethoden wie RoPE schwierig sind. Die Forscher trainierten auch mittelgroße LLMs und verglichen sie mit anderen Methoden. PaTH Consideration verbesserte die Ratlosigkeit und übertraf andere Methoden bei Argumentations-Benchmarks, auf die es nicht trainiert wurde. Sie bewerteten auch den Abruf, die Argumentation und die Stabilität bei Eingaben von Zehntausenden von Token. PaTH Consideration hat sich durchweg als inhaltsbewusst erwiesen.

„Wir haben festgestellt, dass unser neuer Ansatz sowohl bei Diagnoseaufgaben, die darauf abzielen, die Grenzen von Transformatoren zu testen, als auch bei Sprachmodellierungsaufgaben in der realen Welt in der Lage conflict, bestehende Aufmerksamkeitsmechanismen zu übertreffen und gleichzeitig ihre Effizienz beizubehalten“, sagt Kim. Außerdem: „Ich wäre gespannt, ob diese Arten von datenabhängigen Positionskodierungen wie PATH die Leistung von Transformatoren in strukturierten Bereichen wie der Biologie, bei der (Analyse) von Proteinen oder DNA verbessern.“

Größer und effizienter denken

Anschließend untersuchten die Forscher, wie sich der PaTH-Aufmerksamkeitsmechanismus verhalten würde, wenn er die menschliche Kognition ähnlicher nachahmen würde, bei der wir alte oder weniger relevante Informationen bei der Entscheidungsfindung ignorieren. Dazu kombinierten sie PaTH Consideration mit einem anderen Positionskodierungsschema namens Forgetting Transformer (FoX), das es Modellen ermöglicht, selektiv zu „vergessen“. Das resultierende PaTH-FoX-System bietet eine Möglichkeit, Informationen auf datenabhängige Weise zu gewichten und so starke Ergebnisse in den Bereichen Argumentation, Langkontextverständnis und Sprachmodellierungs-Benchmarks zu erzielen. Auf diese Weise erweitert PaTH Consideration die Ausdruckskraft von Transformatorarchitekturen.

Kim sagt, Forschung wie diese sei Teil einer umfassenderen Anstrengung, das „nächste große Ding“ in der KI zu entwickeln. Er erklärt, dass ein wesentlicher Treiber sowohl der Deep-Studying- als auch der generativen KI-Revolution die Schaffung von „allgemeinen Bausteinen, die auf weite Bereiche angewendet werden können“, wie etwa „Faltungsschichten, RNN-Schichten (Recurrent Neural Community)“ und neuerdings auch Transformatoren, sei. Mit Blick auf die Zukunft stellt Kim fest, dass Überlegungen wie Genauigkeit, Ausdruckskraft, Flexibilität und {Hardware}-Skalierbarkeit von entscheidender Bedeutung waren und sein werden. Wie er es ausdrückt, „besteht das Kernanliegen der modernen Architekturforschung darin, diese neuen Grundelemente zu entwickeln, die die Ausdruckskraft beibehalten oder verbessern und gleichzeitig skalierbar sind.“

Diese Arbeit wurde teilweise vom MIT-IBM Watson AI Lab und dem AI2050-Programm bei Schmidt Sciences unterstützt.

Beim Entwickeln von Code müssen Sie ihn häufig testen, bevor Sie ihn in die Entwicklungs- oder Produktionsumgebung übertragen. Das Warten auf eine Bereitstellung mit GitHub-Aktionen oder CDK-Stack-Bereitstellungen mit CDK ist jedoch zeitaufwändig.

Solche zeitaufwändigen Aufgaben sind tödlich Iterationsgeschwindigkeit, Dies ist ein entscheidender Faktor, wenn Sie Code effektiv entwickeln möchten. Dies liegt daran, dass Sie Ihre Implementierungen ordnungsgemäß testen müssen, um sicherzustellen, dass sie funktionieren. Dann müssen Sie es nach jeder Änderung erneut testen.

Mit den neuesten Codierungsagenten ist die Entwicklung vollständiger lokaler Testskripte superschnell und etwas, das ich jeden Tag mache, wenn ich als Datenwissenschaftler Code schreibe.

In diesem Artikel erkläre ich Ihnen, warum Sie ein effizientes lokales Check-Setup erstellen müssen, indem Sie ein Docker-Picture ausführen und Testereignisse senden. Ich zeige auch, wie ich es selbst mache und wie es mir hilft, ein effizienterer Ingenieur zu werden.

Ich werde hauptsächlich darüber sprechen, wie man mit Infrastructure as Code (IaC) arbeitet, denn damit arbeite ich hauptsächlich im Alltag. Das Konzept der effizienten lokalen Ausführung Ihres Codes gilt jedoch für die gesamte Programmierung.

Warum Sie Code lokal ausführen müssen

Zunächst möchte ich erläutern, warum wir Code lokal ausführen müssen. Die einfache Antwort lautet:

Die Iterationsgeschwindigkeit ist einer der wichtigsten Aspekte, um funktionierenden Code effizient in die Produktion zu bringen

Je schneller Sie Ihren Code iterieren können, desto besser. Wenn Sie neue Funktionen entwickeln (oder alte Funktionen reparieren), möchten Sie schnell testen, ob sie funktionieren, und dann den Code iterativ korrigieren, bis er wie beabsichtigt funktioniert.

Wenn Sie vor dem Testen 5 bis 15 Minuten auf die Bereitstellung Ihres Codes warten müssen, liegt ein ernstes Drawback vor. Jedes Mal, wenn Sie nicht in der Lage sind, ein Drawback sofort zu lösen, verschwenden Sie 5 bis 15 Minuten damit, einfach auf die Bereitstellung zu warten.

Stattdessen sollten Sie Ihren Code lokal ausführen. Wenn Sie beispielsweise mit IaC wie AWS CDK arbeiten, können Sie Docker-Photos lokal erstellen und ausführen und so im Wesentlichen die Produktionsumgebung replizieren, jedoch auf Ihrem eigenen Laptop. Auf diese Weise wird die Iterationsschleife vereinfacht und die Zeit, die zum Erstellen des Docker-Photos und zum Ausführen des Codes benötigt wird, verkürzt.

Das Erstellen des Docker-Photos geht normalerweise sehr schnell, wenn man bedenkt, dass Docker frühere Builds zwischenspeichert. Daher verbringen Sie wahrscheinlich die meiste Zeit damit, den Code mit Testeingaben auszuführen und zu überprüfen, ob die Ausgabe wie erwartet ist.

Wenn Sie an einer Webanwendung arbeiten, sollten Sie (und tun dies wahrscheinlich auch bereits) die Anwendung lokal ausführen, bevor Sie Ihren Code bereitstellen. Bei der Arbeit mit IaC sollte es keinen Unterschied geben.

Wie man sich lokal entwickelt, als wäre es eine Produktionsumgebung

Ein wichtiger Aspekt bei der lokalen Entwicklung ist, dass Sie die Produktionsumgebung genau nachbilden können. Wenn Sie IaC schreiben, Docker-Photos erstellen und das Docker-Picture lokal ausführen:

Sie testen mit genau demselben Code und denselben Eingabepfaden, und wenn Sie Ihre .env-Datei in die .env-Produktionsdatei spiegeln, spiegeln Sie auch alle Variablen. Daher ist die lokale Ausführung von Docker-Photos der richtige Weg, wenn Sie dazu in der Lage sind.

Erstellen Sie lokale Skripte mit Codierungsagenten

Vor der Veröffentlichung von Codierungsagenten wie Cursor und Claude Code battle es normalerweise eine mühsame Aufgabe, Code einzurichten, um alles lokal auszuführen. Sie mussten das Docker-Picture korrekt erstellen, es so einstellen, dass es mit Ihrer .env-Datei ausgeführt wird usw. Oder Sie möchten Ihren Code stattdessen lokal als FastAPI-Server ausführen, was in diesem Fall zu ähnlichen Herausforderungen führen würde.

Dies ist jedoch kein Drawback mehr. Um die lokale Ausführung zu starten, gebe ich Cursor normalerweise die folgende Anweisung:

Create a shell script for me to run this code domestically. The shell script
ought to run the docker picture, and have an elective --build flag, which builds
the docker picture earlier than operating it. The docker picture ought to load setting
variables from the .env file.

Dadurch wird ein effizientes Shell-Skript erstellt, das Sie verwenden können. Ich magazine das optionale –– bauen Tag, da es manchmal zeitaufwändig ist, das Docker-Picture zu erstellen, und ich es nicht immer vor der Ausführung erstellen muss.

Außerdem ermöglichen mir die folgenden Faktoren, das Skript problemlos auszuführen:

• Ich speichere niemals tatsächliche Geheimnisse in .env. Ich speichere nur geheime Referenzen, die mein Code dann vom AWS Secrets and techniques Supervisor abruft. Somit kann ich meine Env-Datei pushen, ohne befürchten zu müssen, dass Geheimnisse preisgegeben werden. Darüber hinaus ist es dadurch auch für andere einfacher, die Skripte auszuführen, wenn sie den Code von GitHub abrufen
• Ich erstelle eine weitere Datei mit Testereignissen, in der ich Ereignisse einfach an das laufende Docker-Picture senden kann. Auf diese Weise kann ich die Ein- und Ausgabe einfach überprüfen
• Ich stelle die Testskripte auf Git bereit, damit auch alle anderen Zugriff darauf haben. Dazu gehört wie erwähnt auch die env-Datei, da diese keine Geheimnisse enthält

Jetzt haben Sie genau das Setup, das Sie benötigen, um Ihren Code lokal auszuführen und zu testen. Jedes Mal, wenn Sie Änderungen vornehmen, erstellen Sie das Docker-Picture neu und senden die Testereignisse, um sicherzustellen, dass alles wie vorgesehen funktioniert.

Ich empfehle, diese lokalen Testskripte für alle Ihre Repos einzurichten und sie zur Freigabe an Git zu übertragen. Durch den Zugriff auf diese Skripte wird Ihr gesamtes Crew als Programmierer effizienter.

Weitere Tipps zum lokalen Laufen

Ich möchte außerdem zwei zusätzliche Tipps geben, um angesichts dieser lokalen Testdateien noch effizienter zu arbeiten:

• Führen Sie das Docker-Picture mit Pre-Commit-Hooks aus und testen Sie es
• Geben Sie Ihrem Programmieragenten Zugriff auf diese Skripte

Hooks vorab festschreiben

Pre-Commit-Hooks sind Code, der vor jedem Commit an Git ausgeführt wird. Zu den typischen Pre-Commit-Hooks gehören:

• Laufen Schwarz . zum Formatieren
• Laufen mypy zur Typensicherheit
• Laufen Pytest-Exams um sicherzustellen, dass alle Exams bestanden werden

Ein Pre-Commit-Hook garantiert, dass Sie nie vergessen, solche Befehle auszuführen, bevor Sie Ihren Code übertragen. Das ist unglaublich nützlich und eine große Zeitersparnis. Es fällt mir schwer zu zählen, wie oft ich vor dem Festschreiben vergessen habe, eine schwarze Formatierung durchzuführen, und die Bereitstellungstests schlagen fünf Minuten später fehl, was mich viel Zeit kostet.

Wenn das Erstellen, Ausführen und Testen des Docker-Photos nicht besonders zeitaufwändig ist, empfehle ich, dies auch zu den Pre-Commit-Hooks hinzuzufügen. Auf diese Weise stellen Sie sicher, dass Sie vor dem Pushen von Code getestet haben, ob der Code in einer Produktionsumgebung ausgeführt wird und dass Sie für eine bestimmte Eingabe die erwartete Ausgabe erhalten. Wenn Sie dies als Pre-Commit-Hook implementieren, werden Sie in Zukunft wahrscheinlich viel Zeit sparen.

Gewähren Sie Cursor Zugriff auf Testskripts

Der zweite Tipp ist, dass ich immer Cursor- und Claude-Code-Zugriff gebe, um meine Testskripte auszuführen. Dann sage ich Cursor, dass er die Testskripte ausführen soll, nachdem Änderungen vorgenommen wurden und bevor die aktuelle Implementierung beendet wird.

Wenn Ihr Coding-Agent Docker-Photos ausführt und testet, erhöht sich die Anzahl der einmaligen Implementierungen erheblich

Dadurch sparen Sie viel Zeit, wenn Ihr Coding-Agent eine Funktion implementiert und Sie das Docker-Picture dann manuell ausführen und testen müssen. Wenn Sie nun auf einen Fehler stoßen, müssen Sie diesen in Ihren Codierungsagenten einfügen und der Zyklus wiederholt sich, bis der Code funktioniert.

Dies ist Zeitverschwendung und Sie sollten hart daran arbeiten, dies zu vermeiden. Wenn Sie Ihrem Programmieragenten Zugriff auf die Testskripts gewähren, ist das im Wesentlichen so, als würden Sie Ihrem Programmieragenten ein Werkzeug geben, das die Leistung bei Softwareentwicklungsaufgaben erheblich verbessert. Ich kann gar nicht genug betonen, wie viel Zeit ich dadurch spare.

Abschluss

In diesem Artikel habe ich erläutert, wie Sie lokal realistische Produktionsumgebungen erstellen können, indem Sie Skripts erstellen, um Docker-Photos lokal zu erstellen, auszuführen und zu testen. Dadurch wird die Iterationsgeschwindigkeit verringert, die für einen effizienten Programmierer von entscheidender Bedeutung ist. Darüber hinaus habe ich beschrieben, wie ich das in der Praxis mache: indem ich Cursor auffordere, die Testskripte zu erstellen, und einige Beispielereignisse, die ich auf dem Docker-Picture ausführen kann. Dann gebe ich Cursor und Claude Code Zugriff, um diese Skripte auszuführen, was meine Programmierung erheblich effizienter macht.

Ich glaube, dass eine schnelle Iterationsgeschwindigkeit für quick alle Softwareentwicklungsaufgaben von entscheidender Bedeutung ist und dass Sie danach streben sollten. Das Erstellen lokaler Testdateien und das Gewähren des Zugriffs Ihres Codierungsagenten auf diese erhöht die Iterationsgeschwindigkeit erheblich, weshalb ich glaube, dass es meine Produktivität als Programmierer erheblich gesteigert hat, wenn ich dies selbst getan habe.

Meine kostenlosen Ressourcen

Verzehnfachen Sie Ihr Engineering mit LLMs (kostenloser 3-tägiger E-Mail-Kurs)

Holen Sie sich mein kostenloses E-E book „Imaginative and prescient Language Fashions“.

Mein Webinar zu Imaginative and prescient Language Fashions

Finden Sie mich in den sozialen Netzwerken:

Abonnieren Sie meinen Publication

Nehmen Sie Kontakt auf

LinkedIn

X / Twitter

Medium

Im heutigen dynamischen Geschäftsumfeld kann der Ansatz eines Unternehmens zur Kundenerfahrung seine Markenwahrnehmung erheblich beeinflussen. Eine schlechte Interaktion, wie eine verpasste Lieferung oder ein nicht hilfreicher Agent, und die Beziehung erholt sich oft nicht. Branchendaten rücken: Quick 32% der Verbraucher geben nach nur einer schlechten Erfahrung eine Marke auf. Die Einsätze sind hoch, aber ist das die Realität? Die meisten Unternehmen haben immer noch Schwierigkeiten, es richtig zu machen.

Diese Lücke zwischen Absicht und Ergebnis ist größer als die meisten realisiert. Während 80% der Unternehmen der Ansicht sind, dass sie hervorragende Erfahrungen bieten, sind sich nur 8% der Kunden einig. Es ist kein Mangel an Anstrengung; Es ist ein Missverhältnis zwischen den Werkzeugen, dem Timing und dem menschlichen Verständnis, den der echte Service erfordert.

Die versteckten Kosten für die Frustration der Kunden

Stellen Sie sich das vor: Bob, ein langjähriger Kunde, bestellt eine Spülmaschine von 1.000 US -Greenback. Es ist verzögert. Aber wenn es auftaucht, ist es in einem beschädigten Zustand. Natürlich kontaktiert er Assist, nur um in die Warteschleife zu gelangen, übertragen zu werden, und forderte schließlich auf, auf eine Untersuchung zu warten. Niemand bemerkt seinen Tonfall oder die wiederholten Observe-ups. Kurz gesagt, das System fängt nicht an, dass Bob ein paar Klicks davon entfernt ist, seinen Kauf abzubrechen.

Jetzt multiplizieren das von Hunderttausenden von Kunden.

Was zu diesen Problemen führt, ist die Trennung zwischen Betriebs- und Kundendaten. Betriebssysteme wissen vielleicht, dass die Sendung spät ist, aber sie sind blind für Bobs Gefühle in Echtzeit. Assist -Transkripte, Anrufprotokolle und Chat -Nachrichten sind voller Hinweise, aber die Systeme können die Punkte nicht schnell genug an die Materie verbinden.

Und das erhöht die Kosten. Jedes Mal, wenn ein Kunde zurückruft oder eskaliert, fügt er 8 bis 15 US -Greenback professional Anruf hinzu, wobei komplexe Fälle noch mehr kosten. Jedes ungelöste Drawback frisst Vertrauen und Ränder. Im Laufe der Zeit wird es schwer zu ignorieren.

Überratene übernehmen: Wie wir GML verwenden, um die Lücke zu schließen

Bei Dentsu International Providers (DGS) haben wir einen anderen Ansatz verfolgt, um dies zu lösen. Während viele Unternehmen laufen Generative AI (Genai) Piloten in abgelegenen Taschen traten wir zurück und fragten: Was würde es brauchen, um ein System aufzubauen, das nicht nur Menschen versteht, sondern auch aus ihrem Maßstab lernt?

Das hat uns zu dem geführt, was wir jetzt generatives maschinelles Lernen oder GML bezeichnen. Es ist kein Schlagwort. Es ist das Rückgrat einer neuen Artwork, Entscheidungen zu treffen, die die Menschen an die erste Stelle bringen.

Was genau ist GML?

Stellen Sie sich das so vor. Genai ist großartig darin, Sprache zu verstehen. Es kann die Nachricht eines Kunden lesen, frustriert werden und sogar eine hilfreiche Antwort generieren. Maschinelles Lernen (ML)Andererseits zeichnet sich bei den Erspunkten und Vorhersagen von Ergebnissen auf der Grundlage früherer Verhaltens aus. Beide sind für sich genommen nützlich. Aber zusammen? Sie sind mächtig.

Mit GML kombinieren wir diese Stärken zu einem System, das kann:

• Nehmen Sie alles von Versanddaten über Chat -Transkripte auf
• Stellen Sie sich frühzeitig an, bevor ein Kunde verärgert ist
• Entscheiden Sie, welche Probleme derzeit Aufmerksamkeit benötigen
• Aktionen auslösen, die sich persönlich anfühlen, nicht roboter

Es geht darum, das richtige Objektiv zu haben, um zu sehen, was wirklich los ist, und den Muskel, schnell etwas dagegen zu tun.

Praktisch: Wie GML in der Praxis funktioniert

Es hilft zu sehen, wie sich dies in der realen Welt abspielt. So sieht ein typischer Anwendungsfall aus:

1. Erkennen Sie früh „gefährdete“ Bestellungen: Anstatt darauf zu warten, dass Kunden wie Bob sich über eine verspätete oder beschädigte Lieferung beschweren, scannt das System kontinuierlich sowohl Betriebsdaten (Sendungen, Auftragsnotizen, Logistik -Updates) und Konversationsdaten (Aufruf -Transkripte, Chat -Protokolle, IVR -Interaktionen und Agent -Notizen). Diese Weitwinkelansicht ermöglicht es, die High 10% der „problematischen“ Bestellungen zu kennzeichnen-diejenigen, die am wahrscheinlichsten eskalieren.
2. Schauen Sie über die Zahlen hinaus: Sobald GML markiert ist, greift er tiefer in die Gespräche selbst ein. Großsprachige Modelle durchsuchen Kundenbotschaften und Erkennungsrisikomarker – alles, von subtilen Anzeichen von Frustration bis hin zu expliziten Drohungen der Eskalation. Es geht darum, die Signale zu tauchen, die sonst im Geräusch verloren gehen würden.
3. Berechnung der Risikobewertung: Modelle für maschinelles Lernen verbinden diese Konversationshinweise mit operativen Signalen, um jeder Bestellung einen Risikobewertungen zuzuweisen. Das Ergebnis: Eine Rangliste, die den Agenten genau gibt, wo sie sich vor dem Snoweball konzentrieren sollen.
4. In Echtzeit handeln: Wenn Bobs Bestellung sowohl eine späte Versandflagge als auch eine frustrierte Sprache in seiner Chat -Geschichte zeigt, protokolliert das System nicht nur das Drawback – es stapft einen Assist -Agenten mit der richtigen Aktion: Vielleicht einen guten Willen -Rabatt, vielleicht einen proaktiven Ersatz. Der Punkt ist, dass Intervention vor der Eskalation geschieht.
5. Skalierung der Wirkung: Da dieser Prozess automatisiert ist, erstreckt er sich jedes Jahr über Millionen von Interaktionen. Was einst eine manuelle Triage von überarbeiteten Agenten erforderte, findet jetzt nahtlos statt und befreien Groups, ihre Energie dort auszugeben, wo sie am meisten zählt.

Was hielt die Lösung zusammen

Hinter den Kulissen machten zwei Designoptionen den Unterschied:

1. Eine einheitliche Sicht des Kunden: Anstatt Betriebsdaten und Konversationsdaten als separate Silos zu behandeln, haben wir ein Modell erstellt, das beide Seiten der Geschichte sieht. Bestellnummern und Verfolgungsdetails sagen uns was ist passiert. Transkripte und Agentennotizen zeigen wie es sich anfühlte. Im Zusammenhang erstellen sie ein weitaus genaueres Bild des Kundenrisikos.
2. Ein für Geschwindigkeitsgeschwindigkeit gebauter Entscheidungsmotor: Einblick ist nur nützlich, wenn sie schnell zu Handlungen führt. Aus diesem Grund wurde das System so konzipiert, dass das Risiko in Echtzeit in Echtzeit und durch die Oberfläche der nächsten Schritte für Agenten bewertet wurde. Anstatt das Gefühl danach zu analysieren, lernt der Motor kontinuierlich und hilft den Groups, im Second zu reagieren, wenn eine kleine Geste eine Beziehung retten kann.

Was hat sich dadurch geändert

Innerhalb weniger Wochen nach dem Reside:

• Die Zufriedenheit stieg um 22%
• Die Auflösungszeiten sanken um 80%
• Das Modell ist jährlich auf 40 Millionen Kundengespräche skaliert
• Auf der finanziellen Seite:
  • Ein Umsatz von 6 Millionen US -Greenback, der durch Vermeidung von Abwanderung eingespart wurde
  • Eine halbe Million Greenback an operativen Einsparungen durch reduzierte Anrufvolumina

Dies sind nicht nur Eitelkeitsmetriken. Sie verweisen auf ein System, das versteht, was für Kunden am wichtigsten ist, und erleichtern den Menschen das Leben leichter, ihnen zu dienen.

Echtzeitmaßnahmen ermöglichen

Die Technologie ist nur die Hälfte der Geschichte. Damit GML wirklich funktioniert, muss die Sanitärrechte richtig sein. Das bedeutet:

• Daten müssen in Echtzeit fließen
• Systeme müssen effektiv kommunizieren
• Die Antworten müssen schnell ohne Verzögerungen sein, ohne Batch -Jobs, kein Warten darauf, dass jemand auf „Ausführen“ klickt.

Wir haben gesehen, dass zu viele gute Ideen in PowerPoint stecken bleiben, weil die Infrastruktur nicht fertig warfare. GML fordert die Bereitschaft auf der ganzen Linie, insbesondere wenn das Ziel darin besteht, einzugreifen, bevor die Beschwerde stattfindet, nicht danach.

Warum GML nicht nur um KI geht, es geht auch um Absicht

Wir stellen GML nicht als Silberkugel. Es ist eine Verschiebung, wie wir über Service denken. Anstatt zu analysieren, was nach der Tatsache schief gelaufen ist, bauen wir Systeme auf, die Probleme vorhersehen, und geben den Groups die Instruments, um sie zu beheben, während noch Zeit ist, es richtig zu machen.

Es ist skalierbar. Es lernt, wie es geht. Und vor allem hilft es uns, Kunden weniger wie Assist -Tickets als auch eher wie Menschen mit Geschichten, Frustrationen und Erwartungen zu behandeln.

Dieser Artikel wurde mit Beiträgen von entwickelt Pavak BiswalSenior Supervisor bei Dentsu International Providers.

Häufig gestellte Fragen