Bild vom Herausgeber

# Einführung

LangChaineines der heute führenden Frameworks für die Erstellung und Orchestrierung von Anwendungen der künstlichen Intelligenz (KI), die auf großen Sprachmodellen (LLMs) und Agent Engineering basieren, hat kürzlich das veröffentlicht Bericht zum Stand der Agententechnikin dem 1.300 Fachleute mit unterschiedlichen Rollen und Geschäftshintergrund befragt wurden, um den aktuellen Stand dieses bemerkenswerten KI-Tendencies aufzudecken.

In diesem Artikel werden einige der wichtigsten Tipps und Erkenntnisse aus dem Bericht ausgewählt und in einem für ein breiteres Publikum zugänglichen Ton erläutert, wobei einige der wichtigsten Begriffe und Fachjargon im Zusammenhang mit KI-Agenten aufgedeckt werden. Weitere Informationen zu den Schlüsselkonzepten hinter KI-Agenten finden Sie auch in diesen verwandten Artikel.

Bevor wir uns auf die Fakten, Zahlen und unterstützenden Beweise für jede unserer drei wichtigsten Erkenntnisse konzentrieren, stellen wir einige wichtige Begriffe und Definitionen vor, die Sie kennen sollten, kurz erklärt:

# Große Unternehmen übertreffen Startups in der Produktion

Die wichtigsten Konzepte, die Sie kennen sollten:

• Agent: Ein KI-System, das im Gegensatz zu Commonplace-Chat-basierten Anwendungen, die reaktiv auf Benutzerinteraktionen reagieren, in der Lage ist, selbstständig Entscheidungen zu treffen und Maßnahmen zu ergreifen. Im heute am häufigsten genutzten Kontext nutzen Agenten ein LLM als ihr „Gehirn“, das sie bei der Entscheidungsfindung darüber unterstützt, welche Schritte sie als Nächstes unternehmen müssen – zum Beispiel das Abfragen einer Datenbank, das Versenden einer E-Mail oder das Durchführen einer Websuche –, um ein Ziel zu erreichen.
• Produktion (Umwelt): Obwohl dies ein grundlegendes Konzept in der Softwareentwicklung ist, magazine es für Leser mit anderen Hintergründen ungewohnt klingen. „In Produktion“ bedeutet, dass ein Softwaresystem stay ist und echte Benutzer, Kunden oder Mitarbeiter es verwenden, um Arbeiten oder Aktionen auszuführen. Im Grunde handelt es sich dabei um das, was nach einem Prototyp oder Proof of Idea (PoC) entsteht: eine Testversion der Software program, die in einer kontrollierten Umgebung ausgeführt wurde, um mögliche Probleme zu identifizieren und zu beheben.

Die wichtigsten Fakten im Bericht:

• Während es ein weit verbreitetes „bürokratisches“ Missverständnis gibt, dass größere Unternehmen bei der Einführung neuer Technologien langsamer sind, zeigen die Datenzahlen etwas anderes: Sie sind führend bei der Bereitstellung von KI-Agenten, wobei 67 % der Unternehmen mit mehr als 10.000 Mitarbeitern agentenbasierte Anwendungen in die Produktion gebracht haben, während dies nur 50 % der kleineren Unternehmen mit weniger als 100 Mitarbeitern tun.
• Gründe für den oben genannten Punkt können die Kosten für den Aufbau zuverlässiger Agentenlösungen sein, die erhebliche Investitionen in die Infrastruktur erfordern.

Ähnliche Beweise finden sich in Deloittes Stand der KI im Unternehmen im Jahr 2026 Und McKinseys Stand der KI im Jahr 2025 Berichte.

# Die Lücke zwischen Beobachtbarkeit und Bewertung

Die wichtigsten Konzepte, die Sie kennen sollten:

• Beobachtbarkeit: KI-Modelle, insbesondere fortgeschrittene, werden oft als undurchsichtige „Black Packing containers“ mit unvorhersehbaren Ergebnissen angesehen. Beobachtbarkeit ist die Fähigkeit zu untersuchen und aufzuzeichnen, was die KI „denkt“ und wie dies zu Entscheidungen oder Ergebnissen führt.
• Nachverfolgung: Ein spezifischer Aspekt der Beobachtbarkeit, der darin besteht, die Reise eines KI-Agenten Schritt für Schritt aufzuzeichnen – additionally seinen Denkweg.
• Offline-Bewertung: Dabei wird ein Testdatensatz mit bekannten „richtigen“ Antworten durchlaufen, um zu messen, wie genau und effektiv ein KI-Agent (oder ein anderes KI-System) arbeitet.

Die wichtigsten Fakten im Bericht:

• Erstaunliche 89 % der Befragten mit unterschiedlichem Hintergrund haben einen Beobachtbarkeitsmechanismus implementiert, obwohl nur 52,4 % Offline-Bewertungen durchführen, was eine bemerkenswerte Diskrepanz zwischen der Artwork und Weise, wie Groups KI-Agenten überwachen, und der strengen Prüfung ihrer Leistung zeigt.
• Dies signalisiert eine „Ship and Watch“-Mentalität, bei der Entwicklungsteams der Fehlerbehebung nach ihrem Auftreten Priorität einräumen, anstatt sie vor der Bereitstellung in der Produktion zu verhindern. Das Reparieren „kaputter Roboter“ statt sicherzustellen, dass sie ordnungsgemäß funktionieren, bevor sie die „Fabrik“ verlassen, kann unerwünschte Konsequenzen und Kosten nach sich ziehen.

Ähnliche Beweise finden sich in Giskards LLM-Beobachtbarkeit vs. Bewertung Artikel.

# Die Kosten sind nicht mehr der größte Engpass: Qualität ist es

Die wichtigsten Konzepte, die Sie kennen sollten:

• Halluzinationen: Wenn ein KI-Modell wie ein LLM selbstbewusst falsche oder unsinnige Informationen generiert, als ob sie wahr wären, spricht man von einer Halluzination. Dies stellt ein gefährliches Drawback dar, wenn KI-Agenten auf dem Laufenden bleiben, da das Drawback nicht nur darin besteht, etwas Falsches zu sagen, sondern auch darin, möglicherweise etwas Falsches zu tun – z. B. einen Flug auf der Grundlage ungenauer oder falsch ermittelter Fakten zu buchen.
• Latenz: Dies bezieht sich auf die Geschwindigkeit oder Verzögerung zwischen dem Stellen einer Frage durch einen Benutzer und dem Erhalt einer Antwort durch einen Agenten, mit einer „Denk“- oder Prozesslogik dazwischen, die häufig den Einsatz von Instruments erfordert. Dies erhöht den Zeitaufwand im Vergleich zu eigenständigen LLMs oder Chatbots.

Die wichtigsten Fakten im Bericht:

• Die Kosten für den Einsatz von KI-Agenten stellen laut den Befragten kein kritisches Drawback mehr dar. 32 % von ihnen nennen die Qualität als ihr größtes Hindernis für die Einführung und Bereitstellung.
• Qualität bezieht sich in diesem Zusammenhang auf Genauigkeit, Konsistenz und die Vermeidung von Halluzinationen.
• Unterdessen gibt es einen interessanten Haken: Die zweitkritischste Hürde ist je nach Unternehmensgröße unterschiedlich, wobei kleine Startups Latenz und Unternehmen mit über 2.000 Mitarbeitern Sicherheit und Compliance nennen.

Ähnliche unterstützende Beweise finden sich in den zuvor zitierten Bericht über Hindernisse bei der Einführung von KI von Deloitte, während differenzierte Beweise über die wichtigsten Unternehmensblocker hier weiter analysiert werden können Mittlerer Artikel.

Iván Palomares Carrascosa ist ein führender Autor, Redner und Berater in den Bereichen KI, maschinelles Lernen, Deep Studying und LLMs. Er schult und leitet andere darin, KI in der realen Welt zu nutzen.

in meiner Datenvisualisierungsreihe. Siehe Folgendes:

Bis zu diesem Punkt habe ich in meiner Datenvisualisierungsreihe die grundlegenden Elemente des Visualisierungsdesigns behandelt. Es ist wichtig, diese Prinzipien zu verstehen, bevor Sie Visualisierungen tatsächlich entwerfen und erstellen, da sie sicherstellen, dass die zugrunde liegenden Daten gerecht werden. Falls Sie dies noch nicht getan haben, empfehle ich Ihnen dringend, meine vorherigen Artikel (oben verlinkt) zu lesen.

An diesem Punkt können Sie mit der Erstellung eigener Visualisierungen beginnen. In zukünftigen Artikeln werde ich verschiedene Möglichkeiten dazu behandeln – und ganz im Sinne der Datenwissenschaft erfordern viele dieser Methoden eine Programmierung. Um sicherzustellen, dass Sie für diesen nächsten Schritt bereit sind, enthält dieser Artikel einen kurzen Überblick über die Grundlagen von Python, gefolgt von einer Diskussion ihrer Relevanz für die Codierung von Datenvisualisierungen.

Die Grundlagen – Ausdrücke, Variablen, Funktionen

Ausdrücke, Variablen und Funktionen sind die Hauptbausteine ​​des gesamten Python-Codes – und zwar des Codes in jeder beliebigen Sprache. Werfen wir einen Blick darauf, wie sie funktionieren.

Ausdrücke

Ein Ausdruck ist eine Aussage, die einen bestimmten Wert ergibt. Der einfachste mögliche Ausdruck ist ein konstanter Wert beliebiger Artwork. Im Folgenden sind beispielsweise drei einfache Ausdrücke aufgeführt: Der erste ist eine Ganzzahl, der zweite eine Zeichenfolge und der dritte ein Gleitkommawert.

7
'7'
7.0

Komplexere Ausdrücke bestehen oft aus mathematischen Operationen. Wir können verschiedene Zahlen addieren, subtrahieren, multiplizieren oder dividieren:

3 + 7
820 - 300
7 * 53
121 / 11
6 + 13 - 3 * 4

Per Definition werden diese Ausdrücke von Python zu einem einzigen Wert ausgewertet, wobei der mathematischen Reihenfolge der Operationen gefolgt wird, die durch das Akronym beschrieben wird PEMDAS (Klammern, Exponenten, Multiplikation, Division, Addition, Subtraktion) (1). Beispielsweise ergibt der letzte Ausdruck oben die Zahl 7.0. (Sehen Sie, warum?)

Variablen

Ausdrücke sind großartig, aber an sich sind sie nicht besonders nützlich. Beim Programmieren müssen Sie normalerweise den Wert bestimmter Ausdrücke speichern, damit Sie sie in späteren Teilen unseres Programms verwenden können. A Variable ist ein Container, der den Wert eines Ausdrucks enthält und Ihnen den späteren Zugriff darauf ermöglicht. Hier sind genau die gleichen Ausdrücke wie im ersten Beispiel oben, diesmal jedoch mit in verschiedenen Variablen gespeicherten Werten:

int_seven = 7
text_seven = '7'
float_seven = 7.0

Variablen in Python haben einige wichtige Eigenschaften:

• Eine Variable Title (das Wort hyperlinks vom Gleichheitszeichen) muss aus einem Wort bestehen und darf nicht mit einer Zahl beginnen. Wenn Sie mehrere Wörter in Ihre Variablennamen aufnehmen müssen, besteht die Konvention darin, diese durch Unterstriche zu trennen (wie in den Beispielen oben).
• Sie müssen keinen Datentyp angeben, wenn wir mit Variablen in Python arbeiten, wie Sie es vielleicht gewohnt sind, wenn Sie Erfahrung im Programmieren in einer anderen Sprache haben. Dies liegt daran, dass Python ein ist dynamisch typisiert Sprache.
• Einige andere Programmiersprachen unterscheiden zwischen Erklärung und die Abtretung einer Variablen. In Python weisen wir Variablen einfach in derselben Zeile zu, in der wir sie deklarieren, sodass keine Unterscheidung erforderlich ist.

Wenn Variablen deklariert werden, wertet Python den Ausdruck auf der rechten Seite des Gleichheitszeichens immer zu einem einzelnen Wert aus, bevor er ihn der Variablen zuweist. (Dies hängt damit zusammen, wie Python komplexe Ausdrücke auswertet). Hier ist ein Beispiel:

yet_another_seven = (2 * 2) + (9 / 3)

Dem Wert wird die obige Variable zugewiesen 7.0nicht der zusammengesetzte Ausdruck (2 * 2) + (9 / 3).

Funktionen

A Funktion kann als eine Artwork Maschine betrachtet werden. Es nimmt etwas (oder mehrere Dinge) auf, führt Code aus, der die von Ihnen übergebenen Objekte transformiert, und gibt genau einen Wert zurück. In Python werden Funktionen hauptsächlich aus zwei Gründen verwendet:

1. Um interessierende Eingabevariablen zu manipulieren und eine Ausgabe zu erhalten, die wir benötigen (ähnlich wie mathematische Funktionen).
2. Um Codewiederholungen zu vermeiden. Indem wir Code in eine Funktion packen, können wir die Funktion einfach immer dann aufrufen, wenn wir diesen Code ausführen müssen (anstatt immer wieder denselben Code zu schreiben).

Der einfachste Weg zu verstehen, wie Funktionen in Python definiert werden, ist die Betrachtung eines Beispiels. Nachfolgend haben wir eine einfache Funktion geschrieben, die den Wert einer Zahl verdoppelt:

def double(num):
    doubled_value = num * 2
    return doubled_value

print(double(2))    # outputs 4
print(double(4))    # outputs 8

Es gibt eine Reihe wichtiger Punkte zum obigen Beispiel, die Sie unbedingt verstehen sollten:

• Der def Das Schlüsselwort teilt Python mit, dass Sie eine Funktion definieren möchten. Das Wort direkt danach def ist der Title der Funktion, daher wird die obige Funktion aufgerufen double.
• Nach dem Namen gibt es eine Reihe von Klammern, in die Sie die Parameter der Funktion einfügen (ein schicker Begriff, der nur die Eingaben der Funktion bezeichnet). Wichtig: Wenn Ihre Funktion keine Parameter benötigt, müssen Sie trotzdem die Klammern einfügen – setzen Sie einfach nichts hinein.
• Am Ende des def Anweisung muss ein Doppelpunkt verwendet werden, sonst ist Python nicht zufrieden (dh es wird ein Fehler ausgegeben). Zusammen die gesamte Linie mit dem def Die Aussage heißt Funktionssignatur.
• Alle Zeilen nach dem def Die Anweisung enthält den Code, aus dem die Funktion besteht, eine Ebene nach innen eingerückt. Zusammen bilden diese Zeilen die Funktionskörper.
• Die letzte Zeile der obigen Funktion ist die return-Anweisungdas die Ausgabe einer Funktion mithilfe der angibt return Stichwort. Eine Return-Anweisung muss nicht unbedingt die letzte Zeile einer Funktion sein, aber nachdem sie gefunden wurde, beendet Python die Funktion und es werden keine weiteren Codezeilen ausgeführt. Komplexere Funktionen können mehrere Return-Anweisungen haben.
• Du Anruf eine Funktion, indem Sie ihren Namen schreiben und die gewünschten Eingaben in Klammern setzen. Wenn Sie eine Funktion ohne Eingaben aufrufen, müssen Sie dennoch die Klammern einfügen.

Python und Datenvisualisierung

Lassen Sie mich nun auf die Frage eingehen, die Sie sich vielleicht stellen: Warum überhaupt diese Python-Rezension? Schließlich gibt es viele Möglichkeiten, Daten zu visualisieren, und sie sind sicherlich nicht alle durch Python-Kenntnisse oder Programmierkenntnisse im Allgemeinen eingeschränkt.

Das stimmt, aber als Datenwissenschaftler ist es wahrscheinlich, dass Sie irgendwann programmieren müssen – und beim Programmieren verwenden Sie höchstwahrscheinlich Python als Sprache. Wenn Ihnen von den Dateningenieuren Ihres Groups gerade eine Datenbereinigungs- und Analysepipeline übergeben wurde, lohnt es sich zu wissen, wie Sie diese schnell und effektiv in eine Reihe umsetzbarer und vorzeigbarer visueller Erkenntnisse umwandeln können.

Generell ist es aus mehreren Gründen wichtig, Python für die Datenvisualisierung zu kennen:

• Es ist eine zugängliche Sprache. Wenn Sie gerade erst in die Datenwissenschaft und Visualisierungsarbeit einsteigen, wird es viel einfacher sein, Visualisierungen in Python zu programmieren, als mit untergeordneten Instruments wie z. B. zu arbeiten D3 in JavaScript.

• Es gibt viele verschiedene und beliebte Bibliotheken in Python, die alle die Möglichkeit bieten, Daten mit Code zu visualisieren, der direkt auf den oben erlernten Python-Grundlagen aufbaut. Beispiele hierfür sind Matplotlib, Seaborn, PlotlyUnd Vega-Altair (früher nur als Altair bekannt). Einige davon, insbesondere Altair, werde ich in zukünftigen Artikeln untersuchen.
• Darüber hinaus lassen sich die Bibliotheken vor allem nahtlos in Pandas integrieren, die grundlegende Information-Science-Bibliothek in Python. Daten in Pandas können aus diesen Bibliotheken direkt in die Codelogik integriert werden, um Visualisierungen zu erstellen; Sie müssen es oft nicht einmal exportieren oder transformieren, bevor Sie mit der Visualisierung beginnen können.
• Die in diesem Artikel besprochenen Grundprinzipien mögen elementar erscheinen, tragen jedoch wesentlich zur Datenvisualisierung bei:
  • Um sicherzustellen, dass Sie eine genaue Darstellung der Daten visualisieren, ist es wichtig, Ausdrücke richtig zu berechnen und die von anderen geschriebenen Ausdrücke zu verstehen.
  • Oft müssen Sie bestimmte Werte oder Wertesätze für die spätere Einbindung in eine Visualisierung speichern – dafür benötigen Sie Variablen.
    • Manchmal können Sie sogar speichern gesamte Visualisierungen in einer Variablen zur späteren Verwendung oder Anzeige.
  • Mit den fortgeschritteneren Bibliotheken wie Plotly und Altair können Sie integrierte (und manchmal sogar benutzerdefinierte) Funktionen aufrufen, um Visualisierungen anzupassen.
  • Grundkenntnisse in Python ermöglichen es Ihnen, Ihre Visualisierungen in einfache Anwendungen zu integrieren, die mit anderen geteilt werden können, indem Sie Instruments wie verwenden Plotly Sprint Und Streamlit. Ziel dieser Instruments ist es, den Prozess der Anwendungserstellung für Datenwissenschaftler zu vereinfachen, die neu in der Programmierung sind. Die in diesem Artikel behandelten grundlegenden Konzepte reichen aus, um Ihnen den Einstieg in die Verwendung zu erleichtern.

Wenn das nicht ausreicht, um Sie zu überzeugen, empfehle ich Ihnen dringend, auf einen der obigen Hyperlinks zu klicken und einige dieser Visualisierungstools selbst zu erkunden. Sobald Sie sehen, was Sie damit machen können, werden Sie nicht mehr zurückgehen.

Ich für meinen Teil werde im nächsten Artikel zurückkommen, um mein eigenes Tutorial zum Erstellen von Visualisierungen vorzustellen. (Eines oder mehrere dieser Instruments werden möglicherweise auftauchen.) Bis dahin!

Referenzen

Eine Gruppe von Wissenschaftlern der College of Texas at Arlington hat ein gemeinsames Ziel für Bekämpfen Sie KI-generierte Phishing-Webseiten. Dies ist ein wichtiger Schritt zur Bekämpfung von Cyberkriminalität, da sie immer mehr künstliche Intelligenz (KI) angreift, darunter Chatbots wie ChatGPT, um eine technisch versierte Lösung zu finden. Mithilfe von Shirin Nilizadeh und den beiden Ärzten Sayak Saha Roy und Poojitha Thota haben sie beispielsweise in zahlreichen KI-Chatbots eine sichere Identifizierung ermöglicht und Anleitungen gegeben, wie Sie Phishing-Web sites umgehen können.

Möglicherweise haben Sie spezielle Methods ausprobiert, um Fehler zu beheben und auf eine bestimmte Weise zu reagieren, und zwar mit der Absicht, diese wichtigen Web sites zu schließen. Dadurch werden die unbrauchbaren Eingabeaufforderungen effektiv blockiert, indem der Chatbot geöffnet wird. Denn Innovation birgt durchaus das Potenzial, die Cybersicherheit zu stärken, ohne jedoch das Risiko von KI-Techniken in den Griff zu bekommen.

Der Forschungsteam-Arbeitsplatz hat bereits umfassende Erkenntnisse aus der Cybersicherheitsindustrie gewonnen, darunter eine Veröffentlichung und ein Ergebnis des IEEE Symposium on Safety and Privateness 2024. Er hat sogar große Technologieunternehmen wie Google und OpenAI kontaktiert, um seine Ergebnisse in erweiterte KI-Sicherheitsstrategien zu integrieren, und wird seine Forschungsergebnisse für die rahmenbezogene Sicherheitsstrategie auf KI-Foundation vertiefen.

Wie funktioniert es, KI-generierte Phishing-Web sites zu blockieren?

Um KI-generierte Phishing-Webplattformen zu blockieren, funktionieren einige der am häufigsten verwendeten KI-Chatbots. Außerdem werden Anweisungen gegeben, wie man diese Web sites blockiert. Laut einer Studie der College of Texas in Arlington, die von Shirin Nilizadeh und den Doktoranden Sayak Saha Roy und Poojitha Thota durchgeführt wurde, verfügen bereits Identifizierer und führende KI-Chatbots über Upgradefunktionen, die potenziell Phishing-Angreifer abschrecken könnten.

Dieses Glück konnte diese Funktionen nutzen und den Chatbot für einen Angreifer ausnutzen. Es besteht die Möglichkeit, mit versteckten technischen Problemen zu kämpfen und die Web site mithilfe der KI zu öffnen.

Um zu verhindern, dass Phishing-Web sites Opfer von Gruppenfehlern werden, verwenden Sie einfach die Anweisungsaufforderung, um zu verhindern, dass Phishing-Web sites blockiert werden. Mit dieser Kunstform wird der Körper ohne Kraftaufwand geformt und auf diese spezifische Artwork und Weise geformt. Dieser Artikel behandelt das Drawback mit dem Aufhängen und Blockieren von Kabeln, sodass es nicht zu einer versehentlichen Beschädigung des Kabels kommt. Nur so können Sie die Angriffe auf KI-generierte Phishing-Web sites effektiv verhindern und so das Risiko für Cyberangreifer verringern, die auf KI-Technologie setzen.

Denn die Lösung ist für die Entwicklung von Web sites in der KI-Technik und KI-Nachrichten von entscheidender Bedeutung, da sie die zunehmende Komplexität der Cybersicherheit fördert und progressive Lösungen erfordert, um die Anforderungen der modernen IT- und Systemlandschaft zu erfüllen. Nur durch die Bereitstellung eines soliden Rahmens können Sie die neuesten Tendencies und Erkenntnisse über KI und Cyberskill an Ihre Bedürfnisse weitergeben.

Källa: UTA-Forscher arbeiten daran, KI-Phishing-Betrug zu verhindern

In dieser Geschichte führen wir das Thema der schwachen Überwachung im maschinellen Lernen ein und untersuchen es ausführlich. Schwache Überwachung ist ein Lernparadigma im maschinellen Lernen, das in den letzten Jahren erhebliche Aufmerksamkeit erlangt hat. Um es kurz zusammenzufassen: Vollständige Überwachung erfordert, dass wir einen Trainingssatz haben (x,y) Wo j ist die richtige Bezeichnung für X; inzwischen nimmt eine schwache Aufsicht eine allgemeine Stellung ein (x, y‘) Wo ja muss nicht korrekt sein (d. h. es ist möglicherweise falsch; ein schwaches Label). Darüber hinaus können wir bei schwacher Aufsicht mehrere schwache Aufsichten haben, sodass einer (x, y’1, y’2, …, y’F) für jedes Beispiel wobei jeder ja stammt aus einer anderen Quelle und ist möglicherweise falsch.

Inhaltsverzeichnis

∘ Problemstellung
∘ Rahmenbedingungen
∘ Allgemeine Architektur
∘ Schnorchel
∘ Beispiel für schwache Aufsicht

Problemstellung

Praktischer ausgedrückt trägt schwache Überwachung dazu bei, das zu lösen, was ich gerne das Dilemma des überwachten maschinellen Lernens nenne. Wenn Sie ein Unternehmen oder eine Individual mit einer neuen Idee im Bereich des maschinellen Lernens sind, benötigen Sie Daten. Es ist oft nicht so schwer, viele Proben zu sammeln (x1, x2, …, xm) und manchmal kann es sogar programmgesteuert durchgeführt werden; das eigentliche Dilemma ist jedoch, dass Sie menschliche Annotatoren einstellen müssen, um diese Daten zu kennzeichnen, und professional Kennzeichnung etwa $Z zahlen müssen. Das Downside ist nicht nur, dass Sie möglicherweise nicht wissen, ob das Projekt so viel wert ist, sondern auch, dass Sie es sich möglicherweise gar nicht leisten können, Annotatoren einzustellen, da dieser Prozess insbesondere in Bereichen wie Recht und Medizin recht kostspielig sein kann.

Sie fragen sich vielleicht, wie eine schwache Überwachung dieses Downside lösen kann. Einfach ausgedrückt: Anstatt Kommentatoren dafür zu bezahlen, Ihnen Beschriftungen zu geben, bitten Sie sie, Ihnen einige allgemeine Regeln zu geben, die bei der Beschriftung der Daten manchmal ungenau sein können (was viel weniger Zeit und Geld kostet). In einigen Fällen kann es für Ihr Entwicklungsteam sogar trivial sein, diese Regeln selbst herauszufinden (z. B. wenn für die Aufgabe keine Expertenkommentatoren erforderlich sind).

Betrachten wir nun einen Anwendungsbeispiel. Sie versuchen, ein NLP-System zu erstellen, das Wörter maskiert, die vertraulichen Informationen wie Telefonnummern, Namen und Adressen entsprechen. Anstatt Leute einzustellen, die Wörter in einem Korpus von Sätzen, die Sie gesammelt haben, kennzeichnen, schreiben Sie einige Funktionen, die alle Daten automatisch kennzeichnen, basierend darauf, ob das Wort nur aus Zahlen besteht (wahrscheinlich, aber nicht sicher eine Telefonnummer), ob das Wort mit einem Großbuchstaben beginnt, aber nicht am Satzanfang steht (wahrscheinlich, aber nicht sicher ein Identify) usw. Anschließend trainieren Sie Ihr System anhand der schwach gekennzeichneten Daten. Sie denken vielleicht, dass das trainierte Modell nicht besser sein wird als solche Kennzeichnungsquellen, aber das ist falsch; schwache Überwachungsmodelle sind von Natur aus so konzipiert, dass sie über die Kennzeichnungsquellen hinaus verallgemeinern, indem sie wissen, dass Unsicherheit besteht, und diese oft auf die eine oder andere Weise berücksichtigen.

Rahmenbedingungen

Sehen wir uns nun das Framework der schwachen Überwachung, wie es bei der Verarbeitung natürlicher Sprache eingesetzt wird, genauer an.

✦ Gegeben

Eine Menge von F Beschriftungsfunktionen {L1 L2,…,LF} Wo Lj weist einer Eingabe ein schwaches (d. h. möglicherweise falsches) Label zu X wobei jede Beschriftungsfunktion Lj kann eines der folgenden sein:

1. Crowdsource-Annotator (manchmal sind sie nicht so genau)
2. Bezeichnung aufgrund von Distanzüberwachung (d. h. aus einer anderen Wissensbasis extrahiert)
3. Schwaches Modell (z. B. von Natur aus schwach oder für eine andere Aufgabe trainiert)
4. Heuristische Funktion (z. B. Beobachtung von Labels basierend auf der Existenz eines Schlüsselworts oder Musters oder definiert durch einen Fachexperten)
5. Gazetteers (z. B. Beobachtung von Etiketten basierend auf ihrem Vorkommen in einer bestimmten Liste)
6. LLM-Aufruf unter einer bestimmten Eingabeaufforderung P (aktuelle Arbeit)
7. Jede Funktion im Allgemeinen, die (vorzugsweise) beim Erraten der Bezeichnung von x eine bessere Leistung erzielt als ein zufälliges Raten.

Man geht allgemein davon aus, dass Li kann auf die Angabe einer Bezeichnung verzichten (z. B. eine heuristische Funktion wie „Wenn das Wort Zahlen enthält, beschriften Sie es mit der Telefonnummer, andernfalls nicht.“).

Angenommen, der Trainingssatz enthält N Beispiele. Dann entspricht dies im Fall der Sequenzklassifizierung einer (N,F)-Matrix schwacher Labels. Bei der Tokenklassifizierung mit einer Sequenz der Länge T handelt es sich um eine (N,T,F)-Matrix schwacher Labels.

✦ Gesucht

Ziel ist es, ein Modell M zu trainieren, das die schwach gekennzeichneten Daten sowie alle starken Daten (sofern vorhanden) effektiv nutzt.

✦ Häufige NLP-Aufgaben

• Sequenzklassifizierung (z. B. Sentimentanalyse) oder Token-Klassifizierung (z. B. Erkennung benannter Entitäten), wobei es sich bei den Kennzeichnungsfunktionen üblicherweise um heuristische Funktionen oder Ortsverzeichnisse handelt.
• Ressourcenarme Übersetzung (x→y) wobei die Beschriftungsfunktion(en) normalerweise ein schwächeres Übersetzungsmodell ist (z. B. ein Übersetzungsmodell in umgekehrter Richtung (y→x) mehr hinzufügen (x,y) Übersetzungspaare.

Allgemeine Architektur

Für Sequenz- oder Token-Klassifizierungsaufgaben nimmt die in der Literatur am häufigsten verwendete Architektur plausibel diese Kind an:

Der Label-Modell lernt, die Ausgaben der Label-Funktionen auf probabilistische oder deterministische Labels abzubilden, die zum Trainieren des Endmodells verwendet werden. Mit anderen Worten, es nimmt die oben besprochene (N,F)- oder (N,T,F)-Labelmatrix und gibt eine (N)- oder (N,T)-Matrix von Labels zurück (bei denen es sich häufig um probabilistische (d. h. weiche) Labels handelt).

Der Endmodell wird nach diesem Schritt separat verwendet und ist lediglich ein gewöhnlicher Klassifikator, der mit Softlabels arbeitet (Cross-Entropy-Loss ermöglicht dies), die vom Label-Modell erzeugt werden. Einige Architekturen verwenden Deep Studying, um Label- und Endmodelle zusammenzuführen.

Beachten Sie, dass wir das Labelmodell, nachdem wir es trainiert haben, zum Generieren der Labels für das Endmodell verwenden und danach das Labelmodell nicht mehr verwenden. In diesem Sinne unterscheidet sich dies deutlich vom Staking, auch wenn die Labelfunktionen andere Machine-Studying-Modelle sind.

Eine andere Architekturwas bei Übersetzungen die Standardeinstellung ist (und bei der Sequenz-/Token-Klassifizierung weniger üblich ist), besteht darin, die schwachen Beispiele (src, trg) anhand ihrer Qualität zu gewichten (normalerweise nur eine Kennzeichnungsfunktion für Übersetzungen, die, wie bereits besprochen, ein schwaches Modell in umgekehrter Richtung ist). Eine solche Gewichtung kann dann in der Verlustfunktion verwendet werden, sodass das Modell aus Beispielen besserer Qualität mehr und aus solchen minderer Qualität weniger lernt. Ansätze in diesem Fall versuchen, Methoden zur Bewertung der Qualität eines bestimmten Beispiels zu entwickeln. Ein Ansatz verwendet beispielsweise den Roundtrip-BLEU-Rating (d. h. übersetzt den Satz ins Ziel und dann zurück in die Quelle), um eine solche Gewichtung abzuschätzen.

Schnorchel

Um ein Beispiel dafür zu sehen, wie das Etikettenmodell funktionieren kann, können wir uns ansehen: Schnorchel Dies ist wohl die grundlegendste Arbeit im Bereich der schwachen Überwachung zur Sequenzklassifizierung.

In Snorkel wollten die Autoren herausfinden, P(yi|Λ(xi)) Wo Λ(xi) ist der schwache Labelvektor des i-ten Beispiels. Sobald diese Wahrscheinlichkeit gefunden ist, können wir sie eindeutig als weiches Label für das Endmodell verwenden (da, wie gesagt, Cross Entropy Loss weiche Labels verarbeiten kann). Es ist auch klar, dass, wenn wir P(y, Λ(x)) dann können wir leicht verwenden, um zu finden P(y|Λ(x)).

Aus der obigen Gleichung sehen wir, dass sie die gleiche Hypothese wie die logistische Regression zur Modellierung verwendeten P(y, Λ(x)) (Z steht für Normalisierung wie bei Sigmoid/Softmax). Der Unterschied besteht darin, dass statt wx wir haben Die Differenz zwischen der yi- und der xi-Achse beträgt 0,1 dpt. Insbesondere, φ(Λ(xi),yi) ist ein Vektor der Dimensionalität 2F+|C|. F ist die Anzahl der Beschriftungsfunktionen, wie bereits erwähnt; C ist die Menge der korrelierten Beschriftungsfunktionspaare (additionally ist |C| die Anzahl der korrelierten Paare). Die Autoren verweisen in einem anderen Artikel auf eine Methode zur Automatisierung der Erstellung von C, auf die wir hier der Kürze halber nicht näher eingehen.

Der Vektor φ(Λ(xi),yi) enthält:

• F binäre Elemente, um anzugeben, ob jede der Beschriftungsfunktionen für das gegebene Beispiel enthalten ist
• F binäre Elemente, um anzugeben, ob jede der Beschriftungsfunktionen dem wahren Label y entspricht (hier wird y als Variable belassen; es ist eine Eingabe für die Verteilung), wenn man dieses Beispiel betrachtet
• C binäre Elemente, um anzugeben, ob jedes korrelierte Paar in diesem Beispiel die gleiche Stimme abgegeben hat

Sie trainieren dann diese Labelmodelle (d. h. schätzen den Gewichtsvektor der Länge 2F+|C|) durch Lösen des folgenden Ziels (Minimierung der negativen Log-Randwahrscheinlichkeit):

Beachten Sie, dass sie keine Informationen über y benötigen, da dieses Ziel unabhängig von einem bestimmten Wert, wie durch die Summe angegeben, gelöst wird. Wenn Sie genau hinsehen (das Negativ und den Logarithmus rückgängig machen), stellen Sie möglicherweise fest, dass dies dem Finden der Gewichte entspricht, die die Wahrscheinlichkeit für eine der wahren Bezeichnungen maximieren.

Sobald das Label-Modell trainiert ist, verwenden sie es zur Erstellung N weiche Etiketten P(y1|Λ(x1)), P(y2|Λ(x2)),…,P(yN|Λ(xN)) und verwenden Sie dies normalerweise, um ein diskriminierendes Modell (d. h. einen Klassifikator) zu trainieren.

Beispiel für schwache Aufsicht

Snorkel bietet ein hervorragendes Tutorial zur Spam-Klassifizierung Hier. Skweak ist ein weiteres Paket (und Dokument), das für die schwache Überwachung der Token-Klassifizierung von grundlegender Bedeutung ist. Dies ist ein Beispiel für den Einstieg in Skweak, wie auf gezeigt ihr Github:

Definieren Sie zunächst die Beschriftungsfunktionen:

import spacy, re
from skweak import heuristics, gazetteers, generative, utils
### LF 1: heuristic to detect occurrences of MONEY entities
def money_detector(doc):
for tok in doc(1:):
if tok.textual content(0).isdigit() and tok.nbor(-1).is_currency:
yield tok.i-1, tok.i+1, "MONEY"
lf1 = heuristics.FunctionAnnotator("cash", money_detector)
### LF 2: detection of years with a regex
lf2= heuristics.TokenConstraintAnnotator("years", lambda tok: re.match("(19|20)d{2}$", 
tok.textual content), "DATE")
### LF 3: a gazetteer with a number of names
NAMES = (("Barack", "Obama"), ("Donald", "Trump"), ("Joe", "Biden"))
trie = gazetteers.Trie(NAMES)
lf3 = gazetteers.GazetteerAnnotator("presidents", {"PERSON":trie})

Wenden Sie sie auf den Korpus an

# We create a corpus (right here with a single textual content)
nlp = spacy.load("en_core_web_sm")
doc = nlp("Donald Trump paid $750 in federal earnings taxes in 2016")
# apply the labelling capabilities
doc = lf3(lf2(lf1(doc)))

Etikettenmodell erstellen und anpassen

# create and match the HMM aggregation mannequin
hmm = generative.HMM("hmm", ("PERSON", "DATE", "MONEY"))
hmm.match((doc)*10)
# as soon as fitted, we merely apply the mannequin to mixture all capabilities
doc = hmm(doc)
# we will then visualise the ultimate outcome (in Jupyter)
utils.display_entities(doc, "hmm")

Dann können Sie natürlich zusätzlich einen Klassifikator trainieren, indem Sie die geschätzten Smooth Labels verwenden.

In diesem Artikel haben wir das Downside der schwachen Überwachung untersucht, eine formale Definition bereitgestellt und die allgemeine Architektur skizziert, die in diesem Zusammenhang typischerweise verwendet wird. Wir haben uns auch mit Snorkel befasst, einem der grundlegenden Modelle der schwachen Überwachung, und zum Abschluss ein praktisches Beispiel zur Veranschaulichung der Anwendung schwacher Überwachung gegeben.

Ich hoffe, Sie fanden den Artikel nützlich. Bis zum nächsten Mal, au revoir.

Verweise

(1) Zhang, J. et al. (2021) Wrench: Ein umfassender Maßstab für schwache Aufsicht, arXiv.org. Verfügbar um: https://arxiv.org/abs/2109.11377 .

(2) Ratner, A. et al. (2017) Schnorchel: Schnelle Trainingsdatenerstellung mit schwacher Überwachung, arXiv.org. Verfügbar um: https://arxiv.org/abs/1711.10160.

(3) NorskRegnesentral (2021) NorskRegnesentral/skweak: Skweak: Ein Software program-Toolkit für schwache Überwachung, angewendet auf NLP-Aufgaben, GitHub. Verfügbar um: https://github.com/NorskRegnesentral/skweak.