Eine neue Initiative, die die seismische Überwachung und Prognose mit Echtzeit revolutionieren soll, kommt Superior Machine Studying (ML) Technologien in das Gebiet West Texas/New Mexico.

Der Technologiefonds des US Division of Vitality (DOE) hat dem Lawrence Livermore Nationwide Laboratory (LLNL) 1,8 Millionen US -Greenback an Finanzmittel ausgezeichnet.

Das Projekt ist als Wiederverbindung bekannt oder die Echtzeit-induzierte Seismizität prognostiziert lernende seismische Kataloge. Die Initiative befasst sich mit der Untergrundergieindustrie, die einen wachsenden Bedarf an fortschrittlichen seismischen Überwachungs- und Prognosesystemen haben, die potenzielle induzierte Seismizität effizient identifizieren und mildern können.

Traditionelle seismische Verarbeitungstechniken haben häufig in lauten industriellen Umgebungen zu kämpfen, was zu Verzögerungen und Ungenauigkeiten bei der Erkennung von Ereignissen führt. Um diese Einschränkungen zu überwinden, entwickeln LLNL und seine Associate eine Echtzeit-ML-Pipeline, die sich nahtlos in die operative Prognose des DOE-Toolkits (Orion) induziert.

Vorab-Schätzungen werden auch durch die Entwicklung hochpräziser historischer seismischer Ereigniskataloge angesprochen. Diese Kataloge werden wertvolle Einblicke in die lokale und regionale seismische Aktivität liefern, sodass die Betreiber vor Beginn der Operationen besser verstehen und mildern können.

Die ML-basierten Instruments, die über diese Initiative entwickelt werden, bieten den Betrieben kostengünstige, fortschrittliche Überwachungs- und Prognosefunktionen, die von Instrumental Software program Applied sciences, Inc. (ISTI) angeboten werden. Diese Lösungen sollen die Leistung bei der Erkennung von seismischen Ereignissen verbessern und sicherstellen, dass sich die Betreiber auf genaue und zeitnahe Informationen verlassen können, um kritische Entscheidungen zu treffen.

Die Wiederverbindungsinitiative hat auch weitreichende Auswirkungen und Vorteile für industrielle Aktivitäten, bei denen Flüssigkeiten aus der Unterseite injiziert oder hergestellt werden, sagte Kayla Kroll, ein LLNL-Seismologe und der Hauptforscher des Projekts.

„Dieses Projekt soll den Betreibern helfen, mit Vertrauen zu überwachen. Die Betreiber in allen Sektoren können von einer verbesserten seismischen Überwachungsfunktionen und Prognosen profitieren und eine proaktive Minderung ermöglichen“, sagte sie.

Das TCF wird vom DOE Workplace of Expertise Commercialization verwaltet und das Projekt wird vom Büro für fossile Energie und Kohlenstoffmanagement finanziert.

Das Projekt „Vorhersage in Echtzeitprognosen der induzierten Seismizität mit der Erkennung und dem Standort für maschinelle Lernbasis“ wird voraussichtlich progressive Lösungen für die Verwaltung der induzierten Seismizität liefern. Diese Fortschritte werden kritische Industrien unterstützen, einschließlich Kohlenstoffspeicher, Öl- und Gasproduktion und geothermischer Energie.

Zu den Partnern zählen das Oak Ridge Nationwide Laboratory, Isti, die Livermore Lab Basis und mehrere örtliche Neighborhood Schools – darunter das Southeast New Mexico Faculty, das Midland Faculty und das Odessa Faculty in Texas.

„Unser Ziel ist es, die betriebliche Sicherheit zu identifizieren und zu verbessern und das Vertrauen der Öffentlichkeit in Energietechnologien zu stärken“, sagte Kroll. „Es ist unbedingt zu verstehen, wie seismische Aktivitäten erkannt, klassifiziert und prognostiziert werden, um sicherzustellen, dass die Betreiber proaktiv Risiken verwalten können.

„Die Entwicklung der Belegschaft im Energiesektor ist auch kritisch. Unsere Associate des Neighborhood Faculty spielen bereits eine Schlüsselrolle bei der Verbindung von Studenten mit zukünftigen Karrieremöglichkeiten und inspirieren Sie die nächste Technology von MINT -Führungskräften. Wir freuen uns, sie als Mitarbeiter dieses Projekts zu haben“, sagte Kroll.

Die Schools veranstalten eine Reihe von Vitality Workforce-Veranstaltungen mit praktischen Workshops und Expertenpanels, die die Gemeinde über aufstrebende Energieindustrien und Karrieremöglichkeiten informieren sollen. Bezahlte Sommerpraktikumsmöglichkeiten für Faculty -Studenten bei LLNL werden auch über den philanthropischen Associate des Labors, die Livermore Lab Basis, eine gemeinnützige Organisation von 501 (c) (3) zur Unterstützung der grundlegenden Wissenschafts- und Forschungsinitiativen von LLNL erhältlich sein.

Der Neighborhood Faculty Outreach ist im Herbst 2025 ausgelöst. Zu den Fakultätsvorführungen gehören Joshua Hardt vom Odessa Faculty und Richard Wiedenmann vom Southeast New Mexico Faculty.

„Diese Partnerschaft mit LLNL wird die Gemeinschaft in West Texas mit wesentlichen Werkzeugen und Daten ausstatten und unser Engagement für seismische Wissenschaft und Sicherheit verbessern“, sagte Joshua Hardt, Professor am Odessa Faculty. „Ich freue mich zu sehen, wie dieses erhöhte Bewusstsein über unsere lokale Geowissenschaften den öffentlichen Diskurs auslösen wird.“

Ein weiterer Fakultätsleiter für das Programm, Richard Wiedenmann, Professor am Southeast New Mexico Faculty, sagte: „Dieses Projekt ist für die Gemeinde wichtig, um die Öffentlichkeit über unsere häufigen Erdbeben aufzuklären. Dies wird auch den Studenten unseres Faculty in Wissenschaft, Ingenieurwesen, Personalentwicklung und anderen Programmen zugute kommen.“

Die DOE TCF zielt darauf ab, die Kommerzialisierung von DOE Nationwide Lab, Plant und Standort -Technologien zu unterstützen und das Ökosystem der Nationwide Lab Commercialization aufzubauen.

Bei LLNL wird der Technologietransfer durch öffentlich-private Partnerschaften wie diese sowie TCF-Zuschüsse durch das Innovation and Partnerships Workplace (IPO) des Labors des Labors erleichtert. IPO unterstützt die wirtschaftliche Wettbewerbsfähigkeit der USA und die nationale Sicherheit durch Lizenzpartnerschaften, die das geistige Eigentum von LLNL nutzen.

Überwachungssysteme werden durch die rasche Verbreitung von KI-Technologien auf gesellschaftlicher Ebene dramatisch neu positioniert. Regierungen und Technologiegiganten entwickeln ihre KI-bezogenen Instruments weiter und versprechen höhere Sicherheit, geringere Kriminalitätsraten und die Bekämpfung von Fehlinformationen. Gleichzeitig machen diese Technologien Fortschritte in noch nie dagewesener Weise; Und wir stehen vor einer sehr wichtigen Frage: Sind wir wirklich bereit, unsere persönlichen Freiheiten im Austausch für Sicherheit zu opfern, die es vielleicht nie geben wird?

Angesichts der Fähigkeit der KI, menschliches Verhalten zu überwachen, vorherzusagen und zu beeinflussen, gehen die Fragen weit über die Frage nach einer verbesserten Effizienz hinaus. Während die angepriesenen Vorteile in einer erhöhten öffentlichen Sicherheit und optimierten Dienstleistungen liegen, glaube ich, dass die Aushöhlung persönlicher Freiheiten, der Verlust von Autonomie und demokratischen Werten ein tiefgreifendes Drawback darstellen. Wir sollten darüber nachdenken, ob der weit verbreitete Einsatz von KI eine neue, subtile Type des Totalitarismus signalisiert.

Der unsichtbare Einfluss der KI-gestützten Überwachung

Während KI das Gesicht von Branchen wie dem Einzelhandel, dem Gesundheitswesen und der Sicherheit verändert und Erkenntnisse liefert, die bisher als unvorstellbar galten, betrifft sie auch sensiblere Bereiche wie vorausschauende Polizeiarbeit, Gesichtserkennung und Sozialkreditsysteme. Während diese Systeme erhöhte Sicherheit versprechen, bilden sie im Stillen einen Überwachungsstaat, der für die meisten Bürger unsichtbar ist, bis es zu spät ist.

Der vielleicht besorgniserregendste Aspekt der KI-gesteuerten Überwachung ist ihre Fähigkeit, unser Verhalten nicht nur zu verfolgen, sondern daraus zu lernen. Predictive Policing nutzt maschinelles Lernen, um historische Kriminalitätsdaten zu analysieren und vorherzusagen, wo zukünftige Straftaten passieren könnten. Ein grundlegender Fehler besteht jedoch darin, dass es sich auf voreingenommene Daten stützt, die häufig rassistische Profilerstellung, sozioökonomische Ungleichheiten und politische Vorurteile widerspiegeln. Diese werden nicht nur aufgebläht, sondern auch in die KI-Algorithmen integriert, die dann die Scenario negativ beeinflussen und gesellschaftliche Ungleichheiten verursachen und verschlimmern. Darüber hinaus werden Individuen auf Datenpunkte reduziert, während der Kontext oder die Menschlichkeit verloren geht.

Akademischer Einblickt – Untersuchungen haben gezeigt, dass Predictive-Policing-Anwendungen, wie sie beispielsweise von den amerikanischen Strafverfolgungsbehörden eingesetzt werden, tatsächlich auf marginalisierte Gemeinschaften abzielen. In einer 2016 von ProPublica veröffentlichten Studie wurde festgestellt, dass die im Strafjustizsystem eingesetzten Risikobewertungsinstrumente häufig zu Lasten von Afroamerikanern tendieren und Rückfallquoten vorhersagen, die statistisch gesehen höher waren, als sie letztendlich auftreten würden.

Algorithmische Verzerrung: Eine Bedrohung für die Equity – Die wahre Gefahr von KI in der Überwachung besteht in ihrem Potenzial, bereits in der Gesellschaft etablierte voreingenommene Realitäten zu verstärken und aufrechtzuerhalten. Nehmen wir den Fall vorausschauender Polizeiinstrumente, die die Aufmerksamkeit auf Stadtteile lenken, die bereits von der Rechtsmaschinerie überfordert sind. Diese Systeme „lernen“ aus Kriminalitätsdaten, aber viele dieser Daten sind durch jahrelange ungleiche Polizeipraktiken verzerrt. In ähnlicher Weise begünstigen KI-Einstellungsalgorithmen nachweislich männliche Kandidaten gegenüber weiblichen, da die Arbeitskräfte überwiegend aus Männern bestehen und deren Daten für die Schulung verwendet wurden.

Diese Vorurteile wirken sich nicht nur auf individuelle Entscheidungen aus – sie werfen ernsthafte ethische Bedenken hinsichtlich der Rechenschaftspflicht auf. Wenn KI-Systeme lebensverändernde Entscheidungen auf der Grundlage fehlerhafter Daten treffen, gibt es niemanden, der für die Folgen einer falschen Entscheidung verantwortlich ist. Eine Welt, in der Algorithmen zunehmend darüber entscheiden, wer Zugang zu Arbeitsplätzen, Krediten und sogar zur Justiz erhält, ist mangels klarer Sicht auf ihre Bestandteile anfällig für Missbrauch.

Wissenschaftliches Beispiel – Untersuchungen des Media Lab des MIT haben gezeigt, wie algorithmische Einstellungssysteme frühere Formen der Diskriminierung reproduzieren und so systemische Ungleichheiten vertiefen können. Insbesondere die von leistungsstarken Technologieunternehmen eingesetzten Einstellungsalgorithmen bevorzugen meist Lebensläufe von Bewerbern, bei denen festgestellt wurde, dass sie einem bevorzugten demografischen Profil entsprechen, was systematisch zu verzerrten Ergebnissen bei der Einstellung führt.

Supervisor für Gedanken und Taten

Die vielleicht beunruhigendste Möglichkeit besteht darin, dass die KI-Überwachung irgendwann nicht nur zur Überwachung körperlicher Handlungen, sondern tatsächlich zur Beeinflussung von Gedanken und Verhalten eingesetzt werden könnte. KI fängt bereits an, unsere nächsten Schritte ziemlich intestine zu antizipieren, indem sie Hunderte Millionen Datenpunkte nutzt, die auf unseren digitalen Aktivitäten basieren – von unserer Social-Media-Präsenz über On-line-Einkaufsmuster bis hin zu unseren biometrischen Informationen über tragbare Geräte. Aber mit fortschrittlicherer KI riskieren wir Systeme, die das menschliche Verhalten proaktiv auf eine Weise beeinflussen, von der wir nicht wissen, dass sie geschieht.

Chinas Sozialkreditsystem bietet einen erschreckenden Ausblick auf diese Zukunft. Im Rahmen dieses Techniques werden Einzelpersonen anhand ihres Verhaltens – on-line und offline – bewertet. Diese Bewertung kann sich beispielsweise auf den Zugang zu Krediten, Reisen und Beschäftigungsmöglichkeiten auswirken. Auch wenn sich das alles wie ein dystopischer Albtraum anhört, wird es bereits in Teilen auf der ganzen Welt weiterentwickelt. Wenn der Staat oder die Unternehmen diesen Weg fortsetzen dürften, könnten sie nicht nur Einfluss darauf nehmen, was wir tun, sondern auch, wie wir denken, und so unsere Vorlieben, Wünsche und sogar Überzeugungen prägen.

In einer solchen Welt könnte die persönliche Entscheidung ein Luxus sein. Ihre Entscheidungen – was Sie kaufen, wohin Sie gehen, mit wem Sie in Kontakt treten – können durch unsichtbare Algorithmen abgebildet werden. Auf diese Weise würde KI im Grunde genommen zum Architekten unseres Verhaltens werden, zu einer Kraft, die uns zur Einhaltung antreibt und Abweichungen bestraft.

Studienreferenz – Zu den Studien zum Sozialkreditsystem in China gehören auch die des Stanford Middle for Comparative Research in Race and Ethnicity, die zeigen, dass das System einen Angriff auf Privatsphäre und Freiheit darstellen könnte. Somit kann ein Belohnungs-/Strafsystem, das mit einer KI-gesteuerten Überwachung verbunden ist, das Verhalten manipulieren.

Die Überwachungs-Feedbackschleife: Selbstzensur und Verhaltensänderung – KI-gesteuerte Überwachung erzeugt eine Rückkopplungsschleife, in der wir uns umso mehr verändern, um unerwünschte Aufmerksamkeit zu vermeiden, je mehr wir beobachtet werden. Dieses als „Überwachungsselbstzensur“ bekannte Phänomen hat eine enorm abschreckende Wirkung auf die Meinungsfreiheit und kann abweichende Meinungen unterdrücken. Wenn Menschen sich bewusster werden, dass sie einer genauen Beobachtung ausgesetzt sind, beginnen sie, sich selbst zu regulieren – sie schränken ihren Kontakt mit anderen ein, schränken ihre Sprache ein und unterdrücken sogar ihre Gedanken, um keine Aufmerksamkeit zu erregen.

Dies ist kein hypothetisches Drawback, das auf ein autoritäres Regime beschränkt ist. In einer demokratischen Gesellschaft rechtfertigen Technologieunternehmen die large Datenerfassung unter dem Deckmantel „personalisierter Erfahrungen“ und sammeln Benutzerdaten, um Produkte und Dienstleistungen zu verbessern. Aber wenn KI das Verbraucherverhalten vorhersagen kann, was verhindert dann, dass dieselben Algorithmen für die öffentliche Meinungsbildung oder die Beeinflussung politischer Entscheidungen missbraucht werden? Wenn wir nicht aufpassen, könnten wir in einer Welt gefangen sein, in der unser Verhalten von Algorithmen diktiert wird, die darauf programmiert sind, Unternehmensgewinne oder staatliche Kontrolle zu maximieren – und uns damit genau die Freiheiten nehmen, die demokratische Gesellschaften ausmachen.

Relevante Literatur – Das Phänomen der Selbstzensur aufgrund von Überwachung wurde in einem Artikel des Oxford Web Institute aus dem Jahr 2019 dokumentiert, in dem die abschreckende Wirkung von Überwachungstechnologien auf den öffentlichen Diskurs untersucht wurde. Es stellte sich heraus, dass Menschen ihr On-line-Verhalten und ihre Interaktionen aus Angst vor den Folgen einer Beobachtung ändern.

Das Paradoxon: Sicherheit auf Kosten der Freiheit

Im Mittelpunkt der Debatte steht ein Paradoxon: Wie können wir die Gesellschaft vor Kriminalität, Terrorismus oder Fehlinformationen schützen, ohne die Freiheiten zu opfern, die die Demokratie schützenswert machen? Rechtfertigt das Versprechen größerer Sicherheit die Erosion unserer Privatsphäre, Autonomie und Meinungsfreiheit? Wenn wir bereitwillig unsere Rechte gegen mehr Sicherheit eintauschen, riskieren wir, dass die Welt zu einer Welt wird, in der der Staat oder die Unternehmen die volle Kontrolle über unser Leben haben.

Während KI-gestützte Überwachungssysteme möglicherweise das Potenzial für mehr Sicherheit und Effizienz bieten, könnte ein ungebremstes Wachstum zu einer Zukunft führen, in der Privatsphäre ein Luxus und Freiheit ein Nebengedanke wird. Die Herausforderung besteht nicht nur darin, das richtige Gleichgewicht zwischen Sicherheit und Datenschutz zu finden, sondern auch darin, ob wir uns damit wohlfühlen, dass KI unsere Entscheidungen diktiert, unser Verhalten prägt und die Freiheiten untergräbt, die die Grundlage des demokratischen Lebens bilden.

Forschungseinblick – Datenschutz versus Sicherheit: EFF stellte in einer seiner Studien fest, dass die Debatte zwischen beiden nicht rein theoretisch ist; Vielmehr haben Regierungen und Unternehmen immer wieder Grenzen der Privatsphäre überschritten, wodurch Sicherheit zu einem bequemen Vorwand für allgegenwärtige Überwachungssysteme wird.

Balanceakt: Verantwortungsvolle Überwachung – Natürlich ist der weitere Weg nicht eindeutig. Einerseits können diese KI-gesteuerten Überwachungssysteme dazu beitragen, die öffentliche Sicherheit und Effizienz in verschiedenen Sektoren zu gewährleisten. Andererseits stellen dieselben Systeme ernsthafte Risiken für unsere persönlichen Freiheiten, Transparenz und Rechenschaftspflicht dar.

Kurz gesagt, die Herausforderung ist zweifach: Erstens, ob wir in einer Gesellschaft leben wollen, in der die Technologie eine so große Macht über unser Leben hat. Wir müssen auch regulatorische Rahmenbedingungen fordern, die Rechte schützen und dennoch den ordnungsgemäßen Einsatz von KI gewährleisten. Tatsächlich hat die Europäische Union bereits damit begonnen, die Schlinge für KI enger zu ziehen, indem sie neue Vorschriften erlässt, die sich auf Transparenz, Rechenschaftspflicht und Equity konzentrieren. Es muss sichergestellt werden, dass eine solche Überwachung weiterhin ein Instrument zur Verbesserung des öffentlichen Wohls bleibt, ohne die Freiheiten zu untergraben, die die Gesellschaft schützenswert machen. Andere Regierungen und Unternehmen müssen diesem Beispiel folgen und sicherstellen, dass dies der Fall ist.

Fazit: Der Preis der „Sicherheit“ im Zeitalter der KI-Überwachung

Da KI zunehmend in unser tägliches Leben eindringt, sollte die Frage, die unsere kollektive Vorstellungskraft beschäftigen sollte, lauten: Ist der Preis der Sicherheit den Verlust unserer Freiheit wert? Die Frage hat sich schon immer gestellt, aber erst das Aufkommen der KI hat diese Debatte noch dringlicher gemacht. Die Systeme, die wir heute bauen, werden die Gesellschaft von morgen prägen – eine Gesellschaft, in der Sicherheit zu Kontrolle werden kann und Privatsphäre zu einem Relikt der Vergangenheit werden kann.

Wir müssen uns entscheiden, ob wir uns von der KI in eine sicherere, aber letztendlich kontrollierte Zukunft führen lassen wollen – oder ob wir für die Wahrung der Freiheiten kämpfen werden, die die Grundlage unserer Demokratien bilden.

Über den Autor

Aayam Bansal ist Abiturientin und setzt sich leidenschaftlich dafür ein, KI zur Bewältigung realer Herausforderungen einzusetzen. Der Schwerpunkt seiner Arbeit liegt auf sozialen Auswirkungen, darunter Projekte wie prädiktive Gesundheitstools, energieeffiziente Sensible Grids und Fußgängersicherheitssysteme. In Zusammenarbeit mit Institutionen wie IITs und NUS präsentierte Aayam seine Forschung auf Plattformen wie IEEE. Für Aayam stellt KI die Fähigkeit dar, Lücken in Bezug auf Zugänglichkeit, Nachhaltigkeit und Sicherheit zu schließen. Er ist bestrebt, revolutionary Lösungen zu entwickeln, die auf eine gerechtere und integrativere Zukunft ausgerichtet sind.

Melden Sie sich für die kostenlosen insideAI-Information an Publication.

Begleiten Sie uns auf Twitter: https://twitter.com/InsideBigData1

Treten Sie uns auf LinkedIn bei: https://www.linkedin.com/firm/insideainews/

Begleiten Sie uns auf Fb: https://www.fb.com/insideAINEWSNOW

Einführung

Die KI-Entwicklung macht erhebliche Fortschritte, insbesondere mit dem Aufkommen von Giant Language Fashions (LLMs) und Retrieval-Augmented Era (RAG) Anwendungen. Da Entwickler bestrebt sind, robustere und zuverlässigere KI-Systeme zu entwickeln, sind Instruments, die die Bewertung und Überwachung erleichtern, unverzichtbar geworden. Ein solches Device ist Opik, eine Open-Supply-Plattform zur Optimierung der Bewertung, Prüfung und Überwachung von LLM-Anwendungen. In diesem Artikel werden LLM- und RAG-Anwendungen mit Opik bewertet und überwacht.

Überblick

1. Opik ist eine von Comet entwickelte Open-Supply-Plattform zur Bewertung und Überwachung von LLM-Anwendungen.
2. Es ermöglicht die Protokollierung und Nachverfolgung von LLM-Interaktionen und hilft Entwicklern, Probleme in Echtzeit zu identifizieren und zu beheben.
3. Die Bewertung von LLMs ist von entscheidender Bedeutung, um Genauigkeit und Relevanz sicherzustellen und Halluzinationen in den Modellergebnissen zu vermeiden.
4. Opik unterstützt die Integration mit Frameworks wie Pytest und erleichtert so die Ausführung wiederverwendbarer Evaluierungspipelines.
5. Die Plattform bietet sowohl Python SDK als auch eine Benutzeroberfläche und deckt damit ein breites Spektrum an Benutzerpräferenzen ab.
6. Opik kann mit Ragas zur Überwachung und Bewertung von RAG-Systemen verwendet werden, indem Metriken wie Antwortrelevanz und Kontextgenauigkeit berechnet werden.

Was ist Opik?

Opik ist ein Open-Supply-LLM Evaluierungs- und Überwachungsplattform von Comet. Es ermöglicht Ihnen, Ihre LLM-Traces in Entwicklung und Produktion zu protokollieren, zu überprüfen und auszuwerten. Sie können die Plattform und unser LLM auch als Richterbewerter nutzen, um Probleme mit Ihrer LLM-Bewerbung zu identifizieren und zu beheben.

Warum ist eine Bewertung wichtig?

Bewerten LLMs und RAG-Systeme gehen über die Prüfung der Genauigkeit hinaus. Dazu gehören Faktoren wie Antwortrelevanz, Richtigkeit, Kontextgenauigkeit und die Vermeidung von Halluzinationen. Instruments wie Opik und Ragas Ermöglichen Sie den Groups Folgendes:

• Verfolgen Sie die LLM-Leistung in Echtzeit und identifiziert Engpässe und Bereiche, in denen das System möglicherweise falsche oder irrelevante Ausgaben generiert.
• Bewerten Sie RAG-Pipelinesum sicherzustellen, dass das Abrufsystem genaue, relevante und vollständige Informationen für die anstehenden Aufgaben bereitstellt.

Hauptmerkmale von Opik

Hier sind die wichtigsten Funktionen von Opik:

1. Finish-to-Finish-LLM-Bewertung

• Opik verfolgt automatisch die gesamte LLM-Pipeline und liefert Einblicke in jede Komponente der Anwendung. Diese Fähigkeit ist entscheidend für das Debuggen und das Verständnis, wie verschiedene Teile des Techniques interagieren1.
• Es unterstützt komplexe Auswertungen sofort und ermöglicht es Entwicklern, Metriken zu implementieren, die die Modellleistung schnell bewerten.

2. Echtzeitüberwachung

• Die Plattform ermöglicht die Echtzeitüberwachung von LLM-Anwendungen, was dabei hilft, unbeabsichtigtes Verhalten und Leistungsprobleme zu erkennen, sobald sie auftreten.
• Entwickler können Interaktionen mit ihren LLM-Anwendungen protokollieren und diese Protokolle überprüfen, um das Verständnis und die Leistung kontinuierlich zu verbessern24.

3. Integration mit Check-Frameworks

• Opik lässt sich nahtlos in gängige Check-Frameworks wie Pytest integrieren und ermöglicht so „Modell-Unit-Checks“. Diese Funktion erleichtert die Erstellung wiederverwendbarer Evaluierungspipelines, die auf verschiedene Arten angewendet werden können Anwendungen.
• Entwickler können Bewertungsdatensätze innerhalb der Plattform speichern und Bewertungen mithilfe integrierter Metriken zur Halluzinationserkennung und anderen wichtigen Maßnahmen durchführen.

4. Benutzerfreundliche Oberfläche

• Die Plattform bietet sowohl a Python SDK für Entwickler, die Codierung bevorzugen, und eine Benutzeroberfläche für diejenigen, die grafische Interaktion bevorzugen. Dieser duale Ansatz macht es einem breiteren Benutzerkreis zugänglich.

Erste Schritte mit Opik

Opik ist für die nahtlose Integration in LLM-Systeme wie die GPT-Modelle von OpenAI konzipiert. Auf diese Weise können Sie Ablaufverfolgungen protokollieren, Ergebnisse auswerten und die Leistung in jedem Pipeline-Schritt überwachen. Hier erfahren Sie, wie Sie beginnen.

Protokollspuren für OpenAI LLM-Aufrufe – Setup-Umgebung

1. Erstellen Sie ein Opik-Konto: Gehen Sie rüber zu Komet und ein Konto erstellen. Zum Protokollieren von Traces benötigen Sie einen API-Schlüssel.
2. Protokollierungsspuren für OpenAI LLM-Aufrufe: Mit Opik können Sie Spuren protokollieren OpenAI Aufrufe, indem Sie sie mit der Funktion track_openai umschließen. Dadurch wird sichergestellt, dass jede Interaktion mit dem LLM protokolliert wird, was eine detaillierte Analyse ermöglicht.

Set up

Sie können Opik mit pip installieren:

!pip set up --upgrade --quiet opik openai

import opik

opik.configure(use_local=False)

import os

import getpass

if "OPENAI_API_KEY" not in os.environ:

    os.environ("OPENAI_API_KEY") = getpass.getpass("Enter your OpenAI API key: ")

Opik lässt sich in OpenAI integrieren, um eine einfache Möglichkeit zur Protokollierung von Ablaufverfolgungen für alle OpenAI-LLM-Aufrufe zu bieten.

Comet bietet eine gehostete Model der Opik-Plattform. Sie können ein Konto erstellen und Ihren API-Schlüssel erhalten.

Protokollierungsspuren für OpenAI LLM-Aufrufe – Protokollierungsspuren

from opik.integrations.openai import track_openai

from openai import OpenAI

os.environ("OPIK_PROJECT_NAME") = "openai-integration-demo"

consumer = OpenAI()

openai_client = track_openai(consumer)

immediate = """

Write a brief two sentence story about Opik.

"""

completion = openai_client.chat.completions.create(

    mannequin="gpt-3.5-turbo",

    messages=(

        {"position": "person", "content material": immediate}

    )

)

print(completion.selections(0).message.content material)

Um Spuren zu Opik zu protokollieren, müssen wir unsere OpenAI-Aufrufe mit der Funktion track_openai umschließen.

Dieses Beispiel zeigt, wie man einen von Opik umhüllten OpenAI-Consumer für die Hint-Protokollierung einrichtet und mit einer einfachen Eingabeaufforderung eine Chat-Abschlussanforderung erstellt.

Die Eingabeaufforderungs- und Antwortnachrichten werden automatisch in OPik protokolliert und können in der Benutzeroberfläche angezeigt werden.

Protokollierungsspuren für OpenAI LLM-Aufrufe – Protokollierung mehrstufiger Spuren

from opik import monitor

from opik.integrations.openai import track_openai

from openai import OpenAI

os.environ("OPIK_PROJECT_NAME") = "openai-integration-demo"

consumer = OpenAI()

openai_client = track_openai(consumer)

@monitor

def generate_story(immediate):

    res = openai_client.chat.completions.create(

        mannequin="gpt-3.5-turbo",

        messages=(

            {"position": "person", "content material": immediate}

        )

    )

    return res.selections(0).message.content material

@monitor

def generate_topic():

    immediate = "Generate a subject for a narrative about Opik."

    res = openai_client.chat.completions.create(

        mannequin="gpt-3.5-turbo",

        messages=(

            {"position": "person", "content material": immediate}

        )

    )

    return res.selections(0).message.content material

@monitor

def generate_opik_story():

    matter = generate_topic()

    story = generate_story(matter)

    return story

generate_opik_story()

Wenn Ihre LLM-Pipeline mehrere Schritte enthält, können Sie den Monitor Decorator verwenden, um die Ablaufverfolgungen für jeden Schritt zu protokollieren.

Wenn OpenAI innerhalb eines dieser Schritte aufgerufen wird, wird der LLM-Aufruf dem entsprechenden Schritt zugeordnet.

Dieses Beispiel zeigt, wie Sie mithilfe des @track-Dekorators Ablaufverfolgungen für mehrere Schritte in einem Prozess protokollieren und dabei den Fluss von der Themengenerierung zur Story-Generierung erfassen.

Opik mit Ragas zur Überwachung und Bewertung von RAG Techniques

!pip set up --quiet --upgrade opik ragas

import opik

opik.configure(use_local=False)

• Hier sind zwei Hauptmöglichkeiten, Opik mit Ragas zu verwenden:
  • Verwendung von Ragas-Metriken zur Bewertung von Spuren.
  • Verwenden der Ragas-Bewertungsfunktion zum Bewerten eines Datensatzes.
• Komet stellt eine gehostete Model der Opik-Plattform bereit. Du kannst ein Konto erstellen und holen Sie sich dort Ihren API-Schlüssel.

Beispiel zum Festlegen eines API-Schlüssels:

import os

import getpass

if "OPENAI_API_KEY" not in os.environ:

    os.environ("OPENAI_API_KEY") = getpass.getpass("Enter your OpenAI API key: ")

Erstellen einer einfachen RAG-Pipeline mit Ragas-Metriken

Ragas bietet eine Reihe von Metriken, die zur Bewertung der Qualität einer RAG-Pipeline verwendet werden können, einschließlich, aber nicht beschränkt auf: Antwortrelevanz, Antwortähnlichkeit, Antwortkorrektheit, Kontextgenauigkeit, Kontextrückruf, Kontextentitätsrückruf, Zusammenfassungsbewertung.

Eine vollständige Liste der Metriken finden Sie im Ragas-Dokumentation.

Diese Metriken können im Handumdrehen berechnet und in Opik in Traces oder Spans protokolliert werden. In diesem Beispiel erstellen wir zunächst eine einfache RAG-Pipeline und bewerten sie dann mithilfe der Metrik „answer_relevancy“.

# Import the metric

from ragas.metrics import AnswerRelevancy

# Import some extra dependencies

from langchain_openai.chat_models import ChatOpenAI

from langchain_openai.embeddings import OpenAIEmbeddings

from ragas.llms import LangchainLLMWrapper

from ragas.embeddings import LangchainEmbeddingsWrapper

# Initialize the Ragas metric

llm = LangchainLLMWrapper(ChatOpenAI())

emb = LangchainEmbeddingsWrapper(OpenAIEmbeddings())

answer_relevancy_metric = AnswerRelevancy(llm=llm, embeddings=emb)

Um die Ragas-Metrik ohne Verwendung der Evaluierungsfunktion zu verwenden, müssen Sie sie mit einem RunConfig-Objekt und einem LLM-Anbieter initialisieren. In diesem Beispiel verwenden wir LangChain als LLM-Anbieter mit aktiviertem Opik-Tracer.

Wir beginnen zunächst mit der Initialisierung der Ragas-Metrik.

# Run this cell first in case you are operating this in a Jupyter pocket book

import nest_asyncio

nest_asyncio.apply()

import asyncio

from ragas.integrations.opik import OpikTracer

from ragas.dataset_schema import SingleTurnSample

import os

os.environ("OPIK_PROJECT_NAME") = "ragas-integration"

# Outline the scoring operate

def compute_metric(metric, row):

    row = SingleTurnSample(**row)

    opik_tracer = OpikTracer(tags=("ragas"))

    async def get_score(opik_tracer, metric, row):

        rating = await metric.single_turn_ascore(row, callbacks=(opik_tracer))

        return rating

    # Run the async operate utilizing the present occasion loop

    loop = asyncio.get_event_loop()

    outcome = loop.run_until_complete(get_score(opik_tracer, metric, row))

    return outcome

• Sobald die Metrik initialisiert ist, können Sie sie zum Bewerten einer Beispielfrage verwenden.
• Dazu müssen wir zunächst eine Bewertungsfunktion definieren, die einen Datensatz mit Eingaben, Kontext usw. aufnehmen und ihn anhand der zuvor definierten Metrik bewerten kann.
• Da die Metrikbewertung asynchron erfolgt, müssen Sie die Asyncio-Bibliothek verwenden, um die Bewertungsfunktion auszuführen.

# Rating a easy instance

row = {

   "user_input": "What's the capital of France?",

   "response": "Paris",

   "retrieved_contexts": ("Paris is the capital of France.", "Paris is in France."),

}

rating = compute_metric(answer_relevancy_metric, row)

print("Reply Relevancy rating:", rating)

Wenn Sie nun zu Opik navigieren, können Sie sehen, dass im Default Venture-Projekt ein neuer Hint erstellt wurde.

Sie können die Funktion „update_current_trace“ verwenden, um Ablaufverfolgungen zu bewerten.

Diese Methode hat den Vorteil, dass die Bewertungsspanne zur Ablaufverfolgung hinzugefügt wird, was eine tiefergehende Untersuchung des RAG-Prozesses ermöglicht. Da die Ragas-Metrik jedoch synchron berechnet wird, ist sie möglicherweise nicht für den Einsatz in Produktionsszenarien geeignet.

from opik import monitor, opik_context

@monitor

def retrieve_contexts(query):

    # Outline the retrieval operate, on this case we'll onerous code the contexts

    return ("Paris is the capital of France.", "Paris is in France.")

@monitor

def answer_question(query, contexts):

    # Outline the reply operate, on this case we'll onerous code the reply

    return "Paris"

@monitor(identify="Compute Ragas metric rating", capture_input=False)

def compute_rag_score(answer_relevancy_metric, query, reply, contexts):

    # Outline the rating operate

    row = {"user_input": query, "response": reply, "retrieved_contexts": contexts}

    rating = compute_metric(answer_relevancy_metric, row)

    return rating

@monitor

def rag_pipeline(query):

    # Outline the pipeline

    contexts = retrieve_contexts(query)

    reply = answer_question(query, contexts)

    rating = compute_rag_score(answer_relevancy_metric, query, reply, contexts)

    opik_context.update_current_trace(

        feedback_scores=({"identify": "answer_relevancy", "worth": spherical(rating, 4)})

    )

    return reply

rag_pipeline("What's the capital of France?")

Datensätze auswerten

from datasets import load_dataset

from ragas.metrics import context_precision, answer_relevancy, faithfulness

from ragas import consider

from ragas.integrations.opik import OpikTracer

fiqa_eval = load_dataset("explodinggradients/fiqa", "ragas_eval")

# Reformat the dataset to match the schema anticipated by the Ragas consider operate

dataset = fiqa_eval("baseline").choose(vary(3))

dataset = dataset.map(

    lambda x: {

        "user_input": x("query"),

        "reference": x("ground_truths")(0),

        "retrieved_contexts": x("contexts"),

    }

)

opik_tracer_eval = OpikTracer(tags=("ragas_eval"), metadata={"evaluation_run": True})

outcome = consider(

    dataset,

    metrics=(context_precision, faithfulness, answer_relevancy),

    callbacks=(opik_tracer_eval),

)

print(outcome)

Wenn Sie einen Datensatz bewerten möchten, können Sie die Auswertungsfunktion von Raga verwenden. Wenn diese Funktion aufgerufen wird, berechnet die Ragas-Bibliothek die Metriken für jede Zeile im Datensatz und gibt eine Zusammenfassung der Ergebnisse zurück.

Verwenden Sie den OpikTracer-Callback, um die Bewertungsergebnisse auf der Opik-Plattform zu protokollieren:

Evaluierung von LLM-Anwendungen mit Opik

Durch die Bewertung Ihrer LLM-Anwendung können Sie Vertrauen in deren Leistung gewinnen. Dieser Evaluierungssatz wird häufig sowohl während der Entwicklung als auch im Rahmen des Testens einer Anwendung durchgeführt.

Die Auswertung erfolgt in fünf Schritten:

1. Fügen Sie Tracing zu Ihrer LLM-Anwendung hinzu.
2. Definieren Sie die Bewertungsaufgabe.
3. Wählen Sie den Datensatz aus, anhand dessen Sie Ihre Bewerbung bewerten möchten.
4. Wählen Sie die Kennzahlen aus, mit denen Sie Ihre Bewerbung bewerten möchten.
5. Erstellen Sie das Bewertungsexperiment und führen Sie es aus.

Fügen Sie Tracing zu Ihrer LLM-Anwendung hinzu.

from opik import monitor

from opik.integrations.openai import track_openai

import openai

openai_client = track_openai(openai.OpenAI())

# This technique is the LLM utility that you simply need to consider

# Usually, this isn't up to date when creating evaluations

@monitor

def your_llm_application(enter: str) -> str:

    response = openai_client.chat.completions.create(

        mannequin="gpt-3.5-turbo",

        messages=({"position": "person", "content material": enter}),

    )

    return response.selections(0).message.content material

@monitor

def your_context_retriever(enter: str) -> str:

    return ("...")

• Obwohl dies nicht erforderlich ist, wird das Hinzufügen von Monitoring zu Ihrer LLM-Bewerbung empfohlen. Dies ermöglicht einen vollständigen Einblick in jeden Evaluierungslauf.
• Das Beispiel zeigt die Verwendung einer Kombination aus dem Monitor Decorator und der Funktion track_openai zum Verfolgen der LLM-Anwendung.

Dadurch wird sichergestellt, dass Antworten aus den Modell- und Kontextabrufprozessen während der Auswertung verfolgt werden.

Definieren Sie die Bewertungsaufgabe

def evaluation_task(x: DatasetItem):

    return {

        "enter": x.enter('user_question'),

        "output": your_llm_application(x.enter('user_question')),

        "context": your_context_retriever(x.enter('user_question'))

    }

• Sie können die Evaluierungsaufgabe definieren, nachdem Sie Ihrer LLM-Anwendung Instrumentierung hinzugefügt haben.
• Die Auswertungsaufgabe verwendet ein Datensatzelement als Eingabe und gibt ein Wörterbuch zurück. Das Wörterbuch enthält Schlüssel, die den Parametern entsprechen, die von den von Ihnen verwendeten Metriken erwartet werden.
• In diesem Beispiel ruft die Funktion „evaluation_task“ die Eingabe aus dem Datensatz (x.enter(‚user_question‘)) ab, führt sie durch die LLM-Anwendung und ruft den Kontext mithilfe der Methode „your_context_retriever“ ab.

Mit dieser Methode werden die Auswertungsdaten für die weitere Analyse strukturiert.

Wählen Sie die Auswertungsdaten

Wenn Sie bereits einen Datensatz erstellt haben:

Sie können die Funktion Opik.get_dataset verwenden, um es abzurufen:

Codebeispiel:

from opik import Opik

consumer = Opik()

dataset = consumer.get_dataset(identify="your-dataset-name")

Wenn Sie noch keinen Datensatz haben:

Sie können eines mit der Funktion Opik.create_dataset erstellen:

Codebeispiel:

from opik import Opik

from opik.datasets import DatasetItem

consumer = Opik()

dataset = consumer.create_dataset(identify="your-dataset-name")

dataset.insert((

    DatasetItem(enter="Hiya, world!", expected_output="Hiya, world!"),

    DatasetItem(enter="What's the capital of France?", expected_output="Paris"),

))

• Um einen vorhandenen Datensatz abzurufen, verwenden Sie get_dataset mit dem Datensatznamen.
• Um einen neuen Datensatz zu erstellen, verwenden Sie create_dataset. Mit der Einfügefunktion können Sie Datenelemente in den Datensatz einfügen.

Wählen Sie die Bewertungsmetriken

Im selben Bewertungsexperiment können Sie mehrere Metriken verwenden, um Ihre Anwendung zu bewerten:

from opik.analysis.metrics import Equals, Hallucination

equals_metric= Equals()

hallucination_metric=Hallucination()

Opik bietet eine Reihe integrierter Bewertungsmetriken, aus denen Sie auswählen können. Diese sind in zwei Hauptkategorien unterteilt:

1. Heuristische Metriken: Diese Metriken sind deterministischer Natur, zum Beispiel gleich oder enthält
2. LLM als Richter: Diese Metriken verwenden ein LLM, um die Qualität der Ausgabe zu beurteilen. Typischerweise werden diese zur Erkennung von Halluzinationen oder Kontextrelevanz verwendet

Führen Sie die Auswertung durch

analysis= consider(experiment_name=”My experiment”,dataset=dataset,activity=evaluation_task,scoring_metrics=(hallucination_metric),experiment_config={”mannequin”: Mannequin})

Nachdem wir nun die Aufgabe, die wir auswerten möchten, den auszuwertenden Datensatz und die Metriken, mit denen wir auswerten möchten, haben, können wir die Auswertung durchführen.

Abschluss

Opik stellt einen bedeutenden Fortschritt bei den verfügbaren Instruments zur Bewertung und Überwachung von LLM-Anwendungen dar. Entwickler können sicher vertrauenswürdige KI-Systeme aufbauen, indem sie umfassende Funktionen zum Verfolgen, Bewerten und Debuggen von LLMs in einem benutzerfreundlichen Rahmen anbieten. Mit der Weiterentwicklung der KI-Technologie werden Instruments wie Opik von entscheidender Bedeutung sein, um sicherzustellen, dass diese Systeme in realen Anwendungen effektiv und zuverlässig funktionieren.

Wenn Sie außerdem on-line nach einem Generative-KI-Kurs suchen, dann schauen Sie sich Folgendes an: GenAI Pinnacle-Programm

Häufig gestellte Fragen

Ausgehend von CloudWatch-EreignisseAmazon Internet Companies (AWS) hat EventBridge im Juli 2019 eingeführt: ein serverloses Angebot für ereignisgesteuerte Architekturen, das jetzt aus mehreren Komponenten besteht:

• Busse (Makler) mit Regeln um Verbraucher mit Eventproduzenten zu integrieren.
• Terminplanung für vollständig verwaltete Aufrufe einmaliger oder wiederkehrender Aufgaben.
• Rohre bietet verwaltete Integrationen zwischen Produzenten und Verbrauchern.

Es gibt viel Materials on-line, das erklärt, wie EventBridge funktioniert. Produktdokumentation dient als wertvoller Ausgangspunkt. In diesem Beitrag werden wir uns speziell mit der Überwachung von EventBridge-Regeln befassen.

Wir beginnen mit einem Überblick über die Funktionsweise von Metriken. Anschließend untersuchen wir die aktuellen Angebote für Regelmetriken und identifizieren deren Einschränkungen. Nachdem wir eine breite Palette von Regelmetriken abgedeckt haben, schließen wir mit Verbesserungsvorschlägen ab, die den Kunden einen Mehrwert bieten können.

In Übereinstimmung mit anderen AWS-Diensten bieten EventBridge Guidelines CloudWatch-Metriken um die Leistung zu beobachten. Einige Kennzahlen können durch eine oder mehrere Maße um das Verhalten von … zu überprüfen