Apple hat gerade ein weiteres Device von der eigenständigen Software program in die Fotos-App verschoben. Benutzer können jetzt ein Foto ziehen und eine Vorschau aus einem anderen Kamerawinkel anzeigen. Apples Modelle generieren nur die neu belichteten Regionen. Nennen Sie es räumliche Auffrischung. Was es wirklich signalisiert, ist, wie schnell kreative Instruments in Betriebssystemen verschwinden, sobald sie „intestine genug“ sind.

Jahrelang bedeutete die Smartphone-Fotografie, die Aufnahme zu verbessern. HDR, Nachtmodi, Porträtsegmentierung, Rauschunterdrückung. Telefone verarbeiten Photonen intelligenter. Die Fotos wurden nicht von Benutzern erstellt, sondern von Mobiltelefonen. Spatial Reframing kehrt diese Beziehung um. Benutzer bearbeiten jetzt die Szenengeometrie nach der Aufnahme. Offensichtliche Änderungen der Kameraposition. Die Leinwand erweitert sich. Objekte verschwinden. Pixel materialisieren.

Apple ist mit der generativen Bearbeitung nicht allein. Google Fotos bietet ähnliche Instruments. Adobe hat Generative Broaden in Photoshop und Browsern eingebettet. Auf den Unterschied kommt es an: die Verteilung. Apple erfordert keine separaten Apps, Inventive Cloud-Abonnements oder Exporte. Benutzer bearbeiten in Fotos – der Anwendung, die jeder iPhone-Benutzer täglich öffnet. Dieser Verteilungsvorteil ist schwer zu überwinden.

Aber die Verteilung schafft zwei Probleme. Eine davon bedroht den Markt für Kreativsoftware. Man bedroht das Vertrauen.

Was Spatial Reframing tatsächlich bewirkt

Benutzer ziehen ein Foto und Apple generiert die Pixel, die sie aus einem etwas anderen Kamerawinkel sehen würden. Es werden nur neu belichtete Regionen generiert. Eine separate Funktion namens „Prolong“ erweitert die Leinwand über die ursprünglichen Rahmengrenzen hinaus und synthetisiert fehlende Inhalte.

Spatial Reframing unterscheidet sich von Prolong. Erweitern füllt leeren Raum. Spatial Reframing verändert die scheinbare Perspektive. Generative Broaden von Adobe konkurriert direkt mit Prolong. Spatial Reframing versucht etwas Ehrgeizigeres: ein echtes Foto so erscheinen zu lassen, als wäre es aus einem Blickwinkel aufgenommen worden, den es nie gegeben hat.

Zu den realen Anwendungsfällen gehören die Verbesserung der Motivplatzierung, die Korrektur ungünstiger Bildausschnitte, die Anpassung von Fotos an unterschiedliche Seitenverhältnisse in sozialen Medien, die Schaffung von Platz für Textüberlagerungen und die Umgestaltung von Räumen, um sie geräumiger erscheinen zu lassen. Immobilienfotografen erhalten ein neues Device. Content material-Ersteller vermeiden Neuaufnahmen. Marketingteams erstellen Formatvarianten aus einem einzigen Asset.

Laut Apple funktioniert die Funktion bei vorhandenen Fotos in der Bibliothek eines Benutzers, nicht nur bei aktuellen Aufnahmen. Die Kompatibilität umfasst iPhone, iPad und Mac. Apple hat nicht bekannt gegeben, ob Spatial Reframing immer auf dem Gerät läuft oder manchmal über Non-public Cloud Compute weitergeleitet wird. Die meisten unterstützten Geräte können ohne zusätzliche Abonnements darauf zugreifen.

Wie sich dadurch die kreative Arbeit verändert

Die Smartphone-Fotografie entwickelte sich durch Schichten. Frühe Berechnungen befassten sich mit Sensorgrenzen: hellere Nächte, lebendigere Farben, schärfere Particulars. Mithilfe von Mobiltelefonen konnten Benutzer auch unter schlechten Bedingungen bessere Aufnahmen machen.

Spätere Schichten befassten sich mit der Rahmung. Der Porträtmodus trennte Motive vom Hintergrund. Computerzoom mit erweiterter Reichweite. Durch Multi-Body-Fusion aufgelöste Szenen mit hohem Dynamikumfang. Mithilfe von Mobiltelefonen konnten Benutzer bessere Bildausschnitte mit gegebener Physik erfassen.

Spatial Reframing stellt eine dritte Ebene dar. Telefone verarbeiten die von der Kamera aufgenommenen Photonen nicht mehr. Telefone synthetisieren Photonen, die die Kamera nie eingefangen hat. Die Absicht des Fotografen verschiebt sich von „was tatsächlich vor der Linse battle“ hin zu „wie die Szene aus einem anderen Blickwinkel hätte aussehen können“.

Apple führt diese Fähigkeit teilweise auf die durch Imaginative and prescient Professional entwickelte Erfahrung zurück. Räumliches Verständnis – wie sich Objekte im dreidimensionalen Raum verhalten – ist für Geräte zur Raumberechnung von Bedeutung. Apple hat dieses Wissen entwickelt. Apple wendet es jetzt auf Computerfotografie an. Telefone erhalten die Fähigkeit, dreidimensionale Szenen zu modellieren und believable different Perspektiven zu generieren.

Smartphones dokumentieren nicht mehr nur die Realität. Smartphones kuratieren und rekonstruieren es. Benutzer gewinnen kreative Handlungsfreiheit. Benutzer erhalten außerdem die Möglichkeit, Fotos auf eine Weise zu bearbeiten, die schwerer zu erkennen oder rückgängig zu machen ist. Die Grenzen zwischen Fotografie und digitaler Kunst verschwimmen.

Warum sich Adobe um die Einstiegsebene kümmern sollte

Spatial Reframing erzeugt direkten Wettbewerbsdruck in einem Marktsegment: der gelegentlichen Bildbearbeitung. Ersteller, die einfache cell Bearbeitungs-Apps verwenden, verfeinern jetzt die Komposition in Fotos. Kleine E-Commerce-Verkäufer erweitern ihren Produkthintergrund, ohne Designer einzustellen. Marketingteams erstellen Formatvarianten ohne Instruments von Drittanbietern.

Photoshop-Benutzer werden die Software program für Fotos nicht aufgeben. Professionelle Fotografen verlassen sich auf Ebenen, zerstörungsfreie Arbeitsabläufe, Masken, Farbmanagement und Drucksteuerungen, die Apple nicht bietet. Studioproduktionsteams nutzen integrierte Asset-Pipelines. Fotos können nicht repliziert werden.

Was Apple tatsächlich bedroht, ist der Übernahmetrichter. Ersteller beginnen oft mit einfachen Bearbeitungstools. Der Erfolg führt manchmal zu Inventive Cloud-Abonnements, wenn Benutzer an Grenzen stoßen und Leistung benötigen. Apple bündelt ausreichend leistungsfähige Instruments direkt in das Betriebssystem. Weniger Gelegenheitsanwender wechseln jemals zu Photoshop.

Adobe verliert im Einstiegssegment Marktanteile. Adobe verliert die professionellen Einnahmen von Photoshop nicht. Der Umsatzdruck im Einstiegssegment nimmt jedoch mit der Zeit zu. Benutzer, die Inventive Cloud überhaupt nicht kaufen, stellen echtes Geld dar, das Adobe nicht kassiert.

Das Entfernen von Objekten und das generative Füllen folgen demselben Muster. Adobe hat diese Funktionen jahrelang verkauft. Durch die Bündelung dieser Fotos durch Apple stoßen weniger Benutzer auf Einschränkungen und entscheiden sich, für professionelle Software program zu zahlen. Die eigentliche Bedrohung von Adobe sind keine professionellen Instruments. Die Bedrohung von Adobe ist der Akquisitionstrichter.

Das Authentizitäts- und Transparenzproblem

Laut Apple erhalten mit Apple Intelligence bearbeitete Fotos ein verstecktes SynthID-Wasserzeichen, das sie als KI-bearbeitet identifiziert. SynthID ist maschinell erkennbar und für menschliche Betrachter nicht unbedingt sichtbar. Apple hat kein sichtbares Vorher-Nachher-Overlay angekündigt, das genau zeigt, welche Pixel Spatial Reframing generiert hat.

Die verborgene Herkunft schafft ein politisches Drawback. Wenn sich durch Bearbeitungen die scheinbare Kameraposition und die Szenengeometrie ändern, kann der Betrachter erfasste Pixel nicht mehr leicht von synthetisierten Pixeln unterscheiden. Immobilienangebote könnten großzügiger erscheinen. Produktfotos könnten Mängel verbergen. Nachrichtenfotografie könnte unsichtbare Perspektiven beinhalten, die als eingefangene Realität dargestellt werden.

SynthID hilft automatisierten Instruments, bearbeitete Medien zu identifizieren. SynthID informiert keine Particular person, die einen Screenshot, einen Repost, eine komprimierte Kopie oder ein gedrucktes Bild ansieht. Organisationen in den Bereichen Nachrichten, Versicherungen, Immobilien, Produktwerbung, Beweissammlung und medizinische Dokumentation müssen ästhetische Bearbeitungen von beweiskräftigen Bildern unterscheiden. Versteckte Wasserzeichen reichen nicht aus.

Apple muss mit regulatorischem und politischem Druck in Bezug auf Transparenz rechnen. Die EU äußert Bedenken hinsichtlich der Authentizität generativer Medien. FTC prüft KI-generierte Inhalte in der Werbung. Nachrichtenorganisationen benötigen Transparenz über die KI-Bearbeitung. Apples aktueller Ansatz – verstecktes Wasserzeichen, keine sichtbare Generationskarte – wird wahrscheinlich keinen Interessenvertreter zufriedenstellen.

Praktischer ausgedrückt stellt der Mangel an sichtbarer Transparenz ein Vertrauensrisiko für Apple selbst dar. Benutzer müssen verstehen, welche Teile eines Fotos von der Kamera und welche von der Synthese stammen. Ohne Klarheit wird Spatial Reframing zu einem Werkzeug für zufällige Täuschung. Apple wird zur Plattform, die dies ermöglicht hat.

Die Regulierungsbehörden werden fragen: Können Benutzer sehen, was generiert wurde? Können Benutzer eine Generationskarte einsehen? Können Benutzer generative Funktionen deaktivieren? Können Benutzer generierte Änderungen löschen? Apple hat diese Fragen nicht öffentlich beantwortet.

Der Monetarisierungspfad

Die meisten Apple Intelligence-Funktionen werden ohne zusätzliche Kosten geliefert. Für einige serverabhängige Bildgenerierungsfunktionen gelten tägliche Nutzungsbeschränkungen. Höherstufige iCloud+-Abonnements bieten erweiterten Zugriff. Apple hat nicht angegeben, ob Spatial Reframing Einschränkungen unterliegt oder ob die Nutzung mit der Abonnementstufe steigt.

Wenn Spatial Reframing stark nachgefragt wird, hat Apple einen klaren Weg zur Monetarisierung: Verknüpfen Sie die verstärkte Nutzung mit iCloud+-Plänen. Benutzer zahlen für Cloud-Speicher. Höherstufige Pläne schalten eine erhöhte KI-generierte Bearbeitungskapazität frei. Apple bleibt bei der Auffassung, dass „KI mit Ihrem Gerät geliefert wird“, und führt gleichzeitig eine Umsatzstufe für stille Dienste ein.

Abonnementstufen für kreative Funktionen funktionieren am besten, wenn sie sich natürlich anfühlen. Cloud-Speichergrenzen fühlen sich natürlich an. KI-Nutzungsbeschränkungen wirken künstlich, sofern sie nicht klar erklärt werden. Apple muss sich entscheiden: versteckte Grenzen, die Benutzer durch Erfahrung entdecken, oder transparente Stufenstrukturen, die den Kompromiss deutlich machen.

Was kommt als nächstes?

Spatial Reframing signalisiert, dass Apple mehr Funktionen übernehmen wird, die bisher in eigenständigen Anwendungen vorhanden waren. Weiterentwicklung der Hintergrundentfernung. Einfügen von Objekten. Stilübertragung. Kompositionshilfe. Jedes verringert die Gründe für Benutzer, separate Kreativtools zu öffnen.

Die Auswirkungen auf den Wettbewerb sind für Adobe klar. Apple versucht nicht, professionelle Arbeitsabläufe zu ersetzen. Apple fügt der standardmäßigen kreativen Benutzeroberfläche ausreichend leistungsstarke Funktionen hinzu – die Fotos-App, die jeder iPhone-Benutzer täglich öffnet. Der Vertriebsvorteil ist schwer zu überwinden.

Die politischen Implikationen sind ebenso klar. Generative Bearbeitung, die die Szenengeometrie verändert, birgt Authentizitätsrisiken, die Apple nicht clear angesprochen hat. Benutzer können visuell nicht unterscheiden, was erfasst und synthetisiert wurde. Die Regulierungsbehörden werden Apple auffordern, diese Lücke zu schließen – durch sichtbare Metadaten, Vorher-Nachher-Überlagerungen oder Workflow-Instruments, die die Authentizität dokumentieren.

Apple hat ein enges Zeitfenster, um Transparenzstandards festzulegen, bevor die Regulierungsbehörden sie durchsetzen. Sichtbare Generationskarten würden helfen. Deutliche Vorher-Nachher-Overlays wären hilfreich. Eine klare Richtliniendokumentation darüber, was generiert wurde, wäre hilfreich. Versteckte SynthID-Wasserzeichen reichen nicht aus.

Die Leistungsfähigkeit ist beeindruckend. Die politische Grundlage ist unvollständig.

Wenn Sie möchten, dass ein LLM-Agent Anfang 2026 mit einem System kommuniziert, müssen Sie dafür einen MCP-Server installieren.

GitHub. Jira. Locker. Linear. Postgres. Neo4j. Jeder wird mit einem Server geliefert, der ein übersichtliches Menü an Instruments bereitstellt. create_issue, list_pull_requests, merge_pull_request, get_repository, search_codeusw., und Sie weisen Ihren Agenten darauf hin.

Es ist ein großartiges Onboarding-Erlebnis. Für überraschend viele reale Arbeitslasten ist es auch die falsche Kind.

Die These ist kurz: Das MCP-Design verpackt normalerweise jeden Dienst als einen Stapel dedizierter Instruments. Eine CLI gibt dem Agenten ein wirklich flexibles Software an die Hand. Bei den heutigen Modellen gewinnt das versatile Werkzeug.

Die beiden Formen fordern das Modell auf, unterschiedliche Arbeiten auszuführen. Mit einem Haufen dedizierter Instruments muss der Agent es einfach tun Wählen Sie das Richtige aus einem Menü aus. Bei einem flexiblen Werkzeug muss es so sein Finden Sie heraus, wie Sie die Teile selbst zusammensetzen. Der zweite Teil conflict früher der schwierigste. Modelle halluzinierten Flaggen, verloren bei langen Pipelines den Faden und lasen Hilfetexte falsch, daher conflict es eine vernünftige Verteidigung, jede Operation in ein vorgefertigtes Software zu packen. Das stimmt einfach nicht mehr. Heutige Modelle lesen a --help Seite bzw SKILL.md Wenn nötig, kennen Sie die kanonischen CLIs aus dem Coaching, reihen Sie Bash ohne Aufsicht aneinander und versuchen Sie es erneut, wenn ein Flag falsch ist. Der schwierige Teil wurde einfach, der einfache Teil conflict immer einfach, und all diese ordentlich verpackten Instruments blähen den Kontext des Modells jetzt größtenteils umsonst auf.

Natürlich gibt es nicht nur Rosen und Sonnenschein. Durch die Übergabe eines Terminals erhält der Agent auch einen viel größeren Explosionsradius. Die gleiche Flexibilität, die es beim Komponieren ermöglicht gh | jq | xargs in etwas Nützliches zu verwandeln, lässt sich durch eine schnelle Injektion auch zu etwas viel Schlimmerem als einer feindlichen Cypher-Anfrage machen. Additionally ja, es gibt einen Kompromiss, und Sie müssen tatsächlich darüber nachdenken (Sandbox, Zulassungsliste, separater Betriebssystembenutzer, schreibgeschützte Rolle in der Datenbank, das Übliche).

Wenn Sie dem Agenten jedoch auf einigermaßen sichere Weise ein Terminal zur Verfügung stellen können, hat die versatile Seite immer noch die Nase vorn.

Wo CLI glänzt

Das gleiche Muster „Verpacken Sie einen Dienst als einen Stapel dedizierter Instruments“ zeigt sich überall dort, wo MCP dies tut. Postgres MCPs vs. psql. Kubernetes MCPs vs. kubectl. Dateisystem-MCPs vs. cat, ls, mv, grep mit Rohren verklebt. Jedes Mal derselbe Instinkt, jedes Mal das gleiche CLI-Gegenstück. Und auch die gleichen drei Fehlermodi, denn es geht nicht wirklich um ein einzelnes Produkt.

Nichts in der MCP-Spezifikation erfordert tatsächlich diesen Ansatz der Anhäufung dedizierter Instruments. Das Protokoll verlangt nach eingegebenen Werkzeugen, mehr nicht; Es sagt nichts darüber aus, wie schmal jedes Werkzeug sein muss. Aus historischen Gründen tendieren Implementierungen einfach zu vielen kleinen, schmalen Instruments. Sie können versatile Instruments erstellen, die eine einzige ausdrucksstarke Eingabe erfordern, die der Agent so formt, wie er möchte, und in den meisten Fällen sollten Sie das wahrscheinlich auch tun.

Um es konkret zu machen, schauen wir uns ein Beispiel einer Lochfraßbildung an Neo4j MCP-Server gegen Neo4j-CLI.

Haftungsausschluss vorab: Ich arbeite bei Neo4j. Die Wahl dient nur der Bequemlichkeit, aber die Erkenntnisse gelten auch für die meisten anderen CLIs.

Der Neo4j MCP-Server ist der offizielle Server, der Neo4j Agenten über MCP zugänglich macht und eine Handvoll dedizierter Instruments wie Leseabfrage, Schreibabfrage und Schemaabruf bereitstellt. neo4j.sh ist die offizielle Befehlszeilenschnittstelle für Neo4j, eine einzelne Binärdatei, die Sie in einem Terminal mit Anmeldeinformationsprofilen für jede Datenbank ausführen, mit der Sie kommunizieren. Um den Vergleich ehrlich zu halten, betrachten wir nur das Leseabfrage- und Schemapaar auf der MCP-Seite im Vergleich zum Äquivalent question Anrufung in neo4j.sh. Dieselben Vorgänge, dieselbe Datenbank, derselbe Cypher, der über das Kabel geht. Das Einzige, was sich ändert, ist, ob der Agent sie über ein typisiertes Toolschema oder über eine an eine Shell übergebene Zeichenfolge erreicht.

Umgebungsübergreifende Abfragen

Wir haben bereits gesehen, wie ein Haufen dedizierter Instruments das Kontextfenster mit Beschreibungen verschlingt und dass einige Server jetzt verzögerte Instruments ausliefern, um diese Kosten zu verschieben, bis der Agent tatsächlich nach ihnen greift. Aber es gibt noch einen zweiten Multiplikator, über den niemand spricht: Was passiert, wenn Sie mit mehr als einer Instanz desselben Dienstes kommunizieren möchten? Mit MCP wächst die Anzahl der Instruments nicht nur mit den Funktionen, sondern auch mit den Umgebungen.

Der Agent möchte eine Knotenanzahl von Dev, Staging und Prod. Durch MCP stehen Sie auf neo4j-mcp-server professional Umgebung, wobei jedes seine vier Werkzeugschemata bei jeder Runde in den Kontext des Agenten überträgt. Drei Datenbanken sind zwölf Schemata im Modellfenster, dieselben vier Schemata dreimal, bevor der Agent etwas getan hat.

Über die CLI ist es ein for Schleife:

$ for c in dev staging prod-ro; do
    neo4j-cli question -c $c --format toon 
      "MATCH (n) RETURN rely(n) AS nodes"
  completed

Eine Binärdatei, drei Anmeldeinformationsprofile, keine Kontextkosten professional Runde. Das Hinzufügen einer vierten Umgebung ist eine weitere credential dbms addnicht ein weiterer MCP-Serverprozess. Die gleiche Kind lässt sich auf jeden Arbeitsablauf übertragen, bei dem es darum geht, „N ähnliche Dinge zu erreichen“: Snapshot-Erstellung eines Produkts vor einer riskanten Bereitstellung, Differenzierung des Schemas zwischen Staging und Produkt, Durchführung einer Zustandsprüfung für jede Datenbank, die dem Agenten bekannt ist.

Verketten von Abfragen

Angenommen, der Agent untersucht ein bekanntes Betrugskonto: Suchen Sie anhand eines einzelnen Seeds jedes Konto, mit dem Transaktionen getätigt wurden, und finden Sie dann heraus, welches andere Konten, mit denen diese Gegenparteien am häufigsten Geschäfte tätigen. Zwei Abfragen für dieselbe Datenbank, wobei die Parameter der zweiten die Ausgabe der ersten sind.

Durch MCP muss das Modell das Rohr sein. Es ruft read-cypherkommt das Ergebnis als Liste von beispielsweise 80 Gegenpartei-IDs zurück. Diese 80 IDs befinden sich jetzt im Kontext des Modells, das Modell formatiert sie in den Parameter für die Sekunde read-cypher Rufen Sie an, und erst dann können zwei Abfragen ausgeführt werden. Die Zwischenliste begleitet die Konversation wörtlich, und jede zusätzliche ID ist eine weitere Kontextzeile, für die der Agent bezahlt, unabhängig davon, ob er sie jemals wieder liest oder nicht.

Durch die CLI ist die Pipe ein Literal |:

$ neo4j-cli question -c prod-ro --format json 
    --param "seed=acct_19f3" 
    "MATCH (:Account {id: $seed})-(:TRANSACTED)-(c:Account)
     WHERE c.id <> $seed
     RETURN acquire(DISTINCT c.id) AS counterparties" 
  | neo4j-cli question -c prod-ro --params-from-stdin 
      "MATCH (a:Account)-(:TRANSACTED)-(b:Account)
       WHERE a.id IN $counterparties
         AND NOT b.id IN $counterparties + ('acct_19f3')
       RETURN b.id, rely(DISTINCT a) AS edges_into_cluster
       ORDER BY edges_into_cluster DESC LIMIT 20"

--params-from-stdin liest das JSON-Ergebnis der vorherigen Abfrage und bindet es als Parameter für die nächste. Die Liste der Gegenparteien geht nie in den Kontext des Modells ein, die Token-Kosten des Agenten sind die gleichen, unabhängig davon, ob der Cluster 5 oder 500 Gegenparteien hat.

Ab diesem Zeitpunkt fühlt sich die Schale wie eine ganz andere Werkzeugkategorie an. Der Agent wählt nicht mehr aus einem Menü von Vorgängen aus, sondern erstellt Pipelines, und die Zwischendaten müssen nie mehr an die Oberfläche gelangen. Eine zweistufige Abfrage wird zu einer |. Aus einem Fan-Out wird ein for Schleife. Ein Be a part of zwischen zwei Datenbanken wird zu einer einzigen question in ein anderes mit geleitet --params-from-stdin. Jeder davon wäre drei oder vier MCP-Roundtrips, wobei jedes Zwischenergebnis durch das Kontextfenster angezeigt wird, und an diesem Punkt hat der Agent mehr Token für das Mischen von Zeilen aufgewendet, als darüber nachzudenken.

Über viele CLIs hinweg weiterleiten

Gleiches Drawback, größerer Maßstab. Angenommen, der Agent möchte die neuesten GitHub-Probleme eines Projekts in Neo4j umwandeln: an :Situation Knoten professional Ticket, a :Consumer Knoten professional Autor, a :TAGGED Beziehung professional Etikett. Die Daten befinden sich in einer CLI (gh), will umgestalten (jq tut das) und landet in einer anderen CLI (neo4j-cli). Drei verschiedene Werkzeuge in einer Linie. Über MCP greifen Sie auf den MCP-Server von GitHub zu, um die Problemliste abzurufen. Jeder Problemtext landet im Kontext des Modells, das Modell extrahiert die gewünschten Felder usw write-cypher Wird einmal professional Ausgabe ausgelöst. Hunderte von Rundgängen durch das Modell, wobei jedes Themengremium unterwegs an der Diskussion beteiligt ist.

Über die CLI drei Programme in einer Pipe:

$ gh situation record --repo neo4j/neo4j --limit 100 
    --json quantity,title,creator,labels 
  | jq -c '.()' 
  | whereas learn situation; do
      neo4j-cli question --rw -c prod 
        --param "knowledge=$situation" 
        "WITH apoc.convert.fromJsonMap($knowledge) AS i
         MERGE (n:Situation {quantity: i.quantity}) SET n.title = i.title
         MERGE (u:Consumer {login: i.creator.login})
         MERGE (u)-(:OPENED)->(n)
         FOREACH (label IN i.labels |
           MERGE (l:Label {title: label.title})
           MERGE (n)-(:TAGGED)->(l))"
    completed

gh zieht die Themen, jq formt jede einzelne in eine einzelne JSON-Zeile um, die whereas Schleife übergibt jede Zeile an neo4j-cli als Cypher-Parameter. Das Modell schreibt dieses Skript einmal und geht dann davon; Die Daten fließen über die Bash, nicht über den Agenten. Hundert oder zehntausend Ausgaben, die Token-Kosten des Agenten sind gleich.

Die Kind lässt sich weit über GitHub hinaus verallgemeinern. Tauschen gh für jede andere CLI, die JSON ausgibt (jira situation record, linear, curl gegen einen Webhook, Ihren eigenen internen dump Befehl), tauschen Sie das Cypher-Muster für die Datenbank aus, die Sie erstellen, und die Pipeline trägt es. Zwei MCP-Instruments können nicht miteinander kommunizieren. Zwei CLIs können das und zehn auch.

Die Terminalsteuerung ist leistungsstark, und das ist der Haken

Das Terminal ist keine feste Oberfläche, sondern das flexibelste Werkzeug, das Sie einem Agenten geben können, da es mit allem anderen auf der Field zusammenarbeitet.

Diese Kraft ist auch der Haken. Ein falsch eingesetztes flexibles Werkzeug verursacht flexiblen Schaden. Mit einem großartigen Terminalzugriff geht die offensichtliche Verantwortung einher: Sandboxen Sie die Shell, setzen Sie die tatsächlich gewünschten Verben auf die Zulassungsliste, führen Sie den Agenten als separater Betriebssystembenutzer aus, binden Sie Anmeldeinformationen an Rollen, die physisch nicht in der Lage sind, die destruktive Aufgabe zu erfüllen. Nichts davon ist neu, es handelt sich lediglich um die Systemadministratorhygiene, die auf ein LLM angewendet wird, das schnell tippt. Und wenn Sie das alles nicht können, ist ein MCP-Server mit kleiner fester Oberfläche immer noch die richtige Antwort; Die Garantie auf Protokollebene, dass der Agent dies nicht kann cat ~/.ssh/id_rsa ist eine echte Sache.

Der allgemeinere Punkt gilt auch dann, wenn Sie vollständig innerhalb von MCP bleiben. Der Grund, warum das Terminal gewinnt, ist nicht, dass Bash etwas Besonderes ist, sondern dass Bash ein Software mit sehr flexibler Eingabe ist. Pipes, Variablen, Substitution, Schleifen. Das ist die Kind, die es wert ist, kopiert zu werden. Betrachten Sie das Terminal als MCPs Grenzfall und entwerfen Sie es entsprechend: weniger Instruments, jedes einzelne akzeptiert ausdrucksstarke Eingaben, der Agent übernimmt die Erstellung, anstatt dass Sie jede Kombination im Voraus antizipieren. Bei den meisten MCP-Servern handelt es sich um eine lange Liste schmaler Endpunkte, weil die zugrunde liegende API bereits so gestaltet wurde, und nicht, weil der Agent auf diese Weise besser funktioniert. Die Server, die intestine altern, werden diejenigen sein, die sich bewusst für eine kleinere, ausdrucksstärkere Oberfläche entschieden haben.

Alle Bilder in diesem Blogbeitrag wurden vom Autor erstellt.

Bild vom Autor

# Einführung

Täglich zeichnen Kundendienstzentren Tausende von Gesprächen auf. In diesen Audiodateien verbergen sich Goldminen an Informationen. Sind die Kunden zufrieden? Welche Probleme werden am häufigsten erwähnt? Wie verändern sich Emotionen während eines Anrufs?
Die manuelle Analyse dieser Aufzeichnungen ist eine Herausforderung. Mit moderner künstlicher Intelligenz (KI) können wir jedoch Anrufe automatisch transkribieren, Emotionen erkennen und wiederkehrende Themen extrahieren – alles offline und mit Open-Supply-Instruments.

In diesem Artikel werde ich Sie durch ein komplettes Projekt zur Analyse der Kundenstimmung führen. Sie erfahren, wie Sie:

• Audiodateien in Textual content umwandeln mit Flüstern
• Erkennen von Gefühlen (positiv, negativ, impartial) und Emotionen (Frustration, Zufriedenheit, Dringlichkeit)
• Themen automatisch extrahieren mit BERThema
• Ergebnisse in einem interaktiven Dashboard anzeigen

Das Beste daran ist, dass alles lokal läuft. Ihre sensiblen Kundendaten verlassen niemals Ihr Gerät.

Abb. 1: Dashboard-Übersicht mit Stimmungsanzeige, Emotionsradar und Themenverteilung

# Verstehen, warum lokale KI für Kundendaten wichtig ist

Cloudbasierte KI-Dienste wie OpenAIs API sind leistungsstark, bringen jedoch Bedenken mit sich, beispielsweise hinsichtlich des Datenschutzes, da Kundenanrufe oft persönliche Informationen enthalten; hohe Kosten, bei denen Sie einen Preis professional API-Aufruf zahlen, der sich bei großen Volumina schnell summiert; und Abhängigkeit von Web-Gebührenbeschränkungen. Durch die lokale Ausführung ist es einfacher, die Anforderungen an die Datenresidenz zu erfüllen.

Dieses lokale KI-Sprach-zu-Textual content-Tutorial behält alles auf Ihrer {Hardware}. Modelle werden einmal heruntergeladen und laufen dauerhaft offline.

Abb. 2: Übersicht über die Systemarchitektur, die zeigt, wie jede Komponente eine Aufgabe intestine bewältigt. Durch diesen modularen Aufbau ist das System leicht zu verstehen, zu testen und zu erweitern

// Voraussetzungen

Bevor Sie beginnen, stellen Sie sicher, dass Sie über Folgendes verfügen:

• Python 3.9+ ist auf Ihrem Pc installiert.
• Das hättest du tun sollen FFmpeg für die Audioverarbeitung installiert.
• Sie sollten über grundlegende Kenntnisse mit Python und den Konzepten des maschinellen Lernens verfügen.
• Für KI-Modelle benötigen Sie etwa 2 GB Speicherplatz.

// Einrichten Ihres Projekts

Klonen Sie das Repository und richten Sie Ihre Umgebung ein:

git clone https://github.com/zenUnicorn/Buyer-Sentiment-analyzer.git

Erstellen Sie eine virtuelle Umgebung:

Aktivieren (Home windows):

Aktivieren (Mac/Linux):

Abhängigkeiten installieren:

pip set up -r necessities.txt

Beim ersten Durchlauf werden KI-Modelle heruntergeladen (~1,5 GB insgesamt). Danach funktioniert alles offline.

Abb. 3: Terminal zeigt erfolgreiche Set up

# Audio mit Whisper transkribieren

Im Kundenstimmungsanalysator besteht der erste Schritt darin, gesprochene Wörter aus Anrufaufzeichnungen in Textual content umzuwandeln. Dies geschieht mit Whisper, einem von entwickelten automatischen Spracherkennungssystem (ASR). OpenAI. Schauen wir uns an, wie es funktioniert, warum es eine gute Wahl ist und wie wir es im Projekt verwenden.

Whisper ist ein Transformer-basiertes Encoder-Decoder-Modell, das auf 680.000 Stunden mehrsprachigem Audio trainiert wurde. Wenn Sie ihm eine Audiodatei zuführen, geschieht Folgendes:

• Neuabtastung des Audiosignals auf 16-kHz-Mono
• Erzeugt ein Mel-Spektrogramm – eine visuelle Darstellung der Frequenzen im Zeitverlauf – das als Foto des Klangs dient
• Teilt das Spektrogramm in 30-Sekunden-Fenster auf
• Leitet jedes Fenster durch einen Encoder, der versteckte Darstellungen erstellt
• Übersetzt diese Darstellungen Wort für Wort (oder Unterwort) in Textual content-Tokens

Stellen Sie sich das Mel-Spektrogramm als die Artwork und Weise vor, wie Maschinen Geräusche „sehen“. Die x-Achse stellt die Zeit dar, die y-Achse stellt die Frequenz dar und die Farbintensität zeigt die Lautstärke. Das Ergebnis ist ein hochpräzises Transkript, auch bei Hintergrundgeräuschen oder Akzenten.

Code-Implementierung

Hier ist die Kernlogik der Transkription:

import whisper

class AudioTranscriber:
    def __init__(self, model_size="base"):
        self.mannequin = whisper.load_model(model_size)
   
    def transcribe_audio(self, audio_path):
        outcome = self.mannequin.transcribe(
            str(audio_path),
            word_timestamps=True,
            condition_on_previous_text=True
        )
        return {
            "textual content": outcome("textual content"),
            "segments": outcome("segments"),
            "language": outcome("language")
        }

Der model_size Der Parameter steuert die Genauigkeit im Verhältnis zur Geschwindigkeit.

Für die meisten Anwendungsfälle gilt: base oder small bietet die beste Steadiness.

Abb. 4: Transkriptionsausgabe mit zeitgestempelten Segmenten

# Stimmungsanalyse mit Transformern

Mit extrahiertem Textual content analysieren wir die Stimmung mithilfe von Umarmende Gesichtstransformatoren. Wir verwenden CardiffNLPs RoBERTa Modell, trainiert auf Social-Media-Textual content, das sich perfekt für gesprächige Kundenanrufe eignet.

// Vergleich von Gefühl und Emotion

Die Stimmungsanalyse klassifiziert Texte als positiv, impartial oder negativ. Wir verwenden ein fein abgestimmtes RoBERTa-Modell, weil es den Kontext besser versteht als ein einfaches Key phrase-Matching.

Das Transkript wird tokenisiert und durch einen Transformer geleitet. Die letzte Ebene verwendet eine Softmax-Aktivierung, die Wahrscheinlichkeiten ausgibt, die sich auf 1 summieren. Wenn beispielsweise positiv 0,85, impartial 0,10 und negativ 0,05 ist, ist die Gesamtstimmung positiv.

• Gefühl: Gesamtpolarität (positiv, negativ oder impartial) zur Beantwortung der Frage: „Ist das intestine oder schlecht?“
• Emotion: Spezifische Gefühle (Wut, Freude, Angst) als Antwort auf die Frage: „Was genau fühlen sie?“

Wir erkennen beides für einen vollständigen Einblick.

// Code-Implementierung für die Stimmungsanalyse

from transformers import AutoModelForSequenceClassification, AutoTokenizer
import torch.nn.purposeful as F

class SentimentAnalyzer:
    def __init__(self):
        model_name = "cardiffnlp/twitter-roberta-base-sentiment-latest"
        self.tokenizer = AutoTokenizer.from_pretrained(model_name)
        self.mannequin = AutoModelForSequenceClassification.from_pretrained(model_name)
   
    def analyze(self, textual content):
        inputs = self.tokenizer(textual content, return_tensors="pt", truncation=True)
        outputs = self.mannequin(**inputs)
        possibilities = F.softmax(outputs.logits, dim=1)
       
        labels = ("adverse", "impartial", "constructive")
        scores = {label: float(prob) for label, prob in zip(labels, possibilities(0))}
       
        return {
            "label": max(scores, key=scores.get),
            "scores": scores,
            "compound": scores("constructive") - scores("adverse")
        }

Der compound Die Bewertung reicht von -1 (sehr negativ) bis +1 (sehr positiv), sodass sich Stimmungstrends im Zeitverlauf leicht verfolgen lassen.

// Warum einfache Lexikonmethoden vermeiden?

Traditionelle Ansätze wie VADER Zähle constructive und adverse Wörter. Allerdings fehlt ihnen oft der Kontext:

• „Das ist nicht intestine.“ Lexicon sieht „intestine“ als positiv an.
• Ein Transformator versteht Negation („nicht“) als negativ.

Transformatoren verstehen Beziehungen zwischen Wörtern und machen sie so für reale Texte weitaus genauer.

# Extrahieren von Themen mit BERTopic

Es ist nützlich, die Stimmung zu kennen, aber worüber reden Kunden? BERThema erkennt automatisch Themen im Textual content, ohne dass Sie sie vorab definieren müssen.

// So funktioniert BERTopic

• Einbettungen: Konvertieren Sie jedes Transkript mithilfe von in einen Vektor Satztransformatoren
• Dimensionsreduzierung: UMAP komprimiert diese Vektoren in einen niedrigdimensionalen Raum
• Clustering: HDBSCAN gruppiert ähnliche Transkripte
• Themenvertretung: Extrahieren Sie für jeden Cluster die relevantesten Wörter mit c-TF-IDF

Das Ergebnis ist eine Reihe von Themen wie „Abrechnungsprobleme“, „technischer Assist“ oder „Produktfeedback“. Im Gegensatz zu älteren Methoden wie Latente Dirichlet-Zuordnung (LDA)BERTopic versteht semantische Bedeutung. „Versandverzögerung“ und „verspätete Lieferung“ kommen zusammen, weil sie dieselbe Bedeutung haben.

Code-Implementierung

Aus matters.py:

from bertopic import BERTopic

class TopicExtractor:
    def __init__(self):
        self.mannequin = BERTopic(
            embedding_model="all-MiniLM-L6-v2",
            min_topic_size=2,
            verbose=True
        )
   
    def extract_topics(self, paperwork):
        matters, possibilities = self.mannequin.fit_transform(paperwork)
       
        topic_info = self.mannequin.get_topic_info()
        topic_keywords = {
            topic_id: self.mannequin.get_topic(topic_id)(:5)
            for topic_id in set(matters) if topic_id != -1
        }
       
        return {
            "assignments": matters,
            "key phrases": topic_keywords,
            "distribution": topic_info
        }

Notiz: Für die Themenextraktion sind mehrere Dokumente (mindestens 5–10) erforderlich, um sinnvolle Muster zu finden. Einzelne Anrufe werden mithilfe des angepassten Modells analysiert.

Abb. 5: Balkendiagramm zur Themenverteilung mit den Kategorien Abrechnung, Versand und technischer Assist

# Erstellen eines interaktiven Dashboards mit Streamlit

Rohdaten sind schwer zu verarbeiten. Wir haben eine gebaut Streamlit Armaturenbrett (app.py), mit dem Geschäftsanwender Ergebnisse erkunden können. Streamlit verwandelt Python-Skripte mit minimalem Code in Webanwendungen. Unser Dashboard bietet:

• Add-Schnittstelle für Audiodateien
• Echtzeitverarbeitung mit Fortschrittsanzeigen
• Interaktive Visualisierungen mit Plotly
• Drilldown-Funktion zur Untersuchung einzelner Anrufe

// Code-Implementierung für die Dashboard-Struktur

import streamlit as st

def principal():
    st.title("Buyer Sentiment Analyzer")
   
    uploaded_files = st.file_uploader(
        "Add Audio Information",
        sort=("mp3", "wav"),
        accept_multiple_files=True
    )
   
    if uploaded_files and st.button("Analyze"):
        with st.spinner("Processing..."):
            outcomes = pipeline.process_batch(uploaded_files)
       
        # Show outcomes
        col1, col2 = st.columns(2)
        with col1:
            st.plotly_chart(create_sentiment_gauge(outcomes))
        with col2:
            st.plotly_chart(create_emotion_radar(outcomes))

Streamlits Caching @st.cache_resource stellt sicher, dass Modelle einmal geladen werden und über Interaktionen hinweg bestehen bleiben, was für eine reaktionsfähige Benutzererfahrung von entscheidender Bedeutung ist.

Abb. 7: Vollständiges Dashboard mit Seitenleistenoptionen und mehreren Visualisierungsregisterkarten

// Hauptmerkmale

• Audio hochladen (oder Beispieltranskripte zum Testen verwenden)
• Transkript mit Stimmungshervorhebungen anzeigen
• Zeitleiste der Emotionen (wenn der Anruf lang genug ist)
• Themenvisualisierung mit interaktiven Plotly-Diagrammen

// Caching für Leistung

Streamlit führt das Skript bei jeder Interaktion erneut aus. Um die Wiederaufbereitung schwerer Modelle zu vermeiden, verwenden wir @st.cache_resource:

@st.cache_resource
def load_models():
    return CallProcessor()

processor = load_models()

// Echtzeitverarbeitung

Wenn ein Benutzer eine Datei hochlädt, zeigen wir während der Verarbeitung einen Spinner an und zeigen dann sofort die Ergebnisse an:

if uploaded_file:
    with st.spinner("Transcribing and analyzing..."):
        outcome = processor.process_file(uploaded_file)
    st.success("Performed!")
    st.write(outcome("textual content"))
    st.metric("Sentiment", outcome("sentiment")("label"))

# Wiederholung praktischer Lektionen

Audioverarbeitung: Von der Wellenform zum Textual content

Die Magie von Whisper liegt in der Umwandlung des Mel-Spektrogramms. Das menschliche Gehör ist logarithmisch, das heißt, wir können tiefe Frequenzen besser erkennen als hohe. Die Mel-Skala ahmt dies nach, sodass das Modell eher wie ein Mensch „hört“. Das Spektrogramm ist im Wesentlichen ein 2D-Bild (Zeit vs. Frequenz), das der Transformer-Encoder ähnlich wie einen Bildausschnitt verarbeitet. Aus diesem Grund kommt Whisper intestine mit lauten Audiosignalen zurecht; es sieht das ganze Bild.

// Transformatorausgänge: Softmax vs. Sigmoid

• Softmax (Stimmung): Erzwingt die Summe der Wahrscheinlichkeiten zu 1. Dies ist preferrred für sich gegenseitig ausschließende Klassen, da ein Satz normalerweise nicht sowohl positiv als auch negativ ist.
• Sigmoid (Emotionen): Behandelt jede Klasse unabhängig. Ein Satz kann gleichzeitig freudig und überraschend sein. Sigmoid ermöglicht diese Überlappung.

Die Auswahl der richtigen Aktivierung ist für Ihre Problemdomäne von entscheidender Bedeutung.

// Erkenntnisse mit Visualisierung vermitteln

Ein gutes Dashboard kann mehr als nur Zahlen anzeigen; es erzählt eine Geschichte. Plotly-Diagramme sind interaktiv; Benutzer können mit der Maus darüber fahren, um Particulars anzuzeigen, in Zeitbereiche hineinzoomen und auf Legenden klicken, um zwischen Datenreihen umzuschalten. Dadurch werden Rohanalysen in umsetzbare Erkenntnisse umgewandelt.

// Ausführen der Anwendung

Um die Anwendung auszuführen, befolgen Sie die Schritte vom Anfang dieses Artikels. Testen Sie die Sentiment- und Emotionsanalyse ohne Audiodateien:

Dadurch wird Beispieltext durch die NLP-Modelle (Pure Language Processing) geführt und die Ergebnisse im Terminal angezeigt.

Analysieren Sie eine einzelne Aufnahme:

python principal.py --audio path/to/name.mp3

Stapelverarbeitung eines Verzeichnisses:

python principal.py --batch information/audio/

Für das vollständige interaktive Erlebnis:

python principal.py --dashboard

Offen http://localhost:8501 in Ihrem Browser.

Abb. 8: Terminalausgabe, die eine erfolgreiche Analyse mit Sentiment-Scores zeigt

# Abschluss

Wir haben ein vollständiges, offlinefähiges System aufgebaut, das Kundenanrufe transkribiert, Stimmungen und Emotionen analysiert und wiederkehrende Themen extrahiert – alles mit Open-Supply-Instruments. Dies ist eine produktionsreife Grundlage für:

• Kundensupportteams identifizieren Schwachstellen
• Produktmanager sammeln Suggestions in großem Umfang
• Qualitätssicherung, Überwachung der Agentenleistung

Das Beste daran? Alles läuft lokal, respektiert die Privatsphäre der Benutzer und eliminiert API-Kosten.

Der vollständige Code ist auf GitHub verfügbar: Eine KI, die die Kundenstimmung analysiert. Klonen Sie das Repository, folgen Sie diesem lokalen KI-Sprach-zu-Textual content-Tutorial und beginnen Sie noch heute damit, Erkenntnisse aus Ihren Kundenanrufen zu gewinnen.

Shittu Olumid ist ein Software program-Ingenieur und technischer Autor, der sich leidenschaftlich dafür einsetzt, modernste Technologien zu nutzen, um fesselnde Erzählungen zu erschaffen, mit einem scharfen Blick fürs Element und einem Gespür für die Vereinfachung komplexer Konzepte. Sie können Shittu auch auf finden Twitter.

Die Modelle für künstliche Intelligenz, die Textual content in Bilder verwandeln, sind auch nützlich, um neue Materialien zu generieren. In den letzten Jahren haben generative Materialmodelle von Unternehmen wie Google, Microsoft und Meta auf ihre Schulungsdaten gezogen, um Forschern dabei zu helfen, zehn Millionen neuer Materialien zu entwerfen.

Aber wenn es darum geht, Materialien mit exotischen Quanteneigenschaften wie Supraleitung oder einzigartigen magnetischen Zuständen zu entwerfen, kämpfen diese Modelle. Das ist schade, denn Menschen könnten die Hilfe nutzen. Zum Beispiel wurden nach einem Jahrzehnt der Forschung zu einer Klasse von Materialien, die das Quantencomputer revolutionieren konnten, Quantenspin -Flüssigkeiten, nur ein Dutzend Materialkandidaten identifiziert. Der Engpass bedeutet, dass weniger Materialien als Grundlage für technologische Durchbrüche dienen.

Jetzt haben MIT -Forscher eine Technik entwickelt, mit der beliebte Generativmaterial -Modelle vielversprechende Quantenmaterialien erzeugen können, indem sie bestimmte Designregeln befolgen. Die Regeln oder Einschränkungen steuern Modelle, um Materialien mit einzigartigen Strukturen zu erstellen, die Quanteneigenschaften führen.

„Die Modelle dieser großen Unternehmen erzeugen Materialien, die für Stabilität optimiert sind“, sagt Mingda Li, Professorin der Karriereentwicklung von 1947, MINS. „Unsere Perspektive ist normalerweise nicht, wie die Materialwissenschaft voranschreitet. Wir brauchen keine 10 Millionen neuen Materialien, um die Welt zu verändern. Wir brauchen nur ein wirklich gutes Materials.“

Der Ansatz wird heute in a beschrieben Papier veröffentlicht von Naturmaterialien. Die Forscher wendeten ihre Technik an, um Millionen von Kandidatenmaterialien zu generieren, die aus geometrischen Gitterstrukturen bestehen, die mit Quanteneigenschaften verbunden sind. Aus diesem Pool synthetisierten sie zwei tatsächliche Materialien mit exotischen magnetischen Merkmalen.

„Menschen in der Quantengemeinschaft kümmern sich wirklich um diese geometrischen Einschränkungen, wie die Kagome-Gitter, die zwei überlappende, verkehrte Dreiecke sind. Wir haben Materialien mit Kagome-Gitter geschaffen, weil diese Materialien das Verhalten von Seltenerdelementen nachahmen können, sodass sie von hoher technischer Bedeutung sind.“ Li sagt.

Li ist der leitende Autor der Zeitung. Zu seinen Mitautoren der MIT gehören die Doktoranden Ryotaro Okabe, Mouyang Cheng, Abhijatmedhi Chotrattanapituk und Denisse Cordova Carrizales; Postdoc Manasi Mandal; Studentenforscher Kiran Mak und Bowen Yu; Gastwissenschaftlerin Nguyen Tuan hing; Xiang Fu ’22, PhD ’24; und Professor für Elektrotechnik und Informatik Tommi Jaakkola, Mitglied des Labors für Informatik und künstliche Intelligenz (CSAIL) und Institut für Daten, Systeme und Gesellschaft. Weitere Co-Autoren sind Yao Wang von der Emory College, Weiwei Xie von der Michigan State College, Yq Cheng vom Oak Ridge Nationwide Laboratory und Robert Cava von der Princeton College.

Lenkmodelle in Richtung Impression

Die Eigenschaften eines Supplies werden durch seine Struktur bestimmt und Quantenmaterialien sind nicht unterschiedlich. Bestimmte Atomstrukturen führen eher zu exotischen Quanteneigenschaften als andere. Zum Beispiel können quadratische Gitter als Plattform für Hochtemperatur-Supraleiter dienen, während andere als Kagome- und Lieb-Lattices bekannte Formen die Erstellung von Materialien unterstützen können, die für das Quantencomputer nützlich sein könnten.

Um eine beliebte Klasse von generativen Modellen zu unterstützen, die als Diffusionsmodelle bekannt sind, produzieren die Forscher skigen (kurz für die Integration der strukturellen Einschränkung in das generative Modell). Scigen ist ein Computercode, der sicherstellt, dass Diffusionsmodelle bei jedem iterativen Erzeugungsschritt benutzerdefinierte Einschränkungen einhalten. Mit Scigen können Benutzer alle geometrischen Strukturregeln für generative KI -Diffusionsmodells angeben, die nach dem Erzeugen von Materialien folgen.

AI -Diffusionsmodelle arbeiten durch Stichproben aus ihrem Trainingsdatensatz, um Strukturen zu generieren, die die Verteilung der im Datensatz gefundenen Strukturen widerspiegeln. Skigene blockiert Generationen, die nicht mit den strukturellen Regeln übereinstimmen.

Um Skigen zu testen, wendeten die Forscher es auf ein beliebtes Modell zur Erzeugung von AI -Materialien an, das als DiffcSP bekannt ist. Sie hatten das mit Skigen ausgestattete Modell erzeugen Materialien mit einzigartigen geometrischen Mustern, die als archimedische Gitter bekannt sind, bei denen es sich um Sammlungen von 2D-Gitterfliesen verschiedener Polygone handelt. Archimedische Gitter können zu einer Reihe von Quantenphänomenen führen und standen im Mittelpunkt vieler Forschung.

„Archimedäische Gitter führen zu Quantenspinflüssigkeiten und sogenannten flachen Bändern, die die Eigenschaften seltener Erden ohne Seltenerdelemente nachahmen können, sodass sie äußerst wichtig sind“, sagt Cheng, ein Mitkreuzthauptautor der Arbeit. „Andere archimedische Gittermaterialien haben große Poren, die für die CO2 -Erfassung und andere Anwendungen verwendet werden können. Daher handelt es sich um eine Sammlung von speziellen Materialien. In einigen Fällen gibt es keine Supplies mit diesem Gitter. Ich denke, es wird wirklich interessant sein, das erste Materials zu finden, das in dieses Gitter passt.“

Das Modell erzeugte über 10 Millionen Materialkandidaten mit archimedischen Gitter. Eine Million dieser Materialien überlebte ein Screening auf Stabilität. Unter Verwendung der Supercomputer im Oak Ridge Nationwide Laboratory nahmen die Forscher dann eine kleinere Stichprobe von 26.000 Materialien an und führten detaillierte Simulationen durch, um zu verstehen, wie sich die zugrunde liegenden Atome der Materialien verhalten. Die Forscher fanden Magnetismus in 41 Prozent dieser Strukturen.

Aus dieser Untergruppe synthetisierten die Forscher zwei bisher unentdeckte Verbindungen, Tipdbi und Tipbsb, in den Labors von Xie und Cava. Nachfolgende Experimente zeigten, dass die Vorhersagen des KI -Modells weitgehend auf die Eigenschaften des tatsächlichen Supplies ausgerichtet waren.

„Wir wollten neue Materialien entdecken, die einen großen potenziellen Einfluss haben könnten, indem wir diese Strukturen einbeziehen, von denen bekannt ist, dass sie Quanteneigenschaften hervorrufen“, sagt Okabe, der Erstautor der Zeitung. „Wir wissen bereits, dass diese Materialien mit spezifischen geometrischen Mustern interessant sind, daher ist es natürlich, mit ihnen zu beginnen.“

Beschleunigungsmaterialbrettung

Quantenspin-Flüssigkeiten könnten das Quantencomputer freischalten, indem er stabile, fehlerresistente Qubits aktiviert, die als Grundlage für Quantenoperationen dienen. Es wurden jedoch keine quantenspin flüssigen Materialien bestätigt. Xie und Cava glauben, dass Skigen die Suche nach diesen Materialien beschleunigen könnte.

„Es gibt eine große Suche nach Quantenmaterialien und topologischen Supraleitern, und alle beziehen sich auf die geometrischen Materialmuster“, sagt Xie. „Aber der experimentelle Fortschritt conflict sehr, sehr langsam“, fügt Cava hinzu. „Viele dieser Quantenspin flüssigen Materialien unterliegen Einschränkungen: Sie müssen sich in einem dreieckigen Gitter oder einem Kagome -Gitter befinden. Wenn die Materialien diese Einschränkungen erfüllen, werden die Quantenforscher aufgeregt. Es ist ein notwendiger, aber nicht ausreichender Zustand. Wenn Sie viele Materialien wie diese erzeugen, werden die Experimentierhunderte, die Hunderte oder Tausends mehr spielt.

„Diese Arbeit präsentiert ein neues Software, das maschinelles Lernen nutzt, das vorhersagen kann, welche Materialien bestimmte Elemente in einem gewünschten geometrischen Muster aufweisen werden“, sagt Steve Could, Professor der Drexel -Universität, der nicht an der Forschung beteiligt conflict. „Dies sollte die Entwicklung zuvor unerforschter Materialien für Anwendungen in elektronischen, magnetischen oder optischen Technologien der nächsten Era beschleunigen.“

Die Forscher betonen, dass Experimente immer noch entscheidend sind, um zu beurteilen, ob AI-generierte Materialien synthetisiert werden können und wie ihre tatsächlichen Eigenschaften mit Modellvorhersagen verglichen werden können. Zukünftige Arbeiten an Skigen könnten zusätzliche Designregeln in generative Modelle einbeziehen, einschließlich chemischer und funktionaler Einschränkungen.

„Menschen, die die Welt mehr für materielle Eigenschaften als die Stabilität und Struktur von Materialien verändern wollen“, sagt Okabe. „Mit unserem Ansatz sinkt das Verhältnis stabiler Materialien, aber es öffnet die Tür, um eine ganze Reihe vielversprechender Materialien zu erzeugen.“

Die Arbeit wurde teilweise vom US -amerikanischen Energieministerium, dem Nationwide Power Analysis Scientific Computing Heart, der Nationwide Science Basis und dem Oak Ridge Nationwide Laboratory unterstützt.

Openai hat gerade eingeführt Ein großes Improve in den Entwicklermodus von ChatGPT, indem sie die vollständige Unterstützung für die vollständige Unterstützung hinzufügen Modellkontextprotokolltools (MCP). Bisher waren MCP-Integrationen innerhalb von ChatGPT auf Such- und Abrufvorgänge beschränkt-im Wesentlichen schreibgeschützt. Mit diesem Replace können MCP -Anschlüsse durchführen Aktionen schreibenDies bedeutet, dass Entwickler nun Systeme direkt aktualisieren, Workflows und Kettenkomplexautomatik aus einem ChatGPT -Gespräch auslösen können. Die Fähigkeit ist derzeit verfügbar zu Plus und Professional -Benutzer.

Diese Änderung bewegt Chatgpt über eine intelligente Abfrageschicht hinaus. Anstatt nur Daten aus verbundenen Quellen abzurufen, kann dies nun auf diese Daten reagieren. Beispielsweise können Entwickler JIRA-Tickets direkt über den Chat aktualisieren, einen Zapier-Workflow starten oder Anschlüsse kombinieren, um mehrstufige Aufgaben wie die Analyse von Fehlerprotokollen, das Öffnen eines Vorfall-Tickets und die Benachrichtigung eines Teamkanals zu kombinieren. Chatgpt ist nicht mehr nur ein Konversationsassistent – es wird als Orchestrierungsschicht für echte Arbeiten über verteilte Instruments positioniert.

Die technische Grundlage dieser Growth liegt in der MCP -Frameworkwas definiert, wie große Sprachmodelle mit externen Diensten durch strukturierte Protokolle interagieren. Anschlüsse enthüllen Funktionen, die ChatGPT aufrufen kann, und beschrieben normalerweise mit JSON -Schemas. Durch die Hinzufügung von Schreibunterstützung wird neue Anforderungen an Authentifizierung, Sicherheit und Zuverlässigkeit eingeführt. Da die Anschlüsse nun den externen Zustand ändern, müssen API -Token, OAuth Scopes und Zugriffskontrollen eng geschrieben werden. Fehlerbehandlung wird kritisch: Wenn eine Schreiboperation fehlschlägt, muss ChatGPT in der Lage sein, das Drawback klar zu erobern, protokollieren und anmutig wiederherzustellen. Entwickler müssen auch die Transaktionssicherheit berücksichtigen, wenn sie mehrere Schreibaktionen in allen Diensten verkettet werden.

Aus dem Gesichtspunkt der Entwicklererfahrung ist die Aktivierung dieser Funktionen unkompliziert. Einmal Entwicklermodus In ChatGPT werden Entwickler Verbindungen registrieren, die sowohl Lese- als auch Schreibmethoden enthalten. Diese Anschlüsse können dann während eines Gesprächs auf natürliche Weise aufgerufen werden. Der Workflow ist für die Iteration ausgelegt – Entwickler können Integrationen direkt in Chat Prototypen, testen und verfeinern, anstatt benutzerdefinierte Middleware von Grund auf neu zu erstellen. Die Dokumentation von OpenAI enthält Schemata, Endpunktdefinitionen und Beispiele, um das Verhalten des Connectors in allen Diensten zu standardisieren.

Die Auswirkungen auf Unternehmens- und Automatisierungswendungsfälle sind erheblich. Betriebsteams können die Vorfälle reparieren, indem sie Probleme mit ChatGPT -Protokollproblemen haben, Tickets aktualisieren und automatisch Warnungen verschieben. Geschäftsteams können Chatgpt in CRM -Pipelines einbetten, wobei ein einzelnes Konversations -Replace Kundendaten synchronisieren, Berichte generieren und Kontomanager benachrichtigen kann. Für technische Groups kann ChatGPT jetzt Builds auslösen, GitHub -Pull -Anforderungen aktualisieren oder Process -Tracker synchronisieren – alle, ohne die Chat -Schnittstelle zu verlassen. In jedem Fall fasst ChatGPT nicht nur Informationen zusammen, sondern fährt aktiv Workflows.

Dieses Replace ist ein wichtiger Schritt in der Zukunft von ChatGPT. Durch die Aktivierung der vollen MCP -Device -Unterstützung treibt OpenAI den Assistenten davon ab, a zu sein Wissensschicht zu einem wahren Automatisierungsplattform. Es bietet Entwicklern die Flexibilität, Steckverbinder zu erstellen, die Anweisungen für natürliche Sprache und reale Aktionen schließen und die Konversation effektiv in eine universelle Schnittstelle für Unternehmenssysteme verwandeln. Für Organisationen, die ChatGPT Plus oder Professional verwenden, öffnet der Entwicklermodus jetzt die Tür, um die Konversations -KI direkt in den täglichen Betrieb zu integrieren, wobei Chat nicht nur Fragen beantwortet, sondern die Arbeit erledigt.

Michal Sutter ist ein Datenwissenschaftler bei einem Grasp of Science in Information Science von der College of Padova. Mit einer soliden Grundlage für statistische Analyse, maschinelles Lernen und Datentechnik setzt Michal aus, um komplexe Datensätze in umsetzbare Erkenntnisse umzuwandeln.

Das Kunstwerk von Mc Escher ist ein Tor in eine Welt voller tiefen, die optische Illusionen mit „unmöglichen Objekten“ enthält, die die Gesetze der Physik mit verworrenen Geometrien brechen. Was Sie als Illustrationen wahrnehmen, hängt von Ihrem Standpunkt ab – zum Beispiel kann eine Particular person, die scheinbar nach oben geht, die Stufen hinuntersteigt, wenn Sie Ihren Kopf neigen seitwärts.

Computergrafikwissenschaftler und -designer können diese Illusionen in 3D neu erstellen, aber nur, indem sie eine echte Kind beugen oder schneiden und in einem bestimmten Winkel positionieren. Diese Problemumgehung hat jedoch Nachteile: Änderung der Glätte oder Beleuchtung der Struktur zeigt, dass es sich nicht tatsächlich um eine optische Täuschung handelt. Dies bedeutet auch, dass Sie Geometrieprobleme darauf nicht genau lösen können.

Forscher des MIT -Labors für Informatik und künstliche Intelligenz (CSAIL) haben einen einzigartigen Ansatz entwickelt, um „unmögliche“ Objekte auf vielseitigere Weise darzustellen. Ihre „MescherDas Device wandelt Bilder und 3D-Modelle in 2,5-dimensionale Strukturen um und erzeugt escher-ähnliche Darstellungen von Dingen wie Fenstern, Gebäuden und sogar Donuts. Der Ansatz hilft den Benutzern, einzigartige Geometrien wiederzugeben, zu glätten und zu studieren und gleichzeitig ihre optische Phantasm zu erhalten.

Dieses Device könnte Geometrieforscher bei der Berechnung des Abstands zwischen zwei Punkten auf einer gekrümmten unmöglichen Oberfläche („Geodäsik“) unterstützen und simulieren, wie Wärme sich über sie löst („Wärmediffusion“). Es könnte auch Künstlern und Computergrafikwissenschaftlern helfen, physikalische Designs in mehreren Dimensionen zu erstellen.

Der Hauptautor und MIT -PhD -Pupil Ana Dodik zielt darauf ab, Computergrafik -Instruments zu entwerfen, die nicht darauf beschränkt sind, die Realität zu replizieren, und es den Künstlern ermöglichen, ihre Absicht unabhängig auszudrücken, ob eine Kind in der physischen Welt verwirklicht werden kann. „Mit Meschern haben wir eine neue Klasse von Formen freigeschaltet, mit denen Künstler am Pc arbeiten können“, sagt sie. „Sie könnten auch dazu beitragen, dass Wissenschaftler den Punkt verstehen, an dem ein Objekt wirklich unmöglich wird.“

Dodik und ihre Kollegen werden ihre präsentieren Papier auf der Siggraph Convention im August.

Unmögliche Objekte ermöglichen

Unmögliche Objekte können in 3D nicht vollständig repliziert werden. Ihre Bestandteile sehen oft plausibel aus, aber diese Teile kleben nicht richtig zusammen, wenn sie in 3D zusammengesetzt sind. Was jedoch rechnerisch imitiert werden kann, wie die CSAIL -Forscher herausgefunden haben, ist der Prozess, wie wir diese Formen wahrnehmen.

Nimm das Penrose -Dreieckzum Beispiel. Das Objekt als Ganzes ist physikalisch unmöglich, weil die Tiefen nicht „addieren“, aber wir können reale 3D-Formen (wie seine drei L-förmigen Ecken) in ihm erkennen. Diese kleineren Regionen können in 3D realisiert werden – einer Eigenschaft namens „lokale Konsistenz“ -, aber wenn wir versuchen, sie zusammenzubauen, bilden sie keine international konsistente Kind.

Die lokal konsistenten Regionen der Meschers nähern die Modelle, ohne sie zu zwingen, international konsistent zu sein, und setzen eine Escher-ähnliche Struktur zusammen. Hinter den Kulissen repräsentiert Meschers unmögliche Objekte, als ob wir ihre X- und Y -Koordinaten im Bild sowie Unterschiede in Z -Koordinaten (Tiefe) zwischen benachbarten Pixeln kennen. Das Device verwendet diese Unterschiede in der Tiefe, um die Vernunft für unmögliche Objekte indirekt zu begründen.

Die vielen Verwendungen von Meschern

Meschers können ihre Strukturen nicht nur unmögliche Objekte rendern, sondern auch in kleinere Formen für genauere Geometrieberechnungen und Glättungsvorgänge unterteilt. Dieser Prozess ermöglichte es den Forschern, visuelle Unvollkommenheiten unmöglicher Formen zu reduzieren, wie z. B. einen Umriss des roten Herzens, den sie verdünnten.

Die Forscher testeten ihr Werkzeug auch auf einem „Imposhagel“, in dem ein Bagel auf physikalisch unmögliche Weise schattiert ist. Mescher halfen Dodik und ihren Kollegen, die Wärmediffusion zu simulieren und geodätische Entfernungen zwischen verschiedenen Punkten des Modells zu berechnen.

„Stellen Sie sich vor, Sie sind eine Ameise, die diesen Bagel durchquert, und Sie möchten wissen, wie lange Sie zum Beispiel vermitteln werden“, sagt Dodik. „Auf die gleiche Weise könnte unser Device den Mathematikern helfen, die zugrunde liegende Geometrie der unmöglichen Formen aus der Nähe zu analysieren, ähnlich wie wir reale Welt studieren.“

Ähnlich wie ein Zauberer kann das Device aus ansonsten praktischen Objekten optische Illusionen erzeugen, sodass Computergrafikkünstler unmögliche Objekte erstellen können. Es kann auch „inverse Rendering“ -Instruments verwenden, um Zeichnungen und Bilder von unmöglichen Objekten in hochdimensionale Designs umzuwandeln.

„Mescher zeigen, wie Computergrafik -Instruments nicht durch die Regeln der physischen Realität eingeschränkt werden müssen“, sagt der leitende Autor Justin Solomon, Affiliate Professor für Elektrotechnik und Informatik und Leiter der CSAIL -Geometrischen Datenverarbeitungsgruppe. „Unglaublich, Künstler, die Mescher verwenden, können über Formen argumentieren, die wir in der realen Welt nie finden werden.“

Mescher können auch Computergrafikkünstlern helfen, die Schattierung ihrer Kreationen zu optimieren und gleichzeitig eine optische Täuschung zu erhalten. Diese Vielseitigkeit würde es Kreativen ermöglichen, die Beleuchtung ihrer Kunst zu verändern, um eine breitere Vielzahl von Szenen (wie ein Sonnenaufgang oder Sonnenuntergang) darzustellen – wie Mescher demonstrieren, indem ein Modell eines Hundes auf einem Skateboard gelebt wird.

Trotz seiner Vielseitigkeit ist Meschers nur der Anfang für Dodik und ihre Kollegen. Das Group erwägt, eine Schnittstelle zu entwerfen, um das Device einfacher zu verwenden und gleichzeitig aufwändige Szenen zu erstellen. Sie arbeiten auch mit Notion -Wissenschaftlern zusammen, um zu sehen, wie das Computergrafik -Device allgemeiner verwendet werden kann.

Dodik und Solomon schrieben die Zeitung mit CSAIL Associates Isabella Yu ’24, SM ’25; PhD -Pupil Kartik Chandra SM ’23; MIT-Professoren Jonathan Ragan-Kelley und Joshua Tenenbaum; und MIT -Assistenzprofessor Vincent Sitzmann.

Their work was supported, partially, by the MIT Presidential Fellowship, the Mathworks Fellowship, the Hertz Basis, the US Nationwide Science Basis, the Schmidt Sciences AI2050 fellowship, MIT Quest for Intelligence, the US Military Analysis Workplace, US Air Drive Workplace of Scientific Analysis, SystemsThatLearn@CSAIL initiative, Google, the MIT–IBM Watson AI Laboratory, from the Toyota–CSAIL Joint Analysis Heart, Adobe Systeme, die Company und die US -amerikanische Intelligenz -Forschungsprojekte für die Verteidigung der Verteidigungswissenschaft und die Aktivitäten der US -Intelligenz.

Während sich generative KI weiter über den Hype-Zyklus hinaus weitergeht, bildet sich ihre tatsächliche Dynamik in den weniger glamourösen Ecken der Industrie-mit Asset-Pipelines, Produktionsworkflows und iterativen Designschleifen. Nirgendwo ist dies offensichtlicher als bei der Erstellung von 3D -Inhalten, bei der die nächste Welle generativer Instruments nicht nur die Automatisierung der Kreativität, sondern die Umstrukturierung, wie Studios und Entwickler ihre Arbeit nähern.

Anfang dieses Jahres signalisierte ein neuer Benchmark diesen Übergang leise. In der Chatbot-Enviornment von LMSYS-eine weithin angesehene Rangliste auf dem Crowd-Ranging-Rangliste auf dem Umarmungsgesicht-trat ein KI-Modell von Tencent mit dem Namen Hunyuan Turbo S in die globale Prime 10 ein und rangierte direkt hinter Deepseek unter den chinesisch entwickelten Modellen. Das Modell stach nicht nur wegen seiner Dialog-Flüssigkeit und Codierungsfähigkeit auf, sondern auch wegen eines breiteren multimodalen AI-Ökosystems, das Textual content, Imaginative and prescient und 3D umfasst. Während diese Leistung die Fähigkeiten von Tencent hervorhebt, spiegelt sie auch eine breitere Reifung auf viele Spieler im KI -Feld wider.

Aber vielleicht aussagekräftiger als jeder Benchmark ist, wie diese Modelle verwendet werden.

Bei CVPR 2025 Open-Sourced von Tencent’s AI Crew Hunyuan 3d 2.1ein generatives 3D-Modell, das eher für die Benutzerfreundlichkeit der realen Welt als für das Spektakel des Demo-Stadiums erstellt wurde. Das Modell, das die Geometrie der Mesh und PBR-kompatible Texturen mit hoher Fidelität generieren kann, hat seitdem mehr als 1,8 Millionen Downloads aufgezeichnet. Die Anwendungen sind breit: in Spielen, Animation, industriellem Design und sogar autonomer Fahrzeugsimulation. Innen berichtet Tencent, dass die Produktionszeit für ein spielbereites 3D-Vermögenswert von 2 bis 3 Tagen auf weniger als 5 Stunden mit Hunyuan 3D gesunken ist und Vermögenswerte leichter zu bearbeiten, leuchtet und nativ für Motoren wie Unwirklichkeit und Unity strukturiert zu haben.

Die Effizienzgewinne sind actual – aber Tencent ist nicht allein, wenn sie sie verfolgen. Begin -ups wie Tripo haben durch die Ausrichtung der stilisierten Charaktererstellung einen Fuß gefunden und es Indie -Entwicklern ermöglicht, schnell ausdrucksstarke Avatare aufzubauen, ohne fortschrittliche 3D -Fähigkeiten zu erfordern. In der Zwischenzeit drückt Luma AI die Grenze von Pipelines auf NERF-basierten Pipelines und ermöglicht die fotorealistischen 3D-Szenenrekonstruktionen aus Videoeingaben-die Kosten in virtueller Produktion und eintauchende Umgebungen.

Diese Orientierung auf die Benutzerfreundlichkeit – erfreut sich – als rohe generative Neuheit – unterscheidet die heutigen führenden Werkzeuge zunehmend. Meshy, ein weiterer steigender Identify, hat leise die Traktion zwischen AR -Prototyping -Groups und kleinen Studios erlangt, um schnelle Format -Netze mit minimaler Aufräumarbeiten zu erzeugen. Und da viele dieser Instruments Geometrie und Texturerzeugung entkoppeln, ermöglichen sie eine zuverlässigere Bearbeitung und plattformübergreifendere Wiederverwendung-eine wesentliche Anforderung für groß angelegte Produktionsteams.

Dieser Fokus auf Pipeline-Lesheit– Erst als reine Ausgangsqualität – markiert einen Wendepunkt. Während frühe 3D -Generativmodelle unter strukturellem Rauschen und geringer Kompatibilität mit Branchenformaten litten, betonen neuere Systeme die Präzision der Topologie, die Skelett -Takelage und exportierbare Requirements wie GLTF und USD. Dies spiegelt eine breitere Verschiebung der KI -Branche wider: Die Usability wird zur neuen Grenze.

Die Stabilität AI zum Beispiel erstellt seine 3D -Funktionen durch Partnerschaften mit führenden CAD -Softwareplattformen. In Architektur und industriellem Design reduzieren diese Integrationen bereits die Modellierungsstunden und ermöglichen die generative Erkundung im Maßstab.

Adobe fädelt sich in seiner Inventive Cloud Suite generative Fähigkeiten ein. Seine Firefly -Modelle unterstützen nun die 3D -Textur und die Materialerzeugung direkt innerhalb von Werkzeugen wie Substanzmaler, sodass Designer schnell von der schnellen zum Politur wiederholt werden können. Bemerkenswert ist, wie Firefly verwendet wird, um die kreative Instinct nicht zu ersetzen, sondern um zu beschleunigen und zu erweitern – ein Ansatz, der sowohl bei Solo -Schöpfer als auch bei größeren Studios mitschwingt. Begin -ups wie Szenario und Kaedim schalten Nischen aus, indem sie sich speziell auf das Prototyping von Recreation Asset konzentrieren. Jedes dieser Instruments spiegelt eine breitere Verschiebung des Ökosystems wider – wo Unternehmen AI -Lösungen anpassen, um bestimmte kreative Engpässe zu lösen, sei es für Geschwindigkeit, Stilkontrolle oder einfache Integration.

Parallel zu diesen fokussierten Innovationen ist Tencents breiterer KI -Push auch auf Offenheit und Zugänglichkeit strukturiert. Während viele seiner Frontier-Modelle proprietär bleiben, hat es auch Versionen seiner Hunyuan-Serie für die Open-Supply-Group veröffentlicht, einschließlich Dokumentations- und Trainingsdaten mit Vollstapel. Es hat externe offene Modelle integriert-wie Deepseek-in seinen eigenen Produkten wie dem AI-Assistenten „Yuanbao“, bei dem kürzlich die Nutzung in ländlicher Bildung und angehender Branche stieg.

In Tencents jüngsten Gewinn-Name betonten Führungskräfte die langfristige Wette des Unternehmens auf „Utilized AI“-wobei sie sich weniger auf die Modellskala konzentrierten und wie KI-Instruments die tatsächlichen Dienstleistungen in Finanzen, Gesundheit, Transport und Bildung verbessern. Die internen Instruments wie QBOT, IMA und der verbesserte AI-Browser von QQ bitten jetzt multimodale Funktionen direkt in die Schnittstellen von Verbrauchern.

In einem Feld, das oft von Headline-Grabbing-Demos dominiert wird, bieten diese ruhigeren Bereitstellungen eine andere Perspektive: AI geht es nicht nur um Durchbrüche, sondern um Integration. Die nächste Welle des Wettbewerbs hängt möglicherweise nicht davon ab, dessen Modell die höchste Punkte erzielt – aber dessen Instrument tatsächlich verwendet wird.

Und in diesem Rennen kann der Einsatz der eigentliche Benchmark sein.

Ausgewähltes Bildnachweis

Das Erstellen von Inhalten kann zeitaufwändig sein, aber mit den richtigen Werkzeugen wird es einfacher. N8N und Langgraph sind zwei leistungsstarke Instruments für die Automatisierung und Verbesserung der Content material -Workflow. N8N bietet eine visuelle Oberfläche ohne Code, die sich hervorragend zum schnellen und intuitiven Workflow-Erstellen eignet, während Langgraph für Entwickler, die mit LLMs Logik erstellen möchten, besser geeignet ist. Jedes Device hat je nach Zielen einzigartige Stärken. In diesem Weblog werden wir untersuchen, wie jedes Device zum Erstellen von Inhalten auf Plattformen wie LinkedIn funktioniert. Außerdem werden wir die beiden vergleichen und Ihnen helfen, zu entscheiden, welches Device und wann verwendet werden soll.

Was ist N8N?

N8N ist ein Open-Supply-Agent-Constructing- und Workflow-Automatisierungs-Device, das die Integration verschiedener Anwendungen vereinfacht und die Agenten-Workflows mühelos automatisiert. Im Gegensatz zu anderen Automatisierungswerkzeugen bietet N8N Flexibilität bei Selbsthosting und beseitigt die Verkäufer-Lock-In. Als No-Code/Low-Code-Plattform ermöglicht es selbst Nichtentwickler, mühelos leistungsstarke Automatisierungspipelines zu erstellen.

Einer der wichtigsten Vorteile von N8N sind seine KI-betriebenen Fähigkeiten, die nahtlos in APIs wie OpenAI, Gemini und Claude für die Erzeugung der dynamischen Inhalte integriert werden. Darüber hinaus bietet N8N KI-Generatoren und vorgefertigte Vorlagen für den schnellen Aufbau von KI-Agenten, wodurch die Automatisierung für Unternehmen und Schöpfer gleichermaßen zugänglicher, effizienter und skalierbarer wird.

Schlüsselmerkmale von N8N

N8N ist mit Funktionen gepackt, die Workflow -Automatisierung einfach und effizient machen:

• Agentenfähigkeiten: N8N ermöglicht die Erstellung von AI-gesteuerten Wirkstoffen, die Aufgaben autonom ausführen, Inhalte erzeugen und Workflows mit minimalem menschlichen Intervention optimieren können.
• AI-Generatoren und vorgefertigte Vorlagen: Erstellen Sie schnell KI-Agenten mit fertigen Automatisierungsvorlagen und Instruments zur Erzeugung von KI-betriebenen Inhalten.
• No-Code- und Low-Code-Schnittstelle: Benutzer können visuell Workflows erstellen, ohne umfangreiche Codierungskenntnisse zu benötigen.
• 150+ vorgefertigte Integrationen: Verbindet sich mit Google Sheets, Google Mail, Openai, Tavily -Suche und vielen anderen Diensten, um reibungslose Arbeitsabläufe zu ermöglichen.
• Bedingte Logik und Datenmanipulation: Ermöglicht eine ausgefeilte Automatisierung durch Festlegen von Bedingungen, Filterung und Datenmanipulation.
• Skalierbarkeit und Selbsthosting: Benutzer können N8N auf ihren Systemen für eine verbesserte Steuerung und Sicherheit hosten
• Parallele Ausführung: Benutzer können mehrere Automatisierungsaufgaben parallel ausführen und die Effizienz steigern.

Was ist Langgraph?

Langgraph ist ein offenes, graphbasiertes Framework innerhalb des Langchain-Ökosystems, das zum Erstellen, Bereitstellen und Verwalten komplexer KI-Agenten-Workflows von Byflocing Großspracher Modelle (LLMs). Es ermöglicht den Entwicklern, Multi-Agent-Systeme zu definieren, zu koordinieren und auszuführen, wobei jeder Agent (oder jede Kette) bestimmte sprachbezogene Aufgaben ausführen kann, mit anderen Agenten interagiert und den Zustand im gesamten Workflow aufrechterhalten kann. Langgraph eignet sich besonders für Anwendungen, die eine ausgefeilte Orchestrierung erfordern, wie Chatbots, Workflow-Automatisierung, Empfehlungssysteme und Multi-Agent-Zusammenarbeit.

Schlüsselmerkmale von Langgraph

• Grafische Architektur: Repräsentiert Workflows als gerichtete Graphen von LLM -Wirkstoffen und erleichtert eine komplexe Logik wie Verzweigung, Schleifen und Bedingungen.
• Stateful Workflows: Das integrierte Staatsmanagement ermöglicht es den Agenten, den Kontext zu bewahren, den Fortschritt zu verfolgen und in jeder Section des Workflows dynamisch anzupassen.
• Multi-Agent-Koordination: Ermöglicht es kollaborative Agenten, Aufgaben parallel auszuführen und gleichzeitig die staatlichen und Netzwerkrouting dezentralisiert zu werden und skalierbare und effiziente Systeme zu schaffen.
• Menschliche Kontrollpersonen: Schleife: Ermöglicht einem Menschen, in jeder Section des Workflows zu überprüfen, zu genehmigen oder einzugreifen, um Zuverlässigkeit und Aufsicht zu gewährleisten.
• Flexibilität und Erweiterbarkeit: Modulare Primitive zum Anpassen von Logik, Zustand und Kommunikation; Vollständig kompatibel mit Langchain -Werkzeugen und -Modellen.
• Skalierbarkeit: Architiert für Workloads im Unternehmensmaßstab, kann ein Streaming-Stream-Kommandant mit Anfragen auf hoher Interaktionsebene und langjähriger Workflows umgehen und gleichzeitig eine optimale Leistung bewahren.

LinkedIn -Inhaltsgenerierung: Langgraph gegen N8N Vergleich

Dieser Vergleich zeigt zwei verschiedene Methoden für die automatisierte LinkedIn-Inhaltsgenerierung: eine mit einem auf Langgraph-Agenten basierenden Workflow und den anderen unter Verwendung von N8N als visuelle Workflow-Automatisierung.

Langgraph -Ansatz

Langgraph verwendet Python Clever erstellen Ai Agenten, die Forschungen zu Themen von Net -Suchanfragen durchführen und übereinstimmende LinkedIn -Inhalte generieren können. Angemessen, Adressfehler automatisch. Es verfügt über leistungsstarke Entscheidungsfähigkeiten mit Multi-Knoten-Verarbeitung, was es zur besten Choice für Entwickler macht. Außerdem für Personen, die ein intelligenteres System zur Erzeugung von programmatischen Inhalten wünschen, die Anpassungen, bedingte Logik und Staatsmanagement bietet.

Eingabescode: klicken Sie hier Um den Code anzuzeigen

Ausgabe:

 **Present State:** The panorama of AI brokers is quickly evolving, with a notable shift in the direction of modular agent architectures. Firms like Adept and Inflection are main the best way, embracing specialised sub-agents to create extra sturdy and scalable options. This method heralds a brand new period of AI agent design, promising enhanced flexibility and efficiency. 
 **Sensible Functions:** In line with a current McKinsey survey, 42% of enterprises have built-in AI brokers into their operations, with outstanding success. Customer support, knowledge evaluation, and course of automation emerge as the highest functions, delivering important ROI enhancements averaging 3.2x for early adopters. Firms leveraging AI brokers, comparable to XYZ Company in customer support and ABC Corp in knowledge evaluation, are reaping the advantages of enhanced effectivity and buyer satisfaction.
 **Challenges:** Agent improvement faces hurdles in sustaining context in prolonged conversations and making certain dependable instrument utilization. Current analysis from Anthropic and DeepMind showcases revolutionary options using reinforcement studying from human suggestions (RLHF) and constitutional AI methods to sort out these challenges head-on. These developments promise to reinforce the adaptability and effectiveness of AI brokers in complicated eventualities.
 **Future Outlook:** The way forward for AI brokers is promising, with a continued deal with enhancing adaptability, scalability, and human-AI interplay. As expertise advances, we will anticipate much more subtle agent architectures and capabilities, empowering companies throughout numerous industries to attain unprecedented ranges of effectivity and innovation.
 **Name to Motion:** How do you envision AI brokers revolutionizing industries past the present functions? Share your insights and be a part of the dialog!  #AIAgents #ModularArchitectures #EnterpriseAI #FutureTech #InnovationJourney

N8N -Ansatz

N8N ist eine visuelle Drag-and-Drop-Workflow-Plattform, die Google Sheets-Auslöser mit Net-Suchanfragen und der Erstellung von AI-generierten Inhalten kombiniert. In benutzerfreundlichen Modulen kann es in benutzerfreundlichen Modulen LinkedIn-Posts, Twitter- und Weblog-Put up-Artikel erstellen. Am besten für Geschäftsanwender, die einfach Tabellenkalkulationen integrieren und Workflows automatisieren können, ohne zu wissen, wie man codiert.

Workflow:

Ausgabe:

 AI brokers are quickly reshaping how organizations method coaching and upskilling—however what’s hype, and what’s right here to remain? For forward-thinking enterprise leaders and tech professionals, the writing is on the wall: firms that leverage AI brokers for studying achieve an actual aggressive edge.nnHere’s what’s altering:n- AI brokers, when paired with human oversight, personalize coaching, speed up onboarding, and hold groups forward of the tech curve.n- Completion charges for AI-driven coaching (like Uplimit) leap to over 90% versus conventional modules’ 3-6%. Why? Extra engagement and instantaneous, tailor-made suggestions.n- Managers can redirect their focus from repetitive fundamental coaching to higher-value actions, boosting worker engagement and retention.nnBut let’s hold it actual: full automation stays elusive. As Databricks’ CEO highlights, human supervision continues to be important—AI is your co-pilot, not your substitute.nnThe mannequin for fulfillment:n- Use AI brokers to allow scalable, efficient, and versatile upskilling throughout roles.n- Good leaders delegate repetitive coaching to brokers, whereas steering technique and accountability themselves.n- AI brokers also can drive main worth in SOCs (Safety Operations Facilities), reducing investigation instances by 80%+ whereas sustaining accuracy—as Crimson Canary’s deployment exhibits.nnHow are you able to begin?n1. Establish the onboarding and coaching processes that gradual your staff down.n2. Collaborate along with your L&D and IT leaders to evaluate which features will be responsibly automated.n3. Keep "within the loop"—evaluation outputs and outcomes earlier than scaling additional.nnForward-looking organizations that act now will develop groups who study quicker, adapt faster, and keep engaged.nnWhat’s one course of you’d hand off to an AI agent tomorrow? Share your concepts beneath!nn#AI #Upskilling #LearningAndDevelopment #BusinessInnovation #FutureOfWork

N8n gegen Langgraph: Welches ist das Beste?

Bei der Wahl zwischen N8N und Langgraph geht es nicht darum, besser als jedes andere Device zu sein. Es geht darum, das für die Ebene Ihres KI -Stapel geeignete Werkzeugs auszuwählen.

Wählen Sie N8N:

• Allgemeine Workflow -Automatisierung über mehrere Geschäftssysteme hinweg.
• Nicht-Code-/Low-Code-Lösung, die nicht-technische Mitarbeiter den Workflow automatisieren.
• Schnelle Iteration von Automatisierungsworkflows (Design, Construct, Take a look at).
• Robuste Integrationen von Drittanbietern (Slack-Integrationen, Integrationen von Google Workspace, Datenbankintegrationen usw.).
• Geschäftsprozessautomatisierung, einschließlich Nicht-AI-Aufgaben.
• Fähigkeit für mehrere Groups, an einem Automatisierungsprojekt zusammenzuarbeiten.
• Nahe der sofortigen Aktivierung der Automatisierung, ohne umfangreiche technische Arbeiten zu erfordern.
• Fähigkeit sowohl für technische als auch nicht-technische Benutzer, Beiträge in einem gemischten technischen Group zu leisten.

N8N ist perfekt für Marketingautomatisierung, Datensynchronisierung, Kundenunterstützungsprozesse, Geschäftsprozessdigitalisierung und einfache AI ​​-Agenten -Workflows in Bezug auf vorhandene Integrationen. Diese Lösung ist für Groups ausgelegt, die eine Kultur der Automatisierung über Abteilungen durch visuelle Low-Code-Automatisierung erstellen möchten.

Wählen Sie Langgraph:

• Erweiterte AI -Agentenentwicklung und komplexe Argumentation
• Staatliche, langjährige KI-Workflows, die über Sitzungen hinweg bestehen bleiben
• Feinkörnige Kontrolle über Agentenaktionen und Entscheidungen
• KI-Systeme für Produktionsgröße mit Zuverlässigkeitsanforderungen
• Komplexe Multi-Agent-Orchestrierung
• KI-Workflows von Menschen in der Schleife mit Genehmigungen
• Benutzerdefinierte Agentenarchitekturen für bestimmte Anwendungsfälle
• Fortgeschrittenes Debuggen und Überwachung von KI -Agentenkörpern

Langgraph wurde für KI-Agenten für Kundenunterstützung, mehrstufige Argumentation und Planung, Dokumentverarbeitung entwickelt, die in der Natur komplex sind, KI-Systeme in Menschen in der Regel und die F & E von ursprünglichen AI-Anwendungen, die unter strengen Kontrollen mit Zuverlässigkeit auftreten müssen.

Diese Instruments konkurrieren nicht; Sie arbeiten in Ihrer KI -Workflow -Architektur zusammen.

Abschluss

N8N und Langgraph können unterschiedliche, aber komplementäre Zwecke im Stapel von AI -Workflow -Instruments dienen. Verwenden Sie N8N für eine schnelle, visuelle Automatisierung, die Instruments verbindet und die Geschäftslogik verwaltet, ohne dass eine umfassende Codierung erforderlich ist. Verwenden Sie Langgraph, wenn Sie Gedächtnis, komplexe Entscheidungsfindung und sogar Zusammenarbeit in mehreren Agenten benötigen. Anstatt das eine oder andere auszuwählen, denken Sie an die Möglichkeiten, die beiden miteinander zu koppeln. Wo N8N die Orchestrierung über Systeme hinweg behandelt, liefert Langgraph die Begründung und Intelligenz für Ihre Agenten. Gemeinsam schaffen sie eine leistungsstarke Grundlage für skalierbare, intelligente und effiziente KI-gesteuerte Inhaltserstellung, insbesondere auf Plattformen wie LinkedIn.

Datenwissenschaftler | AWS Licensed Options Architect | KI & ML Innovator

Als Datenwissenschaftler bei Analytics Vidhya spezialisiere ich mich auf maschinelles Lernen, Deep Studying und KI-gesteuerte Lösungen, die NLP-, Laptop-Imaginative and prescient- und Cloud-Technologien nutzen, um skalierbare Anwendungen zu erstellen.

Mit einem B.Tech in Informatik (Information Science) aus VIT- und Zertifizierungen wie AWS Licensed Options Architect und TensorFlow umfasst meine Arbeit generative KI, Anomalie -Erkennung, falsche Nachrichtenerkennung und Emotionserkennung. Ich bemühe mich, intelligente Systeme zu entwickeln, die die Zukunft der KI prägen.

Wenn es eine Sache gibt, die das Fahren in einer Großstadt auszeichnet, dann ist es die ständige Cease-and-Go, wenn sich die Ampeln ändern und sich Autos und Lastwagen verschmelzen und sich trennen und drehen und parken. Diese konstante Stopp und Begin ist extrem ineffizient und treibt die Umweltverschmutzung, einschließlich Treibhausgase, die professional Fahrt Meile ausstrahlt, erhöht.

Ein Ansatz, um dies zu entgegenkommen, wird als Öko-Fahrt bezeichnet, das als Steuerungssystem in autonomen Fahrzeugen installiert werden kann, um ihre Effizienz zu verbessern.

Wie viel Unterschied könnte das machen? Wären die Auswirkungen solcher Systeme auf die Reduzierung der Emissionen die Investition in die Technologie wert? Die Beantwortung solcher Fragen ist eine breite Kategorie von Optimierungsproblemen, die für Forscher schwierig waren, die Lösungen zu testen, die sie entwickelt haben. Dies sind Probleme, die viele verschiedene Agenten betreffen, wie die vielen verschiedenen Arten von Fahrzeugen in einer Stadt, und verschiedene Faktoren, die ihre Emissionen beeinflussen, einschließlich Geschwindigkeit, Wetter, Straßenbedingungen und Ampeln.

„Wir haben uns vor ein paar Jahren in der Frage interessiert: Gibt es etwas, das automatisierte Fahrzeuge hier in Bezug auf mildernde Emissionen tun könnten?“ Laut Cathy Wu, Thomas D. und Virginia W. Cabot Profession Growth Affiliate Professor am Division of Civil and Environmental Engineering sowie des Instituts für Daten, Systeme und Gesellschaft (IDSS) am MIT sowie Hauptforscher im Labor für Informations- und Entscheidungssysteme. „Ist es ein Tropfen in den Eimer oder ist es etwas zu denken?“, Fragte sie sich.

Um eine solche Frage mit so vielen Komponenten zu beantworten, besteht die erste Anforderung darin, alle verfügbaren Daten über das System aus vielen Quellen zu sammeln. Eines ist das Format der Topologie des Netzwerks, sagt Wu, in diesem Fall eine Karte aller Kreuzungen in jeder Stadt. Dann gibt es Daten der US Geological Survey, die die Erhöhungen zeigen, um den Grad der Straßen zu bestimmen. Es gibt auch Daten zu Temperatur und Luftfeuchtigkeit, Daten zur Mischung von Fahrzeugtypen und -alter sowie zur Mischung von Kraftstofftypen.

Um nach Öko-Fahren kleine Anpassungen vorzunehmen, um den unnötigen Kraftstoffverbrauch zu minimieren. Wenn sich Autos beispielsweise einer Ampel nähern, die rot geworden ist, „macht es keinen Sinn, so schnell wie möglich zum roten Licht zu fahren“, sagt sie. Durch das Rollen brenne ich in der Zwischenzeit weder Gasoline noch Elektrizität. “ Wenn ein Auto wie ein automatisiertes Fahrzeug bei der Annäherung an eine Kreuzung verlangsamt, werden die konventionellen, nicht automatischen Autos dahinter ebenfalls gezwungen, sich zu verlangsamen, sodass sich die Auswirkungen eines solchen effizienten Fahrens weit über das Auto über das Auto hinaus erstrecken können.

Das ist die Grundidee hinter dem Öko-Fahren, sagt Wu. Um jedoch die Auswirkungen solcher Maßnahmen herauszufinden, „diese sind herausfordernde Optimierungsprobleme“, die viele verschiedene Faktoren und Parameter beinhalten, „gibt es im Second eine Welle von Interesse daran, wie man schwierige Kontrollprobleme mit AI löst.“

Das neue Benchmark-System, das Wu und ihre Mitarbeiter auf der Grundlage der städtischen Öko-Fahrten entwickelt haben, die sie als „IntersectionZoo“ bezeichnen, soll dazu beitragen, einen Teil dieses Bedürfnisses zu befriedigen. Der Benchmark wurde ausführlich in a Papier Präsentiert auf der Internationalen Konferenz 2025 über Lernrepräsentation in Singapur.

In Angaben der Ansätze, die verwendet wurden, um solche komplexen Probleme anzugehen, ist WU laut WU eine wichtige Kategorie von Methoden darin, dass das Lernen von Tiefenverstärkern (DRL) ein Multi-Agent-Verstärkungs-Lernen (DRL) ist, aber ein Mangel an angemessenen Commonplace-Benchmarks zur Bewertung der Ergebnisse solcher Methoden hat den Fortschritt auf diesem Gebiet behindert.

Der neue Benchmark soll ein wichtiges Downside ansprechen, das Wu und ihr Crew vor zwei Jahren identifiziert haben. Wenn es bei den meisten vorhandenen tiefen Verstärkungslernalgorithmen für eine bestimmte Scenario (z. B. eine bestimmte Kreuzung) trainiert wird, bleibt das Ergebnis nicht related, wenn auch kleine Modifikationen vorgenommen werden, z.

Tatsächlich, wie Wu betont, ist dieses Downside der Nicht-Generalisierbarkeit „nicht nur für den Verkehr“, sagt sie. „Es geht bis zu kanonischen Aufgaben zurück, mit denen die Gemeinschaft den Fortschritt im Algorithmusdesign bewertet.“ Da die meisten derartigen kanonischen Aufgaben keine Änderungen vornehmen, ist es schwer zu wissen, ob Ihr Algorithmus bei dieser Artwork von Robustheit Fortschritte macht, wenn wir dies nicht bewerten. „

Während es viele Benchmarks gibt, die derzeit zur Bewertung algorithmischer Fortschritte in der DRL verwendet werden, sagt sie: „Dieses Ökotrettproblem enthält eine große Reihe von Merkmalen, die für die Lösung realer Probleme, insbesondere aus der Sichtweise der Generalisierbarkeit, wichtig sind und kein anderer Benchmark erfüllt.“ Aus diesem Grund positionieren die 1 Million datengesteuerten Verkehrsszenarien in IntersectionZoo sie auf einzigartige Weise, um die Fortschritte bei der DRL-Generalisierbarkeit voranzutreiben. Infolgedessen „dieser Benchmark ergänzt den Reichtum an Möglichkeiten zur Bewertung von tiefen RL -Algorithmen und Fortschritten“.

In Bezug auf die anfängliche Frage zum Stadtverkehr wird ein Schwerpunkt der laufenden Arbeiten dieses neu entwickelten Benchmarking-Instrument anwenden, um den speziellen Fall anzugehen, in dem sich die Auswirkungen auf die Emissionen aus der Implementierung von Öko-Fahren in automatisierten Fahrzeugen in einer Stadt entsprechen würden, je nachdem, wie viel Prozent der Fahrzeuge tatsächlich stationiert sind.

Wu fügt jedoch hinzu, dass „das Hauptziel dieser Studie, die die Entwicklung von allgemeinen Lernalgorithmen der allgemeinen Purple-Purple-Purple-Purple-Purple-Purple-Purpur-Lernalgorithmen auf diese Anwendung angewendet werden kann, aber auch auf all diese anderen Anwendungen angewendet werden kann, anstatt etwas zu erstellen, das es ist, die Entwicklung von allgemeinen Lernalgorithmen für allgemeine Verstärkung zu unterstützen.

Wu fügt hinzu, dass „das Ziel des Projekts darin besteht, dies als Instrument für Forscher bereitzustellen, das offen verfügbar ist.“ IntersectionZoo und die Dokumentation zum Gebrauch sind bei der Verwendung frei bei Github.

Wu wird von den Hauptautoren Vindula Jayawardana, einem Doktorand der MIT -Abteilung für Elektrotechnik und Informatik (EECs), auf dem Papier begleitet. Baptiste Freydt, ein Doktorand aus ETH Zürich; und Co-Autoren AO Qu, ein Doktorand im Transport; Cameron Hickert, ein IDSS -Doktorand; und Zhongxia Yan PhD ’24.

Interview-Setup und Video-Add

Um eine benutzerfreundliche Oberfläche für die Einrichtung von Interviews und die Bereitstellung von Videolinks zu erstellen, habe ich Die Formularfunktion von Google Colab. Dies ermöglicht die Erstellung von Textfeldern, Schiebereglern, Dropdowns und mehr. Der Code ist hinter dem Formular verborgen, sodass er für nicht-technische Benutzer sehr leicht zugänglich ist.

Audio-Obtain und -Konvertierung

Ich habe die yt-dlp-Bibliothek verwendet, um nur den Ton eines YouTube-Movies herunterzuladen und in das MP3-Format zu konvertieren. Die Verwendung ist sehr einfach und Sie können Die Dokumentation finden Sie hier.

Audiotranskription

Zur Transkription des Conferences verwendete ich Flüstern von Open AI. Es handelt sich um ein Open-Supply-Modell zur Spracherkennung, das mit über 680.000 Stunden mehrsprachiger Daten trainiert wurde.

Das Modell läuft unglaublich schnell; die Transkription eines einstündigen Audioclips dauert auf einer 16 GB großen T4-GPU (kostenlos auf Google Colab angeboten) etwa 6 Minuten und unterstützt 99 verschiedene Sprachen.

Da Datenschutz eine Voraussetzung für die Lösung ist, werden die Modellgewichte heruntergeladen und alle Inferenzen erfolgen innerhalb der Colab-Instanz. Ich habe dem Pocket book auch ein Modellauswahlformular hinzugefügt, damit der Benutzer je nach der von ihm gesuchten Genauigkeit verschiedene Modelle auswählen kann.

Sprecheridentifikation

Die Sprecheridentifizierung erfolgt mithilfe einer Technik namens „Audio system Diarization“. Die Idee besteht darin, Audiodaten zu identifizieren und in einzelne Sprachsegmente zu segmentieren, wobei jedes Phase einem bestimmten Sprecher entspricht. Auf diese Weise können wir feststellen, wer wann gesprochen hat.

Da die von YouTube hochgeladenen Movies keine Metadaten enthalten, die den Sprecher identifizieren, werden die Sprecher in Sprecher 1, Sprecher 2 usw. unterteilt. Später kann der Benutzer diese Namen in Google Docs suchen und ersetzen, um die Identifikation der Sprecher hinzuzufügen.

Für die Diarisierung verwenden wir ein Modell namens Multi-Scale-Diarisierungs-Decoder (MSDD)das von Nvidia-Forschern entwickelt wurde. Es handelt sich dabei um einen ausgeklügelten Ansatz zur Sprecherdiarisierung, der Multiskalenanalyse und dynamische Gewichtung nutzt, um eine hohe Genauigkeit und Flexibilität zu erreichen.

Das Modell ist dafür bekannt, dass es Momente, in denen mehrere Sprecher gleichzeitig sprechen, recht intestine erkennen und richtig kategorisieren kann – etwas, das bei Interviews häufig vorkommt.

Das Modell kann verwendet werden durch die NVIDIA NeMo-Framework. Es ermöglichte mir, MSDD-Checkpoints zu erhalten und die Diarisierung mit nur wenigen Codezeilen direkt im Colab-Notizbuch auszuführen.

Als ich mir die Diarisierungsergebnisse von MSDD ansah, bemerkte ich, dass die Zeichensetzung ziemlich schlecht battle, mit langen Phrasen und einigen Unterbrechungen wie „Hmm“ Und „Ja“ wurden als Unterbrechung des Sprechers gewertet, was die Lesbarkeit des Textes erschwerte.

Additionally beschloss ich, der Pipeline ein Interpunktionsmodell hinzuzufügen, um die Lesbarkeit des transkribierten Textes zu verbessern und die menschliche Analyse zu erleichtern. So bekam ich das Interpunktionsmodell von Hugging Faceeine sehr präzise und schnelle Lösung, die die folgenden Sprachen unterstützt: Englisch, Deutsch, Französisch, Spanisch, Bulgarisch, Italienisch, Polnisch, Niederländisch, Tschechisch, Portugiesisch, Slowakisch und Slowenisch.

Videosynchronisation

Eine der von mir verglichenen Branchenlösungen bestand darin, dass jeder Satz mit dem jeweiligen Interviewmoment des Sprechers verknüpft sein sollte.

Die Whisper-Transkriptionen verfügen über Metadaten, die die Zeitstempel angeben, wann die Sätze gesagt wurden. Allerdings sind diese Metadaten nicht sehr präzise.

Daher habe ich ein Modell namens Wav2Vec2 um diesen Abgleich genauer durchzuführen. Im Grunde ist die Lösung ein neuronales Netzwerk, das Audiodarstellungen lernt und eine Spracherkennungsausrichtung durchführt. Der Prozess umfasst das Finden der genauen Zeitstempel im Audiosignal, an denen jedes Phase gesprochen wurde, und das entsprechende Ausrichten des Textes.

Nachdem die Übereinstimmung zwischen Transkription und Zeitstempel mithilfe eines einfachen Python-Codes ordnungsgemäß durchgeführt wurde, habe ich Hyperlinks erstellt, die auf die Stelle im Video verweisen, an der die Sätze gesprochen werden.

Das LLM-Modell

Dieser Schritt der Pipeline verfügt über ein großes Sprachmodell, das lokal ausgeführt werden kann, den Textual content analysiert und Erkenntnisse über das Interview liefert. Standardmäßig habe ich ein Gemma-Modell 1.1b mit einer Aufforderung zur Zusammenfassung des Textes hinzugefügt. Wenn die Benutzer die Zusammenfassung wünschen, wird sie in einer Aufzählungsliste oben im Dokument angezeigt.

Klicken Sie außerdem auf Code anzeigenkönnen die Benutzer die Eingabeaufforderung ändern und das Modell auffordern, eine andere Aufgabe auszuführen.

Dokumentgenerierung zum Markieren, Hervorheben und Kommentieren

Die letzte Aufgabe der Lösung besteht darin, Google Docs mit den Transkriptionen und Hyperlinks zu den Interviews zu generieren. Dies wurde durch die Google API Python-Clientbibliothek.

Da das Produkt in meiner täglichen Arbeit unglaublich nützlich geworden ist, habe ich beschlossen, ihm einen Namen zu geben, damit ich es leichter wiederfinden kann. Ich nannte es das ICHEinblicke Gatherisch OStiftquelle Tool oder iGot.

Wenn Sie die Lösung zum ersten Mal verwenden, ist zunächst eine Einrichtung erforderlich. Ich werde Sie anhand eines Beispiels aus der Praxis durch die ersten Schritte führen.

Öffnen Sie das iGot-Pocket book und installieren Sie die erforderlichen Bibliotheken

Klicken Sie auf dieser Hyperlink um das Pocket book zu öffnen und die erste Zelle auszuführen, um die erforderlichen Bibliotheken zu installieren. Dies dauert etwa 5 Minuten.

Wenn Sie zum Neustart des Notebooks aufgefordert werden, brechen Sie den Vorgang einfach ab. Das ist nicht nötig.

Wenn alles wie erwartet läuft, erhalten Sie die Meldung „Alle Bibliotheken installiert!“.

Abrufen des Hugging-Benutzerzugriffstokens und des Modellzugriffs

(Dieser Schritt ist nur beim ersten Ausführen des Notebooks erforderlich.)

Um die Gemma- und Punctuate-All-Modelle auszuführen, laden wir Gewichte von Hugging Face herunter. Dazu müssen Sie ein Benutzertoken und Modellzugriff anfordern.

Dazu müssen Sie ein Hugging Face-Konto erstellen und diese Schritte befolgen, um ein Token mit Leseberechtigungen zu erhalten.

Sobald Sie das Token haben, kopieren Sie es und kehren Sie zum Labornotizbuch zurück. Gehen Sie zur Registerkarte „Geheimnisse“ und klicken Sie auf „Neues Geheimnis hinzufügen“.

Nennen Sie Ihr Token wie folgt HF_TOKEN und vorbei am Schlüssel, den du von Hugging Face bekommen hast.

Klicken Sie anschließend auf dieser Hyperlink um das Gemma-Modell auf Hugging Face zu öffnen. Klicken Sie dann auf „Lizenz bestätigen“, um Zugriff auf das Modell zu erhalten.

Senden des Interviews

Um ein Interview an iGot zu senden, müssen Sie es zuvor als nicht gelistetes Video auf YouTube hochladen. Für dieses Tutorial habe ich einen Ausschnitt aus dem Interview von Andrej Karpathy mit Lex Fridman genommen und auf mein Konto hochgeladen. Es ist Teil des Gesprächs, in dem Andrej einige Ratschläge für Anfänger im maschinellen Lernen gab.

Dann müssen Sie die Video-URL abrufen, in die Video-URL Feld der Auswahl der Interviews Pocket book-Zelle, legen Sie einen Namen für diese fest und geben Sie die im Video gesprochene Sprache an.

Sobald Sie die Zelle ausführen, erhalten Sie eine Meldung, dass eine Audiodatei generiert wurde.

Modellauswahl und Ausführung

In der nächsten Zelle können Sie die Größe des Whisper-Modells auswählen, das Sie für die Transkription verwenden möchten. Je größer das Modell, desto höher die Transkriptionspräzision.

Standardmäßig ist das größte Modell ausgewählt. Treffen Sie Ihre Wahl und führen Sie die Zelle aus.

Führen Sie dann die Modellausführungszelle aus, um die im vorherigen Abschnitt gezeigte Modellpipeline auszuführen. Wenn alles wie erwartet verläuft, sollten Sie am Ende die Meldung „Interpunktion abgeschlossen!“ erhalten.

Wenn Sie über eine Meldung aufgefordert werden, auf den Token für das Umarmungsgesicht zuzugreifen, gewähren Sie den Zugriff darauf.

Konfigurieren der Transkriptausgabe

Der letzte Schritt besteht darin, die Transkription in einer Google Docs-Datei zu speichern. Dazu müssen Sie den Dateipfad angeben, den Interviewnamen eingeben und entscheiden, ob Gemma das Assembly zusammenfassen soll.

Wenn Sie die Zelle zum ersten Mal ausführen, werden Sie möglicherweise mit einer Meldung aufgefordert, auf Ihr Google Drive zuzugreifen. Klicken Sie auf „Zulassen“.

Geben Sie Colab dann vollen Zugriff auf Ihren Google Drive-Arbeitsbereich.

Wenn alles wie erwartet läuft, wird am Ende ein Hyperlink zur Google Docs-Datei angezeigt. Klicken Sie einfach darauf und Sie erhalten Zugriff auf die Transkription Ihres Interviews.

Sammeln von Erkenntnissen aus dem generierten Dokument

Das endgültige Dokument enthält die Transkriptionen, wobei jede Phrase mit dem entsprechenden Second im Video verknüpft ist, an dem sie beginnt. Da YouTube keine Sprechermetadaten bereitstellt, empfehle ich, das Suchen- und Ersetzen-Device von Google Docs zu verwenden, um „Sprecher 0“, „Sprecher 1“ usw. durch die tatsächlichen Namen der Sprecher zu ersetzen.

Damit können Markierungen, Notizen, Reaktionen usw. bearbeitet werden. Wie eingangs vorgesehen:

Das Device ist erst in der ersten Model und ich airplane, es zu einer benutzerfreundlicheren Lösung weiterzuentwickeln. Vielleicht hoste ich eine Web site, damit Benutzer nicht direkt mit dem Notizbuch interagieren müssen, oder ich erstelle ein Plugin für die Verwendung in Google Meets und Zoom.

Mein Hauptziel bei diesem Projekt bestand darin, ein hochwertiges Device zur Transkription von Conferences zu erstellen, das anderen von Nutzen sein kann und gleichzeitig zeigt, wie verfügbare Open-Supply-Instruments mit den Fähigkeiten kommerzieller Lösungen mithalten können.

Ich hoffe, Sie finden es nützlich! Fühlen Sie sich frei, Kontaktieren Sie mich auf LinkedIn wenn Sie Suggestions haben oder an einer Mitarbeit bei der Weiterentwicklung von iGot interessiert sind