Enterprise AI scheitert selten, weil einem Unternehmen eine gute Demo fehlt. Dies scheitert, weil die Daten, die Rechenleistung, die Beschaffung und die Governance hinter der Demo in vier verschiedenen Systemen leben, die nie für die Kommunikation miteinander konzipiert sind.

Das neueste Engagement von Snowflake gegenüber AWS ist eine direkte Wette gegen den gerade beschriebenen Fehlermodus. Am 27. Mai 2026 kündigte Snowflake eine mehrjährige strategische Kooperationsvereinbarung mit Amazon Net Providers an, einschließlich einer Zusage in Höhe von 6 Milliarden US-Greenback über einen Zeitraum von fünf Jahren für Graviton-Rechen- und KI-Ausgaben. CEO Sridhar Ramaswamy bezeichnete den Deal als einen Beschleuniger für die Einführung von Enterprise-Agent-KI und nicht als eine Marketingmaßnahme, die an eine einzelne Produkteinführung gebunden ist.

Was der Deal beinhaltet

Die Vereinbarung deckt mehr als nur reine Rechenausgaben ab. Snowflake und AWS beschrieben tiefergehende Produktintegrationen über generative und agentische KI hinweg, erweiterte Markteinführungen über AWS Market, gemeinsame Investitionen in Kundenerfolgsprogramme und koordinierte Workload-Migrationen. Die namentlich genannten Kunden Fetch und Hex wurden in der Mitteilung der Unternehmen als frühe Beispiele für die Zusammenarbeit in der Praxis aufgeführt.

Der Dollarwert ist im Zuge der Beziehung zwischen Snowflake und AWS stetig gewachsen. Die fünfjährigen AWS-Ausgabenverpflichtungen des Unternehmens stiegen von 1,2 Milliarden US-Greenback zum Zeitpunkt des Börsengangs im Jahr 2020 auf 2,5 Milliarden US-Greenback im Jahr 2023 und nun auf 6 Milliarden US-Greenback. Snowflake gab bekannt, dass der AWS Market-Umsatz auf Lebenszeit die Marke von 7 Milliarden US-Greenback überschritten hat und im Kalenderjahr im Jahr 2025 den Market-Umsatz von 2 Milliarden US-Greenback überschritten hat, was einer Verdoppelung des Vorjahreswerts entspricht. Nach Angaben des Unternehmens nutzen die meisten Snowflake-Kunden bereits AWS, und die neue Vereinbarung vertieft eine Infrastrukturbeziehung, die seit elf Jahren besteht, anstatt sie ganz von vorne zu beginnen.

Aus den SEC-Einreichungen von Snowflake geht hervor, dass das Unternehmen eine Infrastruktur über AWS, Azure und Google Cloud betreibt. In den Unterlagen wird darauf hingewiesen, dass die Cloud-Vereinbarungen im Allgemeinen Mindestnutzungsverpflichtungen, feste und variable Preisbestimmungen sowie Zahlungsverpflichtungen enthalten können, die ausgelöst werden, wenn eine Verpflichtung nicht eingehalten wird. Sie beschreiben die Kategorie jedoch allgemein und geben keine spezifischen Bedingungen hinter der neuen AWS-Verpflichtung in Höhe von 6 Milliarden US-Greenback bekannt. Snowflake hat nicht gesagt, welchen Anteil die 6 Milliarden US-Greenback an den gesamten Infrastrukturausgaben ausmachen, und die zuletzt bekannt gegebenen unkündbaren Kaufverpflichtungen des Unternehmens stammen aus der Zeit vor der neuen Vereinbarung, sodass kein eindeutiger Vergleichspunkt besteht.

Warum Agenten-KI die Datenschicht braucht

Agentische KI klingt von außen nach einem Modellproblem. In der Praxis handelt es sich zunächst um ein Datenzugriffsproblem. Ein Agent benötigt einen geregelten Kontext, bevor er auf etwas reagieren kann, nämlich dieselben Kundendaten, Finanztabellen und Betriebsdaten, die ein menschlicher Analyst benötigen würde, und auf die er unter denselben Compliance-Regeln zugreifen kann.

Snowflakes Pitch konzentriert sich darauf, KI in verwaltete Unternehmensdaten zu integrieren, anstatt wise Daten dorthin zu verschieben, wo ein Modell gerade ausgeführt wird. Das Unternehmen verweist auf die KI-Funktionen von Cortex, darunter Textual content-to-SQL, Zusammenfassung, Sentimentanalyse und Entitätsextraktion, als Bindeglied zwischen rohen Unternehmensdaten und den Agenten, die darauf reagieren sollen. AWS stellt die darunter liegende Rechenschicht bereit: Graviton-Prozessoren für allgemeine Arbeitslasten und GPU-gestützte EC2-Instanzen für Modelltraining und Inferenz.

Der Rahmen ist wichtiger, als der Marketingtext vermuten lässt. Die Unternehmen, die die nächste Part der Einführung von KI in Unternehmen gewinnen, werden wahrscheinlich diejenigen sein, die zuerst Zugriff und Governance lösen, und nicht diejenigen mit dem größten Modell.

Die Multi-Cloud-Frage

Snowflake vermarktet sich seit Jahren als Cloud-neutral, als Datenplattform, die reibungslos über AWS, Azure und Google Cloud läuft. Ein fünfjähriges AWS-Engagement in Höhe von 6 Milliarden US-Greenback ändert die Positionierung nicht. Snowflake hat keine öffentliche Erklärung zur Reduzierung der Unterstützung für andere Clouds abgegeben, und in der Ankündigung wird nichts als Exklusivität beansprucht.

Eine tiefere AWS-Beziehung wirft jedoch immer noch eine echte Frage für Kunden auf, die auf Azure oder Google Cloud standardisiert sind. Wenn die fortschrittlichsten Cortex-KI-Integrationen, die schnellsten Workload-Migrationen und das umfassendste gemeinsame Engineering zuerst auf AWS landen, wird die Multi-Cloud-Possibility für Nicht-AWS-Kunden eher zu einer theoretischen und weniger zu einer praktischen Funktion. Es lohnt sich, die Spannung in den nächsten Produktzyklen im Auge zu behalten und nicht zu ignorieren.

Wettbewerbskontext

Platzieren Sie den Deal gegenüber dem Relaxation des Feldes und das Muster wird schärfer. Databricks pflegt anbieterübergreifende Cloud-Partnerschaften. Google kombiniert BigQuery mit Vertex AI als konkurrierendes Daten-plus-Modell-Bundle. Microsoft bietet Material und Azure AI als Customary-Stack für Unternehmen an, die bereits auf Microsoft-Instruments standardisiert sind. AWS kontert mit Redshift, Bedrock und SageMaker als native Different zu einem Snowflake-on-AWS-Setup.

Der KI-Stack von Unternehmen konsolidiert sich dahingehend, dass Daten, Rechenleistung und Modellzugriff enger zusammenliegen und nicht weiter voneinander entfernt sind. Snowflake und AWS positionieren die Konsolidierung so, dass sie jedes Unternehmen begünstigen, anstatt Kunden dazu zu zwingen, sich für eines des anderen zu entscheiden.

Was Sie als Nächstes sehen sollten

Die Ergebnisse des ersten Quartals des Geschäftsjahres 2027 von Snowflake geben dem Deal eine gewisse finanzielle Unterstützung: Umsatz von 1,39 Milliarden US-Greenback und Produktumsatz von 1,33 Milliarden US-Greenback, ein Anstieg von 34 Prozent im Vergleich zum Vorjahr, wobei nach Angaben des Unternehmens mittlerweile mehr als 13.900 Kunden die AI Information Cloud von Snowflake nutzen. Nichts davon bestätigt, dass die Agenten-KI in den meisten Unternehmen eine breite Produktionsreife erreicht hat. Es bestätigt die Investitionen des Anbieters und die erwartete Nachfrage, was eine andere und kleinere Behauptung darstellt.

Der eigentliche Check kommt in den nächsten Quartalen: Ob die AWS Market-Verkäufe weiter steigen, ob Kunden KI-Workloads in großem Maßstab auf die von Graviton unterstützte Snowflake-Infrastruktur migrieren und ob Snowflake den Komfort seiner Azure- und Google Cloud-Kunden gewährleisten kann, während AWS die tiefgreifendsten Integrationsarbeiten zuerst erledigt. Die Zahl von 6 Milliarden US-Greenback ist eine Schlagzeile. Wohin die technischen Stunden als nächstes gehen, ist die Geschichte.

Zahlungsverzögerungen erscheinen zunächst oft geringfügig. Eine Rechnung bleibt einige Tage lang unbezahlt oder ein Kunde bittet um eine Verlängerung. Im Laufe der Zeit führen diese kleinen Störungen zu größeren finanziellen Belastungen, die sich auf Planung, Personalbesetzung und Wachstum auswirken. Künstliche Intelligenz spielt heute eine zentrale Rolle dabei, aufzuzeigen, wie sich verspätete Zahlungen durch ein Unternehmen bewegen und wo die wahren Kosten entstehen.

Zahlungsdaten in klare Signale verwandeln

Herkömmliche Berichte zeigen überfällige Salden und Fälligkeitsübersichten an, erklären jedoch selten, wie sich Verzögerungen auf den Relaxation des Vorgangs auswirken. KI-Systeme analysieren gemeinsam Zahlungshistorie, Kundenverhalten und Cashflow-Muster. Dieser Ansatz deckt Korrelationen auf, die bei einer manuellen Überprüfung leicht übersehen werden.

Beispielsweise kann KI verspätete Zahlungen mit einer steigenden kurzfristigen Kreditaufnahme oder aufgeschobenen Lieferantenverpflichtungen in Verbindung bringen. Mithilfe dieser Hyperlinks können Finanzteams erkennen, wie sich Zeitlücken in zusätzlichen Ausgaben oder verpassten Chancen niederschlagen. Anstatt zu reagieren, nachdem Probleme aufgetreten sind, erhalten Führungskräfte frühzeitig Einblick in finanzielle Druckpunkte.

Vorhersage von Cashflow-Störungen

Cashflow-Prognose wird mit KI-gesteuerten Modellen viel genauer. Diese Systeme lernen aus vergangenem Verhalten und passen Prognosen an, wenn neue Daten eintreffen. Wenn ein Kundensegment in bestimmten Monaten ein Muster an verspäteten Zahlungen aufweist, berücksichtigt KI dieses Risiko in zukünftigen Prognosen.

Diese prädiktive Sicht unterstützt intelligentere Planungsentscheidungen. Unternehmen können Lagerbestände, Personalpläne oder Investitionsausgaben basierend auf der voraussichtlichen Verfügbarkeit von Bargeld anpassen. Das Ergebnis ist ein stabilerer Betrieb, selbst wenn sich der Zahlungszeitpunkt verschiebt.

Verborgene Betriebskosten aufdecken

Verspätete Zahlungen wirken sich nicht nur auf die Buchhaltungskennzahlen aus. Sie beeinflussen den täglichen Betrieb auf subtile Weise. KI-Instruments verfolgen, wie Verzögerungen den Verwaltungsaufwand erhöhen, Lieferantenzahlungen verlangsamen und den Verhandlungsspielraum verringern.

Beispielsweise verbrauchen wiederholte Nachverfolgungen überfälliger Rechnungen Personalzeit, die für Analysen oder Kundensupport aufgewendet werden könnte. KI macht diese versteckten Arbeitskosten deutlich, indem die aufgewendete Zeit mit der Zahlungsleistung verglichen wird. Diese Erkenntnisse helfen Führungskräften, die gesamten Auswirkungen des Zahlungsverhaltens über einfache Salden hinaus abzuwägen.

Unterstützung des Risikomanagements und der Compliance

Zahlungsverzögerungen können auch Compliance- und Berichtsrisiken erhöhen, insbesondere für Unternehmen, die regulierte Transaktionen abwickeln. KI überwacht Zahlungsflüsse auf unregelmäßige Muster, die auf Probleme wie Systemfehler oder Prozesslücken hinweisen können.

In Sektoren, in denen öffentliche Mittel zum Einsatz kommen, sind genaue Zeitplanung und Dokumentation von entscheidender Bedeutung. KI hilft bei der Überwachung in Bereichen wie: Zahlungsabwicklung für die Regierung indem Sie auf Verzögerungen hinweisen, die sich auf die Genauigkeit der Berichterstattung oder vertragliche Verpflichtungen auswirken könnten. Diese proaktive Überwachung reduziert die Gefährdung und unterstützt strengere Finanzkontrollen.

Verbesserung der Kunden- und Lieferantenbeziehungen

KI kann mehr als nur Probleme identifizieren. Es unterstützt bessere Kommunikationsstrategien. Durch die Segmentierung der Kunden anhand des Zahlungsverhaltens können Unternehmen für jede Gruppe den richtigen Outreach-Ansatz anwenden. Einige Verzögerungen können auf Prozessprobleme zurückzuführen sein, während andere auf finanzielle Belastungen hinweisen.

Mit datengestützten Erkenntnissen können Finanzteams früher und konstruktiver interagieren. Anbieter profitieren außerdem von klareren Zahlungsprognosen, was das Vertrauen und die Lieferkontinuität stärkt. KI verlagert Gespräche von reaktiven Erinnerungen hin zu informierter Zusammenarbeit.

Aufbau von Resilienz durch bessere Einblicke

Der größte Wert der KI liegt in ihrer Fähigkeit, Ursache und Wirkung unternehmensweit zu verknüpfen. Zahlungsverzögerungen sind selten Einzelfälle. Sie interagieren mit Budgetierung, Personalbesetzung, Lieferantenbedingungen und strategischer Planung. KI macht diese Zusammenhänge sichtbar und aktualisiert sie kontinuierlich, wenn sich die Bedingungen ändern.

Organisationen, die sich auf diese Erkenntnisse verlassen, gewinnen an Widerstandsfähigkeit. Sie gehen von der Vermutung über das Cashflow-Risiko zu einer klaren Steuerung über. Im Laufe der Zeit unterstützt dieser Wandel ein stetigeres Wachstum und eine sicherere Entscheidungsfindung.

Zahlungsverzug wird es bis zu einem gewissen Grad immer geben, seine disruptive Wirkung muss jedoch nicht verborgen bleiben. KI gibt Unternehmen ein klareres Bild davon, wie sich Timing auf die Leistung im gesamten Unternehmen auswirkt. Mit dieser Transparenz können Führungskräfte früher reagieren, intelligenter planen und die nachgelagerten Auswirkungen von Zahlungsverzögerungen auf das gesamte Unternehmen reduzieren. Weitere Informationen zu den Auswirkungen von Zahlungsverzögerungen finden Sie in der folgenden Infografik.

OpenAI scheint die technischen Grundlagen zu schaffen, um seine kostenlose Nutzerbasis durch Werbung zu monetarisieren, was eine Abkehr von seinen werbefreien Ursprüngen signalisiert. Der in der neuesten Betaversion der ChatGPT-Android-App (v1.2025.329) verborgene Code verweist explizit auf Werbe-Frameworks, einschließlich spezifischer Zeichenfolgen für „Anzeigenfunktion“, „Suchanzeige“ und „Basarinhalt“. Die Entdeckung, gemacht vom Reverse Engineer Tibor Blaho, zeigt an dass die Infrastruktur zur Bereitstellung kommerzieller Inhalte aktiv entwickelt wird, auch wenn sie für die Öffentlichkeit noch nicht sichtbar ist.

Diese technische Entwicklung deckt sich mit den jüngsten Berichten von Die Informationenwas darauf hindeutet, dass OpenAI Anzeigenmodelle untersucht, die den Chatverlauf und die Speicherdaten der Benutzer nutzen könnten. Während CEO Sam Altman zuvor während einer Veranstaltung der Harvard Enterprise Faculty die Schnittstelle von KI und Werbung als „einzigartig beunruhigend“ und als „letzten Ausweg“ bezeichnete, hat er diese Haltung zunehmend abgemildert und zugegeben, dass das Unternehmen nicht „völlig gegen“ das Umsatzmodell sei. Bei einer Implementierung würden diese Anzeigen wahrscheinlich auf den kostenlosen Kontingent der Plattform abzielen und damit die „wirklich kostenlose Fahrt“ für nicht zahlende Benutzer beenden, die ohnehin bereits mit Einschränkungen in Bezug auf Denkfähigkeiten und Nachrichtenbeschränkungen konfrontiert sind.

Hervorgehobener Bildnachweis

Dass die Fähigkeiten von LLMs in den letzten Jahren dramatisch vorangetrieben sind, aber es ist schwer zu quantifizieren, wie intestine sie geworden sind.

Das brachte mich dazu, an ein geometrisches Downside zurückzudenken, das ich letztes Jahr auf einem YouTube -Kanal gestoßen bin. Dies battle im Juni 2024, und ich versuchte, das führende Großsprachmodell zu dieser Zeit (GPT-4O) zur Lösung des Rätsels zu erhalten. Es lief nicht so intestine und erforderte eine Menge Anstrengung, eine Lösung zu finden, und ich fragte mich, wie die neuesten LLMs mit demselben Rätsel abschneiden würden.

Das Puzzle

Hier ist eine kurze Erinnerung daran, was ich die LLM gebeten habe, damals zu lösen. Angenommen, wir haben das folgende Netz von Punkten/Knoten. In der X- und Y -Ebene ist jeder Knoten genau eine Einheit von seinem angrenzenden Nachbarn entfernt. Es sieht so aus,

Nun, die Frage, die ich beantworten wollte, battle das,

What number of distinct squares will be drawn on this diagram?

Es wurde schnell klar, dass GPT-4O die Antwort nicht kannte, additionally änderte ich mich leicht und fragte sie stattdessen.

I would love a Python program that plots out all of the squares we are able to 
draw on the hooked up diagram, assuming that the corners of any sq. 
should lie on one of many spots on the diagram. Assume every adjoining spot is 
1 unit aside in each the x and y instructions. Additionally print out a abstract of 
the variety of squares of the identical measurement and what their aspect lengths are

Lange Geschichte, kurz gesagt, ich letztlich Ich habe GPT-4O, um eine korrekte Python-basierte Lösung zu finden. Trotzdem brauchte ich ungefähr zwei Stunden und weit über 40 Iterationen von mir, die mit dem Modell hin und her ging, um seine Antwort zu verfeinern, bis es etwas fand, das funktioniert.

NB, hast du die Antwort schon ausgearbeitet? Selbst jetzt kann ich immer noch nicht glauben, dass es 21 Quadrate sind, die Sie auf diese Grafik zeichnen können.

Interaktion mit Sonett 4.5

Dies bringt uns zurück in den heutigen Tag und die jüngste Veröffentlichung des Anthropics, das das heute als am besten verfügbare Codierungsmodell angesehen wird, nämlich Claude Sonnet 4.5. Es ist ungefähr 16 Monate her, seit ich mich das zuletzt angesehen habe. Wie viel hat sich LLMs in der Zwischenzeit verbessert? Mal sehen, wie Sonnet 4.5 mit dem Puzzle fertig wird.

Um Sonnet 4.5 zu verwenden, habe ich Anthropics Homepage besucht.

https://www.anthropic.com

Sie sollten eine solche Seite sehen.

Klicken Sie auf das große Schwarz „Versuchen Sie es mit Claude“ Style oben rechts auf dem Bildschirm. Sie werden gebeten, sich an diesem Punkt anzumelden. Wenn Sie noch kein Konto mit Anthropic haben, stellen Sie bitte jetzt eines ein. Es ist völlig frei, dies zu tun.

Sobald Sie angemeldet sind, werden Sie auf einen Bildschirm mit einem vertrauten Chat-basierten Fenster gebracht, mit dem Sie mit Sonnet 4.5 Fragen interagieren und diese stellen können.

Bevor ich das Modell aufforderte, ein Python -Programm zur Lösung des Puzzles bereitzustellen, stellte ich ihm eine klare Frage, um festzustellen, ob es die Antwort bereits kannte.

Es kam zurück mit,

 this grid, I must rely all attainable squares of various 
sizes that may be shaped by connecting the dots.
Let me first establish the grid construction. The dots type:

2 dots within the prime row
2 dots within the second row
6 dots within the third row
6 dots within the fourth row
2 dots within the fifth row
2 dots within the sixth row

This seems to be a cross or plus-sign formed grid sample.
Now I am going to rely squares by measurement:
1×1 squares: These are shaped by any 4 dots that make a unit sq..

Within the horizontal center part (rows 3-4): 5 squares per row × 1 = 5 squares
Within the vertical center part (columns the place the cross intersects): counting 
the vertical segments provides us 5 extra squares
Whole: 10 small squares

2×2 squares: These want 4×4 preparations of dots.

Within the horizontal part: 4 squares
Within the vertical part: 4 squares
Overlap in middle: -1 (counted twice)
Whole: 7 squares of measurement 2×2

3×3 squares and bigger: The grid sample is barely 6 dots large at its most, however the cross form limits the place bigger squares can match. Checking the geometry:

One 3×3 sq. can match within the middle the place the arms of the cross overlap
Whole: 1 sq. of measurement 3×3

Whole: 10 + 7 + 1 = 18 squares

Additionally zuversichtlich falsch. Ich habe neugierig und fasziniert von dem Modell des Modells auf ein 3 × 3 Quadrat (das in diesem Raster unmöglich ist) und bat es, mir das Quadrat auf dem Diagramm zu zeigen. Es antwortete damit.

Trying on the grid extra rigorously, I must rethink whether or not a 3×3 sq. 
truly exists.
For a 3×3 sq. to exist, I would want a 4×4 association of dots 
(since a 3×3 sq. requires 4 dots on either side). Let me examine the grid 
construction:
The grid seems to be:

Rows 1-2: solely 2 dots every (centered)
Rows 3-4: 6 dots every (full width)
Rows 5-6: solely 2 dots every (centered)

For a 3×3 sq., I would want 4 consecutive rows and 4 consecutive columns all with dots on the intersection factors. Nevertheless, wanting on the cross/plus sample:

The highest solely has 2 columns of dots
The center has 6 columns of dots
The underside solely has 2 columns of dots

Since rows 1-2 and rows 5-6 solely have 2 dots every (not spanning the complete width)
, there is not truly a 4×4 block of dots anyplace on this grid.
I must appropriate my reply: There may be NO 3×3 sq. attainable on this grid.
The overall needs to be: 10 (1×1 squares) + 7 (2×2 squares) = 17 squares
I apologize for the error in my preliminary rely. The cross-shaped sample 
prevents any sq. bigger than 2×2 from being shaped.

Okay, es wurde sich mit dieser Antwort halb wieder einlöste, aber im Grunde sagte es nicht, dass es insgesamt 21 Quadrate gab.

Die endgültige Antwort

Um die Dinge mit dem Modellvergleich über die 16 Monate truthful zu halten, stellte ich Sonnet 4.5 genau die gleiche Frage, die ich GPT-4O gestellt hatte, was als Erinnerung dies battle.

I would love a Python program that plots out all of the squares we are able to draw on 
the hooked up diagram, assuming that the corners of any sq. should lie on one 
of the spots on the diagram. Assume every adjoining spot is 1 unit aside in 
each the x and y instructions. Additionally print out a abstract of the variety of 
squares of the identical measurement and what their aspect lengths are

Sonnet 4.5 dachte für alle 5 Sekunden nach, bevor er seinen Python -Code generierte.

import matplotlib.pyplot as plt
import numpy as np
from itertools import combos
from collections import defaultdict

# Outline the grid factors based mostly on the picture
factors = (
    # High two rows (2 dots every, centered)
    (3, 6), (4, 6),
    (3, 5), (4, 5),
    # Center two rows (6 dots every, full width)
    (1, 4), (2, 4), (3, 4), (4, 4), (5, 4), (6, 4),
    (1, 3), (2, 3), (3, 3), (4, 3), (5, 3), (6, 3),
    # Backside two rows (2 dots every, centered)
    (3, 2), (4, 2),
    (3, 1), (4, 1),
)

def is_square(p1, p2, p3, p4):
    """Verify if 4 factors type a sq. and return aspect size if true."""
    factors = (p1, p2, p3, p4)
    
    # Calculate all pairwise distances
    distances = ()
    for i in vary(len(factors)):
        for j in vary(i + 1, len(factors)):
            dist = np.sqrt((factors(i)(0) - factors(j)(0))**2 + 
                          (factors(i)(1) - factors(j)(1))**2)
            distances.append(dist)
    
    distances.type()
    
    # For a sq.: 4 equal sides and a pair of equal diagonals
    # Diagonals needs to be sqrt(2) occasions the aspect size
    if len(distances) == 6:
        sides = distances(:4)
        diagonals = distances(4:)
        
        # Verify if all sides are equal
        if np.allclose(sides, (sides(0)) * 4, atol=1e-6):
            # Verify if diagonals are equal
            if np.allclose(diagonals, (diagonals(0)) * 2, atol=1e-6):
                # Verify if diagonal = aspect * sqrt(2)
                if np.allclose(diagonals(0), sides(0) * np.sqrt(2), atol=1e-6):
                    return True, sides(0)
    
    return False, 0

def order_square_points(p1, p2, p3, p4):
    """Order factors of a sq. in counterclockwise order ranging from bottom-left."""
    factors = (p1, p2, p3, p4)
    # Discover centroid
    cx = sum(p(0) for p in factors) / 4
    cy = sum(p(1) for p in factors) / 4
    
    # Type by angle from centroid
    def angle(p):
        return np.arctan2(p(1) - cy, p(0) - cx)
    
    factors.type(key=angle)
    return factors

# Discover all squares
squares = ()
squares_by_size = defaultdict(record)

for combo in combos(factors, 4):
    is_sq, side_length = is_square(*combo)
    if is_sq:
        ordered = order_square_points(*combo)
        squares.append(ordered)
        squares_by_size(spherical(side_length, 2)).append(ordered)

# Print abstract
print("=" * 50)
print("SUMMARY OF SQUARES FOUND")
print("=" * 50)
total_squares = 0
for side_length in sorted(squares_by_size.keys()):
    rely = len(squares_by_size(side_length))
    total_squares += rely
    print(f"Facet size {side_length}: {rely} sq.(s)")

print(f"nTotal squares: {total_squares}")
print("=" * 50)

# Create visualization
fig, axes = plt.subplots(2, 2, figsize=(14, 14))
axes = axes.flatten()

# Plot 1: All dots
ax = axes(0)
x_coords = (p(0) for p in factors)
y_coords = (p(1) for p in factors)
ax.scatter(x_coords, y_coords, c='black', s=100, zorder=3)
ax.set_xlim(0, 7)
ax.set_ylim(0, 7)
ax.set_aspect('equal')
ax.grid(True, alpha=0.3)
ax.set_title('Unique Grid', fontsize=14, fontweight='daring')
ax.set_xlabel('X')
ax.set_ylabel('Y')

# Plot 2: All squares overlaid
ax = axes(1)
ax.scatter(x_coords, y_coords, c='black', s=100, zorder=3)
colours = plt.cm.rainbow(np.linspace(0, 1, len(squares)))
for sq., shade in zip(squares, colours):
    square_closed = sq. + (sq.(0))
    xs = (p(0) for p in square_closed)
    ys = (p(1) for p in square_closed)
    ax.plot(xs, ys, c=shade, linewidth=2, alpha=0.6)
ax.set_xlim(0, 7)
ax.set_ylim(0, 7)
ax.set_aspect('equal')
ax.grid(True, alpha=0.3)
ax.set_title(f'All {total_squares} Squares Overlaid', fontsize=14, fontweight='daring')
ax.set_xlabel('X')
ax.set_ylabel('Y')

# Plot 3 & 4: Squares by measurement
plot_idx = 2
for side_length in sorted(squares_by_size.keys()):
    if plot_idx >= len(axes):
        break
    
    ax = axes(plot_idx)
    ax.scatter(x_coords, y_coords, c='lightgray', s=100, zorder=2)
    
    squares_of_size = squares_by_size(side_length)
    colours = plt.cm.viridis(np.linspace(0, 1, len(squares_of_size)))
    
    for sq., shade in zip(squares_of_size, colours):
        square_closed = sq. + (sq.(0))
        xs = (p(0) for p in square_closed)
        ys = (p(1) for p in square_closed)
        ax.plot(xs, ys, c=shade, linewidth=2.5, marker='o', markersize=8)
    
    ax.set_xlim(0, 7)
    ax.set_ylim(0, 7)
    ax.set_aspect('equal')
    ax.grid(True, alpha=0.3)
    ax.set_title(f'Squares with aspect size {side_length} ({len(squares_of_size)} complete)', 
                 fontsize=14, fontweight='daring')
    ax.set_xlabel('X')
    ax.set_ylabel('Y')
    plot_idx += 1

plt.tight_layout()
plt.present()

Auf den ersten Blick dachte ich, dass Sonett keine Möglichkeit gab, eine korrekte Lösung so schnell zu finden. Gpt-4o hatte Stunden dauerte. Ich habe jedoch alle erforderlichen Bibliotheken den benötigten Code installiert und kopiert und in eine Jupyter -Pocket book -Zelle eingefügt, die ihn ausgeführt und die folgende Ausgabe erhielt. Ich habe die Grafiken vorerst weggelassen, die ebenfalls ausgegeben wurden.

==================================================
SUMMARY OF SQUARES FOUND
==================================================
Facet size 1.0: 9 sq.(s)
Facet size 1.41: 4 sq.(s)
Facet size 2.24: 2 sq.(s)
Facet size 2.83: 4 sq.(s)
Facet size 3.61: 2 sq.(s)

Whole squares: 21
==================================================

#
# Plus some graphs that I am not displaying right here
#

Das schockierte mich. Die Antwort battle absolut genau richtig.

Das einzig Leichte, was das Modell nicht ganz richtig machte, battle, dass es nicht ein Diagramm für jeden Satz unterschiedlich großer Quadrate ausgab. Es hat gerade die neun 1x1s und die vier √2x√2 gemacht. Ich habe das gelöst, indem ich Sonett auch aufforderte, diese einzubeziehen.

Are you able to print the graphs in sq. aspect order. Can also you have got two graphs  
aspect by aspect on every "line"

Das hat es produziert.

Schön.

Zusammenfassung

Um zu demonstrieren, wie dramatisch LLMs seit ungefähr einem Jahr vorgezogen sind, habe ich beschlossen, ein herausforderndes geometrisches Puzzle zu überdenken, das ich zum ersten Mal mit GPT-4O im Juni 2024 lösen wollte. Das Rätsel bestand darin, ein Python-Programm zu schreiben, das alle möglichen Quadrate auf einem bestimmten Cross-Formed-Grid von Dots findet.

Meine Erfahrung vor etwas mehr als einem Jahr battle ein Kampf; Ich brauchte ungefähr zwei Stunden und über 40 Eingabeaufforderungen, GPT-4O zu einer korrekten Python-Lösung zu führen.

Schneller Vorlauf bis heute, und ich habe das neue Claude -Sonnet 4.5 getestet. Als ich dem Modell die Frage zum ersten Mal direkt stellte, konnte die korrekte Anzahl von Quadraten nicht berechnet werden. Kein guter Anfang, der eigentliche Take a look at bestand jedoch darin, ihm die zu geben exakt gleiche Eingabeaufforderung Ich habe auf GPT-4O verwendet.

Zu meiner Überraschung erzeugte es eine vollständige, korrekte Python -Lösung in Ein Schuss. Der Code, den er generierte, fand nicht nur alle 21 Quadrate, sondern kategorisierten sie auch korrekt nach ihren eindeutigen Seitenlängen und generierten detaillierte Diagramme, um sie zu visualisieren. Während ich eine schnelle Comply with-up-Eingabeaufforderung brauchte, um die Handlungen zu perfektionieren, wurde das Kernproblem sofort gelöst.

Könnte es sein, dass der Akt meines Versuchs, dieses Puzzle im letzten Jahr zu lösen und meine Ergebnisse zu veröffentlichen, in die Net-O-Phiere eingeführt wurde, was bedeutet, dass Anthropic es einfach gekrabbt und in ihre Modellwissenschaftsbasis aufgenommen hat? Ja, ich nehme an, das könnte es sein, aber warum konnte das Modell dann nicht die erste direkte Frage beantworten. Ich habe es nicht korrekt über die Gesamtzahl der Quadrate gestellt?

Für mich zeigt dieses Experiment stark den unglaublichen Sprung in der LLM -Fähigkeit. Was einst ein zweistündiger iterativer Kampf mit dem führenden Modell seiner Zeit vor 16 Monaten battle, ist jetzt ein fünf Sekunden langes One-Shot-Erfolg mit dem führenden Modell heute.

Wir freuen uns sehr, Nestor Maslej von der wieder willkommen zu heißen Stanford Institute für menschenzentrierte künstliche Intelligenz (HAI) an der Stanford College, um die neueste Ausgabe der jährlichen Ausgabe zu erörtern Stanford AI Index und Stanford International AI Vibrancy Instrument.

Nestor hat Abschlüsse von Harvard und Oxford und battle auch als Fellow im Zentrum für internationale Governance -Innovation. In dieser Diskussion berühren wir einige der 12 wichtigsten Erkenntnisse des Berichts, während wir wichtige Themen in der KI hervorheben, z. B. die Auswirkungen auf Arbeitsplätze, Produktivität, Geopolitik und soziales Vertrauen.

Der diesjährige Bericht enthält 456 Seiten, die eine breite Palette von Themen in acht Kapiteln abdecken:

1) Forschung und Entwicklung

2) technische Leistung

3) Verantwortliche AI

4) Wirtschaft

5) Wissenschaft und Medizin

6) Politik und Governance

7) Bildung

8) Öffentliche Meinung

Wir haben den Bericht des letzten Jahres mit Nestor in besprochen Folge 85 in diesem Podcast Am 7. Juni 2024. Wir empfehlen beide Podcasts, einen umfassenden Blick auf den Zustand der KI zu erhalten.

Sie finden unsere Podcasts bei InsideHPCs @HPCPodcast -SeiteAn TwitterAn Die orionx.internet Podcast -Seite An iTunes Und Google. Hier ist die Das RSS -Futter. Wir sind auch verfügbar Spotify Und iTunes.

Bild von Editor | Chatgpt

# Einführung

Python ist eine der beliebtesten Sprachen, die im Datenwissenschaftsbereich verwendet werden und für die Einfachheit, Vielseitigkeit und das leistungsstarke Ökosystem von Bibliotheken, einschließlich der Bibliotheken, geschätzt werden NumpyAnwesend PandasAnwesend Scikit-Be taughtUnd Tensorflow. Während diese Instruments einen Großteil des schweren Hebens liefern, enthält Python selbst eine Reihe von Funktionen, mit denen Sie sauberer, schneller und effizienterer Code schreiben können. Viele dieser Funktionen bleiben unbemerkt, können jedoch die Artwork und Weise verbessern, wie Sie Ihre Projekte strukturieren und verwalten.

In diesem Artikel untersuchen wir fünf weniger bekannte, aber vorteilhafte Python-Funktionen, die jeder Datenwissenschaftler in seinem Toolkit haben sollte.

# 1. Die else Klausel auf Schleifen

Wussten Sie for Und whereas Schleifen in Python können eine haben else Klausel?

Während dies zunächst nicht intuitiv klingen magazine, die else Block wird nur ausgeführt, wenn die Schleife ohne a abgeschlossen ist break Stellungnahme. Dies ist nützlich, wenn Sie einen Datensatz durchsuchen und nur dann eine Logik ausführen möchten, wenn eine bestimmte Bedingung nie erfüllt wurde.

for row in dataset:
    if row('goal') == 'desired_value':
        print("Discovered!")
        break
else:
    print("Not discovered.")

In diesem Ausschnitt die else Block wird nur ausgeführt, wenn die Schleife endet, ohne auf eine Pause zu stoßen. Auf diese Weise können Sie vermeiden, zusätzliche Flags oder Bedingungen außerhalb der Schleife zu erstellen.

# 2. Die dataclasses Modul

Der DataClasses Das in Python 3.7 eingeführte Modul bietet einen Dekorations- und Helferfunktionen, der automatisch spezielle Methoden erzeugt __init__()Anwesend __repr__()Und __eq__() für Ihre Klassen. Dies ist in der Datenwissenschaft nützlich, wenn Sie leichte Klassen benötigen, um Parameter, Ergebnisse oder Konfigurationseinstellungen zu speichern, ohne sich wiederholte Boilerplate -Code zu schreiben.

from dataclasses import dataclass

@dataclass
class ExperimentConfig:
    learning_rate: float
    batch_size: int
    epochs: int

Mit @dataclassSie erhalten einen sauberen Konstruktor, eine lesbare String -Darstellung und Vergleichsfunktionen.

# 3. Der Walros -Betreiber (:=)

Der Walross -Betreiber (:=), eingeführt in Python 3.8, können Sie Variablen als Teil eines Ausdrucks Werte zuweisen. Dies ist nützlich, wenn Sie einen Wert sowohl berechnen als auch testen möchten, ohne die Berechnung an mehreren Stellen zu wiederholen.

knowledge = (1, 2, 3, 4, 5)

if (avg := sum(knowledge) / len(knowledge)) > 3:
    print(f"Common is {avg}")

Hier, avg wird gleichzeitig zugewiesen und überprüft. Dadurch wird die Notwendigkeit einer anderen Zeile entfernt und erleichtert Ihr Code leichter zu lesen.

# 4. enumerate() Für indexierte Schleifen

Wenn Sie sowohl den Index als auch den Wert beim Iterieren benötigen, enumerate() ist die pythonischste Artwork, es zu tun. Es dauert iterable (wie eine Liste, ein Tupel oder eine Zeichenfolge) und gibt Paare von (Index, Wert) während der Loop zurück.

for i, row in enumerate(knowledge):
    print(f"Row {i}: {row}")

Dies verbessert die Lesbarkeit, verringert die Wahrscheinlichkeit von Fehlern und macht Ihre Absicht klarer. Es ist nützlich in der Datenwissenschaft, wenn sie über Datenreihen oder Ergebnisse mit Positionen iteriert werden.

# 5. die collections Modul

Python collections Das Modul bietet spezielle Containerdatenatypen, die effizienter und ausdrucksvoller sein können als nur Hear oder Wörterbücher. Zu den beliebtesten gehört Counterwas Elemente in einem iterbaren mit minimalem Code zählen kann.

from collections import Counter

word_counts = Counter(phrases)
most_common = word_counts.most_common(5)

Benötigen Sie ein bestelltes Wörterbuch? Verwenden OrderedDict. Benötigen Sie ein Wörterbuch mit Standardwerten? Versuchen defaultdict. Diese Instruments beseitigen die benötigte lanuelle Logik aus der ausführlichen Hand und können sogar die Leistung in der Datenverarbeitung in großem Maßstab verbessern.

# Abschluss

Werkzeuge wie die else Klausel auf Schleifen, dataclassesund der Walros -Bediener kann unnötige Kesselplatten beseitigen und logisch prägnanter gestalten. Funktionen wie enumerate() und Module mögen collections Helfen Sie, Daten mit Eleganz und Effizienz zu iterieren, zu zählen und zu organisieren. Durch die Einbeziehung dieser weniger bekannten Edelsteine in Ihren Workflow können Sie die Komplexität verringern, gemeinsame Fallstricke vermeiden und sich mehr auf die Lösung des tatsächlichen Datenproblems konzentrieren, als Ihren Code zu streiten.

Jayita Gulati ist ein Fanatic und technische Schriftsteller für maschinelles Lernen, der von ihrer Leidenschaft für den Aufbau maschineller Lernmodelle angetrieben wird. Sie hat einen Grasp -Abschluss in Informatik an der Universität von Liverpool.

Die Musiktechnologie stand im Mittelpunkt des MIT während „Future Phasen“, einem Abend mit Werken für String Orchestra and Electronics, präsentiert von der MIT Music Expertise and Computation Graduate Program Im Rahmen der Worldwide Laptop Music Convention 2025 (ICMC).

Die intestine besuchte Veranstaltung fand letzten Monat in der Thomas Tull-Konzerthalle im neuen Musikgebäude von Edward und Joyce Linde statt. In Zusammenarbeit mit der Oper des MIT Media Lab von The Future Group und Bostons selbst geleitetem Kammerorchester in einem Far Cry wurde „Future Phasen“ die erste Veranstaltung des MIT Music Expertise and Computation Graduate-Programms im neuen Raum der MIT-Musik präsentiert.

Zu den Angeboten zu den zukünftigen Phasen gehörten zwei neue Werke von MIT -Komponisten: die Weltpremiere von „EV6“ von Kenan Sahin von MIT Music angesehen Professor Evan Ziporyn und Professor der Praxis Eran Egozy; und die US -amerikanische Premiere von „Stream Symphony“ des Muriel R. Cooper Professors für Musik und Medien von MIT Media Lab von MIT Media Lab. Drei weitere Werke wurden von einer Jury ausgewählt ein offener Anruf Für Werke: „Der Wind wird uns wegtragen“ von Ali Balighi; „Eine leere Seite“ von Celeste Betancur Gutiérrez und Luna Valentin; und „Küstenporträt: Zyklen und Schwellenwerte“ von Peter Lane. Jede Arbeit wurde von Bostons eigenem, mit Multi-Grammy-nominiertem String-Orchester, einem Far Cry, ausgeführt.

„Im ICMC geht es darum, die neuesten Forschungen, Kompositionen und Aufführungen in der elektronischen Musik zu präsentieren“, sagt Egozy, Direktor des neuen Musiktechnologie- und Berechnungs -Graduate -Programms am MIT. Als er sich als Teil der diesjährigen Konferenz näherte: „Es schien die perfekte Gelegenheit zu sein, das Engagement von MIT für Musiktechnologie zu präsentieren, und insbesondere die aufregenden neuen Bereiche, die derzeit entwickelt wurden: ein neues Grasp -Programm für Musiktechnologie und Berechnung, die neue Edward und die Joyce Linde -Musikaufbau mit seinen verbesserten Musiktechnologieanlagen und neuen Fakultäten, die bei MIT mit gemeinsamen Ernennungen zwischen MIT mit gemeinsamen Ernennungen zwischen MIT ankommen, zwischen MIT mit gemeinsamen Ernennungen zwischen MIT mit gemeinsamen Ernennungen zwischen MIT mit gemeinsamen Ernennungen zwischen MIT mit gemeinsamen Ernennungen. MIT Musik- und Theaterkunst (MTA) und die Abteilung für Elektrotechnik und Informatik (EWG). “ Zu diesen kürzlich angeheuerten Professoren zählen Anna Huang, ein Hauptredner für die Konferenz und Schöpfer des Kokoriums für maschinelles Lernen, das Googles erste KI -Doodle mit Strom versorgt hat, die Bach Doodle.

Egozy betont die Einzigartigkeit dieser Gelegenheit: „Man muss verstehen, dass dies eine ganz besondere State of affairs ist. Ein volles 18-köpfiges String-Orchester (far-Cry) führt neue Werke aus, die die Elektronik enthalten, nicht sehr oft.

Um diese aufregende Gelegenheit zu nutzen, wurde ein offener Anruf worldwide ausgeführt, um die anderen Teile auszuwählen, die Ziporyn und Egozy’s „EV6“ und Machovers „Stream Symphony“ begleiten würden. Drei Teile wurden aus insgesamt 46 Einträgen ausgewählt, um Teil des Abendprogramms des Abends von einer Jury zu sein, die egozy, Machover und andere angesehene Komponisten und Technologen umfasste.

„Wir haben eine Vielzahl von Werken aus diesem Anruf erhalten“, sagt Egozy. „Wir haben alle möglichen musikalischen Stile und Möglichkeiten gesehen, wie Elektronik verwendet würde. Keine zwei Teile waren sehr ähnlich, und ich denke, unser Publikum hatte ein Gefühl dafür, wie vielfältig und interessant ein Konzert für dieses Format sein kann. Ein ferner Schrei conflict wirklich die einheitliche Präsenz. mit der Musik verbunden. “

Egozy fährt fort: „Wir haben die in der Thomas Tull-Konzerthalle eingebaute Technologie ausgenutzt, in der 24 eingebaute Lautsprecher für Encompass-Sound enthalten sind, die es uns ermöglichen, einen einzigartigen, verstärkten Sound für jeden Sitz im Haus zu übertragen. Die Wahrscheinlichkeit besteht darin, dass jede Individual den Sound etwas anders erlebt hat, aber es gab immer ein Gefühl einer mehrdimensionalen Evolution des Klangs und der Musik, wie sich die Teile entfalteten.« «« “Die multidimensionalen Evolution und Musik.“

Die fünf Werke des Abends verwendeten eine Reihe von technologischen Komponenten, darunter das Spielen von synthetisierten, vorgezeichneten oder elektronisch manipulierten Geräuschen. Anbringen von Mikrofonen an Instrumenten zur Verwendung in Echtzeit-Signalverarbeitungsalgorithmen; Sendung maßgeschneiderter musikalischer Notation an die Musiker; Nutzung generativer KI, um Dwell -Sound zu verarbeiten und ihn auf interessante und unvorhersehbare Weise zurückzuspielen; und die Teilnahme des Publikums, bei dem die Zuschauer ihre Handys als Musikinstrumente verwenden, um Teil des Ensembles zu werden.

Ziporyn und Egozy’s Stück „EV6„ Nutzte diese letzte Innovation besonders aus: „Evan und ich hatten zuvor an einem System genannt Tuttiwas auf Italienisch „zusammen“ bedeutet. Tutti gibt einem Publikum die Möglichkeit, seine Smartphones als Musikinstrumente zu nutzen, damit wir alle zusammen spielen können. “ Egozy entwickelte die Technologie, die 2017 erstmals in der MIT-Kampagne für eine bessere Welt eingesetzt wurde. Die ursprüngliche Anwendung umfasste nur ein dreiminütiges Stück für Mobiltelefone.

Um den Titel des Stücks zu erklären, sagt Ziporyn: „Ich fahre einen EV6; Es ist mein erstes Elektroauto, und als ich es zum ersten Mal bekam, fühlte es sich an, als würde ich ein iPhone fahren. Aber natürlich ist es immer noch nur ein Auto: Es hat Räder und einen Motor, und es bringt mich von einem Ort zum anderen. Ein bisschen Hommage an David Bowies Lied ‚TVC 15‘, bei dem es darum geht, sich in einen Roboter zu verlieben. „

Egozy fügt hinzu: „Wir wollten, dass die Zuschauer spüren, wie es ist, in einem Orchester zusammen zu spielen. Durch diese Technologie wird jedes Publikum Teil eines Orchesterabschnitts (Winde, Messing, Saiten usw.). Wenn sie zusammen spielen, können sie ihre gesamte Abteilung mit ähnlicher Musik hören, während sie andere Abschnitte hörten, wie sich die Abschnitte mit dem Corridor -Musiz -Aufwand auf eine Verantwortung mit dem Abschnitt befassen. Nervenkitzel der Dwell -Efficiency.

Nach dem Konzert erhielten die Gäste sechs Musiktechnologiedemonstrationen, die die Forschung von Studenten und Doktoranden sowohl aus dem MIT -Musikprogramm als auch des MIT Media Labors präsentierten. Dazu gehörten eine Gamified -Schnittstelle zum Nutzung von nur Intonationssystemen (Antonis Christou); Einblicke aus einem Konzert mit Human-Ai (Lancelot Blanchard und Perry Naseck); ein System zur Analyse von Klavierspielen auf dem Campus (Ayyub Abdulrezak ’24, Meng ’25); Erfassen von Musikfunktionen aus Audio unter Verwendung von latenten frequenziell maskierten Autocoder (Mason Wang); ein Gerät, das jede Oberfläche in eine Trommelmaschine verwandelt (Matthew Caren ’25); und eine Play-Alongside-Schnittstelle zum Erlernen traditioneller senegalesischer Rhythmen (Mariano Salcedo ’25). Dieses letzte Beispiel führte zur Schaffung von Senegroove, einer von Ethnomusicologen und MIT-Affiliate Professorin für EDX-On-line-Kurs unterrichteten Anwendung, die speziell für einen kommenden EDX-Kurs entwickelt wurde, und weltbekannte senegalesische Schlagzeuger und MIT-Dozentin für Musik-Lamin-Touré, die auf dem System verwendet wurden, die in der System verwendet wurden.

Letztendlich zeigte egozy, „zukünftige Phasen“, wie der richtige Raum – in diesem Fall der neue Musikaufbau von Edward und Joyce Linde – wirklich eine treibende Kraft für neue Denkweise, neue Projekte und neue Wege der Zusammenarbeit sein kann. Meine Hoffnung ist, dass jeder, der in der MIT -Group, in der MIT -Group, im Boston, und das Musizentechnologie, das in Kürze entdeckt wurde.

Stellen Sie sich einen Radiologen vor, der eine Röntgenaufnahme eines neuen Patienten untersucht. Sie bemerkt, dass die Patientin im Gewebe eine Schwellung hat, aber kein vergrößertes Herz hat. Um die Diagnose zu beschleunigen, kann sie ein maschinelles Lernmodell verwenden, um nach Berichten ähnlicher Patienten zu suchen.

Wenn das Modell jedoch fälschlicherweise Berichte mit beiden Bedingungen identifiziert, könnte die wahrscheinlichste Diagnose sehr unterschiedlich sein: Wenn ein Affected person eine Gewebeschwellung und ein vergrößertes Herz aufweist, ist die Erkrankung sehr wahrscheinlich mit Herz, aber ohne vergrößertes Herz kann es mehrere Ursachen geben.

In einer neuen Studie haben MIT-Forscher herausgefunden, dass Visionsprachenmodelle in realen Situationen sehr wahrscheinlich einen solchen Fehler machen, weil sie die Negation nicht verstehen-Wörter wie „Nein“ und „nicht“, die angeben, was falsch oder fehlend ist.

„Diese Negationswörter können einen sehr bedeutenden Einfluss haben, und wenn wir diese Modelle nur blind verwenden, können wir auf katastrophale Folgen stoßen“ Diese Studie.

Die Forscher testeten die Fähigkeit von Visionsprachmodellen, die Negation in Bildunterschriften zu identifizieren. Die Modelle wurden oft so intestine wie eine zufällige Vermutung durchgeführt. Aufbauend auf diesen Erkenntnissen erstellte das Group einen Datensatz mit Bildern mit entsprechenden Bildunterschriften, die Negationswörter enthalten, die fehlende Objekte beschreiben.

Sie zeigen, dass das Umschulung eines Visionsprachmodells mit diesem Datensatz zu Leistungsverbesserungen führt, wenn ein Modell aufgefordert wird, Bilder abzurufen, die bestimmte Objekte nicht enthalten. Es steigert auch die Genauigkeit bei A number of -Alternative -Fragen, die mit negierten Bildunterschriften beantwortet werden.

Die Forscher warnen jedoch davor, dass mehr Arbeit erforderlich ist, um die Grundursachen dieses Issues anzugehen. Sie hoffen, dass ihre Forschung potenzielle Benutzer auf ein bisher unbemerktes Mangel aufmerksam macht, das schwerwiegende Auswirkungen auf hohe Einstellungen haben kann, in denen diese Modelle derzeit verwendet werden, indem sie feststellen, welche Patienten bestimmte Behandlungen erhalten, um Produktdefekte in Produktionsanlagen zu identifizieren.

“It is a technical paper, however there are larger points to think about. If one thing as basic as negation is damaged, we should not be utilizing giant imaginative and prescient/language fashions in lots of the methods we’re utilizing them now — with out intensive analysis,” says senior writer Marzyeh Ghassemi, an affiliate professor within the Division of Electrical Engineering and Pc Science (EECS) and a member of the Institute of Medical Engineering Sciences and the Laboratory for Info and Choice Programs.

Ghassemi und Alhamoud werden auf dem Papier von Shaden Alshammari, einem MIT -Doktorand, begleitet. Yonglong Tian von Openai; Guohao Li, ein ehemaliger Postdoc an der Oxford College; Philip HS Torr, Professor in Oxford; und Yoon Kim, Assistenzprofessor für EECs und Mitglied des Labors für Informatik und künstliche Intelligenz (CSAIL) am MIT. Die Forschung wird auf der Konferenz über Pc Imaginative and prescient und Mustererkennung vorgestellt.

Vernachlässigung der Negation

Imaginative and prescient-Sprachmodelle (VLM) werden unter Verwendung großer Sammlungen von Bildern und entsprechenden Bildunterschriften geschult, die sie lernen, als Zahlensätze, die als Vektordarstellungen bezeichnet werden, zu codieren. Die Modelle unterscheiden diese Vektoren, um zwischen verschiedenen Bildern zu unterscheiden.

Ein VLM verwendet zwei separate Encoder, eine für Textual content und eine für Bilder, und die Encoder lernen, ähnliche Vektoren für ein Bild und seine entsprechende Textunterschrift auszugeben.

„Die Bildunterschriften drücken aus, was in den Bildern ist – sie sind ein positives Etikett. Und das ist eigentlich das ganze Downside. Niemand sieht sich ein Bild eines Hundes an, der über einen Zaun springt und ihn über einen Hund springt, indem ein Hund über einen Zaun ohne Hubschrauber springt“, sagt Ghassemi.

Da die Bildkapitionsdatensätze keine Beispiele für Negation enthalten, lernen VLMs nie, sie zu identifizieren.

Um dieses Downside tiefer zu vertiefen, entwarfen die Forscher zwei Benchmark -Aufgaben, die die Fähigkeit von VLMs testen, die Negation zu verstehen.

Zum ersten Mal verwendeten sie ein großes Sprachmodell (LLM), um Bilder in einem vorhandenen Datensatz neu zu captionieren, indem sie das LLM bitten, über verwandte Objekte nachzudenken, die nicht in einem Bild sind, und sie in die Bildunterschrift schreiben. Dann testeten sie Modelle, indem sie sie mit Negationswörtern aufforderten, um Bilder abzurufen, die bestimmte Objekte enthalten, aber nicht andere.

Für die zweite Aufgabe haben sie A number of -Alternative -Fragen entwickelt, die ein VLM gestellt haben, um die am besten geeignete Bildunterschrift aus einer Liste eng verwandter Optionen auszuwählen. Diese Bildunterschriften unterscheiden sich nur durch Hinzufügen einer Referenz zu einem Objekt, das nicht im Bild angezeigt wird oder ein Objekt negiert, das im Bild angezeigt wird.

Die Modelle scheiterten bei beiden Aufgaben oft, wobei die Bildabnahmeleistung bei negierten Bildunterschriften um quick 25 Prozent sank. Bei der Beantwortung von A number of -Alternative -Fragen erreichten die besten Modelle nur eine Genauigkeit von rund 39 Prozent, wobei mehrere Modelle bei oder sogar unter zufälliger Zufall unterzogen wurden.

Ein Grund für dieses Versagen ist eine Abkürzung, die die Forscher Bestätigungsverzerrung bezeichnen – VLMs ignorieren Negationswörter und konzentrieren sich stattdessen auf Objekte in den Bildern.

„Das geschieht nicht einfach für Worte wie“ Nein „und“ nicht „. Unabhängig davon, wie Sie Negation oder Ausschluss ausdrücken, werden die Modelle es einfach ignorieren “, sagt Alhamoud.

Dies struggle in allen von ihnen getesteten VLM konsistent.

„Ein lösbares Downside“

Da VLMs in Bildunterschriften mit Negation normalerweise nicht trainiert werden, entwickelten die Forscher Datensätze mit Negationswörtern als erster Schritt zur Lösung des Issues.

Unter Verwendung eines Datensatzes mit 10 Millionen Bild-Textual content-Bildunterschriftenpaaren forderten sie ein LLM auf, verwandte Bildunterschriften vorzuschlagen, die angeben, was aus den Bildern ausgeschlossen ist, und ergaben neue Bildunterschriften mit Negationswörtern.

Sie mussten besonders vorsichtig sein, dass diese synthetischen Bildunterschriften immer noch auf natürliche Weise lesen, oder es könnte dazu führen, dass ein VLM in der realen Welt scheitert, wenn sie mit komplexeren Bildunterschriften konfrontiert werden, die von Menschen geschrieben wurden.

Sie stellten fest, dass die Finetuning -VLMs mit ihrem Datensatz zu Leistungsgewinnen auf der ganzen Linie führte. Es verbesserte die Picture-Abruffunktionen der Modelle um etwa 10 Prozent und steigern gleichzeitig die Leistung in der A number of-Alternative-Frage-Antwortaufgabe um etwa 30 Prozent.

„Aber unsere Lösung ist nicht perfekt. Wir rekaptionieren nur Datensätze, eine Type der Datenvergrößerung. Wir haben noch nicht einmal berührt, wie diese Modelle funktionieren, aber wir hoffen, dass dies ein Sign dafür ist, dass dies ein lösbares Downside ist und andere unsere Lösung nehmen und sie verbessern können“, sagt Alhamoud.

Gleichzeitig hofft er, dass ihre Arbeit mehr Benutzer dazu ermutigt, über das Downside nachzudenken, das sie mit einem VLM verwenden möchten, um einige Beispiele zu lösen und zu entwerfen, um es vor der Bereitstellung zu testen.

In Zukunft könnten die Forscher diese Arbeit erweitern, indem sie VLMs unterrichten, um Textual content und Bilder separat zu verarbeiten, was ihre Fähigkeit verbessern kann, die Negation zu verstehen. Darüber hinaus können sie zusätzliche Datensätze entwickeln, die Bildkapitionenpaare für bestimmte Anwendungen wie die Gesundheitsversorgung enthalten.