In der aktuellen Laptop-Imaginative and prescient-Landschaft umfasst die Standardarbeitsanweisung einen modularen „Lego-Baustein“-Ansatz: einen vorab trainierten Imaginative and prescient-Encoder für die Merkmalsextraktion gepaart mit einem separaten Decoder für die Aufgabenvorhersage. Diese architektonische Trennung ist zwar effektiv, erschwert jedoch die Skalierung und behindert die Interaktion zwischen Sprache und Imaginative and prescient.

Der Institut für Technologieinnovation (TII) Das Forschungsteam stellt dieses Paradigma in Frage Falkenwahrnehmungein 600M-Parameter-Unified-Dense-Transformer. Durch die Verarbeitung von Bild-Patches und Textual content-Tokens in einem gemeinsamen Parameterraum von der ersten Ebene an hat das TII-Forschungsteam eine entwickelt frühe Fusion Stack, der Wahrnehmung und Aufgabenmodellierung mit äußerster Effizienz handhabt.

Die Architektur: Ein einzelner Stack für jede Modalität

Das Kerndesign von Falcon Notion basiert auf der Hypothese, dass ein einzelner Transformer gleichzeitig visuelle Darstellungen lernen und eine aufgabenspezifische Generierung durchführen kann^.

Hybride Aufmerksamkeit und GGROPE

Im Gegensatz zu Normal-Sprachmodellen, die eine strikte kausale Maskierung verwenden, verwendet Falcon Notion eine Hybride Aufmerksamkeitsstrategie^{. Bild-Token kümmern sich bidirektional umeinander, um einen globalen visuellen Kontext aufzubauen, während Textual content- und Aufgaben-Token sich um alle vorhergehenden Token kümmern (kausale Maskierung), um eine autoregressive Vorhersage zu ermöglichen.}

Um zweidimensionale räumliche Beziehungen in einer abgeflachten Reihenfolge aufrechtzuerhalten, verwendet das Forschungsteam 3D-Rotationspositionseinbettungen. Dadurch wird die Kopfdimension in eine sequentielle Komponente und eine räumliche Komponente zerlegt Golden Gate SEIL (GGROPE). Mit GGROPE können Aufmerksamkeitsköpfe auf relative Positionen entlang beliebiger Winkel achten, wodurch das Modell sturdy gegenüber Rotations- und Seitenverhältnisschwankungen wird.

Minimalistische Sequenzlogik

Die grundlegende architektonische Abfolge folgt a Wahrnehmungskette Format:

(Picture) (Textual content) <coord> <dimension> <seg> ... <eos>^.

Dadurch wird sichergestellt, dass das Modell räumliche Mehrdeutigkeiten (Place und Größe) als Konditionierungssignal auflöst, bevor die endgültige Segmentierungsmaske generiert wird^.

Engineering for Scale: Myon, FlexAttention und Raster Ordering

Das TII-Forschungsteam führte mehrere Optimierungen ein, um das Coaching zu stabilisieren und die GPU-Auslastung für diese heterogenen Sequenzen zu maximieren.

• Myonenoptimierung: Das Forschungsteam berichtet, dass der Einsatz von Myonen-Optimierer für spezialisierte Köpfe (Koordinaten, Größe und Segmentierung) führte zu geringeren Trainingsverlusten und einer verbesserten Leistung bei Benchmarks im Vergleich zum Normal-AdamW.
• FlexAttention und Sequence Packing: Um Bilder mit nativen Auflösungen zu verarbeiten, ohne Rechenleistung für das Auffüllen zu verschwenden, verwendet das Modell a Scatter-and-Pack-Strategie. Gültige Patches werden in Blöcke fester Länge gepackt und FlexAttention wird verwendet, um die Selbstaufmerksamkeit innerhalb der Grenzen jedes Bildbeispiels einzuschränken.
• Rasterreihenfolge: Wenn mehrere Objekte vorhanden sind, sagt Falcon Notion diese voraus Rasterreihenfolge (von oben nach unten, von hyperlinks nach rechts). Es wurde festgestellt, dass dies eine schnellere Konvergenz und einen geringeren Koordinatenverlust verursacht als eine zufällige oder größenbasierte Reihenfolge.

Das Trainingsrezept: Destillation auf 685 GT

Das Modell verwendet Multi-Lehrer-Destillation zur Initialisierung, zum Destillieren von Wissen DINOv3 (ViT-H) für lokale Besonderheiten und SigLIP2 (So400m) für sprachorientierte Funktionen^{. Nach der Initialisierung durchläuft das Modell a dreistufige Wahrnehmungstrainingspipeline insgesamt ca 685 Gigatokens (GT):}

1. In-Context-Itemizing (450 GT): Lernen, den Szenenbestand aufzulisten, um einen globalen Kontext aufzubauen.
2. Aufgabenausrichtung (225 GT): Übergang zu unabhängigen Abfrageaufgaben mit Abfragemaskierung um sicherzustellen, dass das Modell jede Abfrage ausschließlich auf dem Bild basiert.
3. Langkontext-Feinabstimmung (10 GT): Kurze Anpassung für excessive Dichte, wodurch das Maskenlimit auf 600 professional Ausdruck erhöht wird.

In diesen Phasen wird die aufgabenspezifische Serialisierung verwendet:

<picture>expr1<current><coord><dimension><seg> <eoq>expr2<absent> <eoq> <eos>^.

Der <current> Und <absent> Token zwingen das Modell, vor der Lokalisierung eine binäre Entscheidung über die Existenz eines Objekts zu treffen^.

PBench: Profilierungsfunktionen über gesättigte Basislinien hinaus

Um den Fortschritt zu messen, stellte das TII-Forschungsteam vor PBenchein Benchmark, der Stichproben in fünf Ebenen semantischer Komplexität organisiert, um Modellfehlermodi zu entwirren.

Hauptergebnisse: Falcon Notion vs. SAM 3 (Makro-F1)

Falcon Notion übertrifft SAM 3 bei komplexen semantischen Aufgaben deutlich und zeigt insbesondere a +21,9 Punktegewinn zum räumlichen Verständnis (Stufe 3)^.

FalconOCR: Der 300M-Dokumentenspezialist

Das TII-Group hat dieses Early-Fusion-Rezept auch auf erweitert FalconOCRein kompakter 300M-Parameter Das Modell wurde von Grund auf initialisiert, um der feinkörnigen Glyphenerkennung Priorität einzuräumen. FalconOCR ist mit mehreren größeren proprietären und modularen OCR-Systemen konkurrenzfähig:

• olmOCR: Erfolgt 80,3 % Genauigkeitentspricht oder übertrifft Gemini 3 Professional (80,2 %) und GPT 5.2 (69,8 %).
• OmniDocBench: Erreicht eine Gesamtpunktzahl von 88,64vor GPT 5.2 (86,56) und Mistral OCR 3 (85,20), liegt jedoch hinter der High-Modulpipeline PaddleOCR VL 1.5 (94,37) zurück.

Wichtige Erkenntnisse

• Einheitliche Early-Fusion-Architektur: Falcon Notion ersetzt modulare Encoder-Decoder-Pipelines durch einen einzigen dichten Transformer, der Bild-Patches und Textual content-Tokens in einem gemeinsamen Parameterraum aus der ersten Ebene verarbeitet. Es nutzt eine hybride Aufmerksamkeitsmaske – bidirektional für visuelle Token und kausal für Aufgabentoken –, um gleichzeitig als Imaginative and prescient-Encoder und autoregressiver Decoder zu fungieren.
• Wahrnehmungskettensequenz: Das Modell serialisiert die Instanzsegmentierung in eine strukturierte Sequenz $(langle coordrangle rightarrow langle sizerangle rightarrow langle segrangle)$was es dazu zwingt, die räumliche Place und Größe als Konditionierungssignal aufzulösen, bevor die Maske auf Pixelebene generiert wird.
• Spezialisierte Köpfe und GGROPE: Um dichte räumliche Daten zu verwalten, verwendet das Modell Fourier-Characteristic-Encoder für die hochdimensionale Koordinatenkartierung und Golden Gate ROPE (GGROPE), um isotrope 2D-Raumaufmerksamkeit zu ermöglichen. Der Muon-Optimierer wird für diese spezialisierten Köpfe eingesetzt, um die Lernraten mit dem vorab trainierten Rückgrat abzugleichen.
• Semantische Leistungssteigerungen: Beim neuen PBench-Benchmark, der semantische Fähigkeiten (Stufen 0–4) entwirrt, zeigt das 600M-Modell erhebliche Vorteile gegenüber SAM 3 in komplexen Kategorien, einschließlich eines Vorsprungs von +13,4 Punkten bei OCR-gesteuerten Abfragen und eines Vorsprungs von +21,9 Punkten beim räumlichen Verständnis.
• Hocheffiziente OCR-Erweiterung: Die Architektur lässt sich auf Falcon OCR herunterskalieren, ein 300-M-Parameter-Modell, das bei olmOCR 80,3 % und bei OmniDocBench 88,64 % erreicht. Es erreicht oder übertrifft die Genauigkeit viel größerer Systeme wie Gemini 3 Professional und GPT 5.2 und sorgt gleichzeitig für einen hohen Durchsatz für die Verarbeitung umfangreicher Dokumente.

Schauen Sie sich das an Papier, Modellgewicht, Repo Und Technische Particulars. Sie können uns auch gerne weiter folgen Twitter und vergessen Sie nicht, bei uns mitzumachen 120.000+ ML SubReddit und Abonnieren Unser E-newsletter. Warten! Bist du im Telegram? Jetzt können Sie uns auch per Telegram kontaktieren.

In KI-bezogenen Veröffentlichungen wird unvermindert fortgesetzt. Noch vor wenigen Tagen veröffentlichte es ein neues Software für Gemini namens URL Context Grounding.

URL-Kontext-Erdung kann eigenständig oder in Kombination mit Google Search Grounding verwendet werden, um tiefe Tauchgänge in Internetinhalte durchzuführen.

Was ist URL -Kontextgebiet?

Kurz gesagt, dies ist eine Möglichkeit, Gemini programmgesteuert zu haben, Fragen zu Inhalten und Daten zu lesen, zu verstehen und zu beantworten, die in einzelnen Internet -URLs enthalten sind (einschließlich derer, die auf PDFs hinweisen), ohne dass das, was wir als herkömmliche Lappenverarbeitung kennen, ausführen müssen.

Mit anderen Worten, es besteht nicht erforderlich, den URL -Textual content und den Inhalt zu extrahieren, ihn zu unterteilen, ihn zu vektrieren, ihn zu speichern und so weiter. Sie sagen Google, an welcher URL Sie sich interessieren, und Sie gehen aus. Wie Sie in einem Second sehen werden, ist es sehr einfach zu codieren und sehr genau.

Aus diesen Gründen sagte ich, es könnte ein weiterer Nagel in Rags Sarg sein.

Aber funktioniert es? Schauen wir uns ein paar Beispiele an.

Ich werde meine Entwicklungsumgebung zuerst unter Ubuntu WSL2 für Home windows einrichten. Folgen Sie mit oder verwenden Sie die Methode, an die Sie gewohnt sind.

$ uv init url_context
$ cd url_context
$ uv venv url_context
$ uv pip set up jupyter
$ uv pip set up "google-genai>=1.16.0"

Sie benötigen auch einen Google -API -Schlüssel. Wenn Sie noch keinen haben, besuchen Sie Google AI Studio, melden Sie sich bei Bedarf an und stellen Sie Ihren Schlüssel ein. Der Hyperlink, der dies zu tun ist, befindet sich in der Nähe der oberen rechten Ecke der Dashboard-Seite.

Google AI Studio

$ jupyter pocket book

https://ir.tesla.com/_flysystem/s3/sec/000162828023034847/tsla-20230930-gen.pdf

Für diese PDF ist die Frage, die ich immer stelle, dies,

"What are the Complete liabilities and Complete property for 2022 and 2023"

Die Antwort auf diese Frage ist auf Seite 4 des Dokuments. Hier ist diese Seite.

Für den Menschen ist die Antwort leicht zu finden. Wie Sie sehen können, betrugen das Gesamtvermögen für 2022/2023 (in Millionen) 82.338 USD/93.941 USD. Die Gesamtverbindlichkeiten betrugen (in Millionen) 36.440 USD/39.446 USD.

Früher (dh vor ungefähr 18 Monaten!) Battle es schwierig, diese Informationen aus diesem Dokument mit herkömmlichen Rag -Methoden zu erhalten.

Wie wird Google -URL -Kontext nach Erdung umgehen?

Geben Sie in Ihrem Jupyter -Notizbuch diesen Code ein.

from google import genai
from google.genai import sorts

from IPython.show import HTML, Markdown

consumer = genai.Shopper(api_key='YOUR_API_KEY HERE')

# We will use a lot of the Gemini fashions corresponding to 2.5 Flash and so forth... right here 
MODEL_ID = "gemini-2.5-pro"

immediate = """
  Based mostly on the contents of this PDF https://ir.tesla.com/_flysystem/s3/sec/000162828023034847/tsla-20230930-gen.pdf, What 
  are the Complete liabilities and Complete property for 2022 and 2023. Lay them out on this format
                   September 30 2023    December 31, 2022
Complete Belongings         $123               $456
Complete Liabilities    $67                $23

Do not output anything, simply the above data
"""

config = {
    "instruments": ({"url_context": {}}),
}

response = consumer.fashions.generate_content(
    contents=(immediate),
    mannequin=MODEL_ID,
    config=config
)

show(response.textual content)

Das conflict’s, nur eine Handvoll Linien, aber sehen wir die Ausgabe.

'September 30 2023 December 31, 2022nTotal Belongings $93,941 $82,338nTotal Liabilities $39,446 $36,440'

Spot auf, nicht zu schäbig.

Mal sehen, ob es einige andere Informationen auswählen kann. Gegen Ende des PDF gibt es einen Transient an einen Mitarbeiter, der das Unternehmen im Begriff ist, ihre Abfindungsbedingungen umzusetzen. Kann der URL -Kontext ermitteln, warum das im Transient genannte Ausgangsdatum von Sternchen (***) gekennzeichnet ist? Hier ist ein Ausschnitt des Briefes.

Der Grund für die Maskierung des Ausgangsdatums ist in einer Fußnote angegeben.

Der Code, den wir benötigen, um diese Informationen zu extrahieren, ist unserem ersten Beispiel sehr ähnlich. Tatsächlich ist das einzige, was sich ändert, die Eingabeaufforderung, additionally werde ich das nur zeigen.

...
...
immediate = """
  Based mostly on https://ir.tesla.com/_flysystem/s3/sec/000162828023034847/tsla-20230930-gen.pdf, an worker severance letter is displayed
  Why is the exit date referred to within the letter marked with ***
"""
...
...

Und die Ausgabe?

'Based mostly on the supplied doc, the exit date within the worker severance 
letter is marked with "(***)" as a result of particular, non-material data 
that the corporate treats as non-public or confidential has been deliberately 
omitted from the general public submitting.nnThe doc features a notice clarifying 
this observe: "Sure recognized data has been omitted from this 
doc as a result of it isn't materials and is the kind that the corporate treats 
as non-public or confidential, and has been marked with "(***)" to point 
the place omissions have been made."'

Wie Sie sehen können, ist das wieder genau richtig.

Was sind andere Verwendungszwecke für die Grundlage von URL -Kontext?

Meiner Meinung nach eröffnet es eine Fülle neuer Möglichkeiten, darunter:-

Eingehende Inhaltsanalyse und -Synthese.

• Datenextraktion. Das Software kann bestimmte Informationen wie Preise, Namen oder wichtige Erkenntnisse aus mehreren URLs ziehen.
• Dokumentvergleich. Es kann mehrere Berichte, Artikel oder sogar PDFs analysieren, um Unterschiede zu identifizieren und Tendencies zu verfolgen.
• Inhaltserstellung. Durch die Kombination von Informationen aus mehreren Quell -URLs kann die KI genaue Zusammenfassungen, Weblog -Beiträge oder Berichte generieren. Beispielsweise könnte ein Entwickler das Software verwenden, um zwei Rezepte von verschiedenen Web sites zu vergleichen und Zutaten und Kochzeiten zu analysieren.
• Code- und Dokumentationsanalyse. Entwickler können die KI auf ein GitHub -Repository oder eine technische Dokumentation verweisen, um Code zu erklären, Setup -Anweisungen zu generieren oder bestimmte Fragen dazu zu beantworten.

Anspruchsvolle agierende Arbeitsabläufe.

• Die Kombination aus breiter Entdeckung durch Google-Suche und tiefe Analyse über das URL-Kontext-Software bildet die Grundlage für komplexe, mehrstufige Aufgaben. Ein AI -Agent könnte zuerst nach relevanten Artikeln zu einem Thema suchen und dann das URL -Kontext -Software verwenden, um Informationen aus den relevantesten Suchergebnissen zu „lesen“ und zu synthetisieren.
• Die Gemini CLI, ein Open-Supply-AI-Agent, verwendet das URL-Kontext-Software für seinen Internet-Fetch-Befehl. Auf diese Weise können Entwickler Webseiten schnell zusammenfassen, Schlüsselinformationen extrahieren oder Inhalte sogar direkt von ihrem Terminal übersetzen.

Verbesserte sachliche Genauigkeit und reduzierte Halluzinationen.

• Durch die Erde der Antworten im Inhalt bestimmter Webseiten wird die sachliche Genauigkeit der KI erhöht und die Wahrscheinlichkeit verringert, falsche oder erfundene Informationen zu generieren. Auf diese Weise kann die KI auch Zitate für ihre Behauptungen bereitstellen und das Vertrauen der Benutzer aufbauen, indem die Quellen ihrer Informationen angezeigt werden.

Unterstützt eine Vielzahl von Inhaltstypen.

• PDFs. Die KI kann Textual content extrahieren und die Struktur von Tabellen in PDF -Dokumenten verstehen, wodurch Berichte und Handbücher für die Erdung zugänglich sind.
• Bilder. Es kann Bilder in verschiedenen Formaten verarbeiten und analysieren (PNG, JPEG, BMP, Webp), wobei multimodale Funktionen zur Verständnis von Diagrammen und Diagrammen eingesetzt werden.
• Internet- und Datendateien. Die fortgesetzte Unterstützung für HTML-, JSON-, XML-, CSV- und Klartextdateien gewährleistet eine breite Anwendbarkeit.

Beispiel 2 – Führen Sie einen Preisvergleich durch

Nehmen wir für unser zweites Beispiel an, wir sind auf der Suche nach einem neuen Kopfhörer. Wir werden eine Liste der URLs mehrerer On-line -Outlets füttern, die das Produkt in unseren Code verkaufen, und das Modell bitten, die drei billigsten Produkte abzurufen, die unserer Spezifikation entsprechen.

Dieses Beispiel fühlt sich vielleicht etwas überflüssig an, da es da draußen viele Einkaufsvergleichswebsites gibt, aber es ist wirklich nur dazu bestimmt, die Dinge hervorzuheben, die Sie mit dem Software machen können.

Sagen Sie, wir möchten ein bestimmtes Modell von Kopfhörern kaufen, z. Wir haben On-line -Outlets mit den wettbewerbsfähigsten Preisen identifiziert, aber diese Preise schwanken quick täglich. Lassen Sie uns ein Skript erstellen, das jederzeit ausgeführt werden kann, um die Geschäfte mit den drei günstigsten Preisen zurückzugeben.

Auch hier ist der einzige Unterschied zwischen diesem und unserem Beispielcode die Eingabeaufforderung. Der Relaxation des Codes ist der gleiche.

immediate = """
  Based mostly on these URL hyperlinks, output the three least expensive costs for these 
  headphones and the related retailer.
  
  
  https://electronics.sony.com/audio/headphones/headband/p/wh1000xm5-b?srsltid=AfmBOopJmjebTtZEieUvHEf5xEke7C7piVi3BdlSUdTPJH3wuBfTksJy
  https://tristatecamera.com/product/TRI_STATE_CAMERA_Sony_WH-1000XM5_Wireless_Noise-Canceling_Over-Ear_Headphones_Black_1_Yr_WH1000XM5BS2.html?refid=279&KPID=SONWH1000XM5BS2&fl=GSOrganic&srsltid=AfmBOoqnE7vgc1uOELadhkaRlhHuJx3HGRTV5ICN7ihNkFXI_UEuImZ2gXU
  https://poshmark.com/itemizing/Sony-WH-1000xm5-Headphones-672d0ab515ad54b37949b845#utm_source=gdm_unpaid
  https://reverb.com/merchandise/91492218-sony-wh-1000xm5-wireless-noise-canceling-over-the-ear-headphones-silver?utm_campaign=US-Shop_unpaid&utm_medium=cpc&utm_source=google
  Sony WH-1000XM5 Noise-Canceling Wi-fi Over-Ear Headphones (Black)
  https://www.newegg.com/p/0TH-000U-00JZ4?merchandise=9SIA29PK9N4805&utm_source=google&utm_medium=natural+buying&utm_campaign=knc-googleadwords-_-headphones+and+accessories-_-sony-_-9SIA29PK9N4805&supply=area&srsltid=AfmBOooONnd3a1lju0DgyhpdXlT1VtUp_skJdsx_uYH1DdHKLWPNe_DWBuY&com_cvv=8fb3d522dc163aeadb66e08cd7450cbbdddc64c6cf2e8891f6d48747c6d56d2c 
"""

Diesmal ist die Ausgabe.

'Based mostly on the supplied URLs, listed here are the three least expensive costs for the 
Sony WH-1000XM5 headphones:nn1.  
**$145.00** at Reverb.n2. 
**$258.99** at Teds Electronics.n3.  
**$329.99** at Sony.'

Beispiel 3 – Finanzanalyse und Vergleiche für Unternehmen.

In diesem Beispiel werden wir die Gewinnberichte in Quartal 2, 2025 sowohl von Amazon als auch von Microsoft vergleichen. Wir werden das Modell bitten, beide Berichte zu analysieren, Schlüsselinformationen zu extrahieren und mit einer Zusammenfassung zu schließen, die die wichtigsten Stärken und Strategien beider Unternehmen angibt. Die Daten werden erneut aus ihren öffentlichen Gewinnberichten für SEC 10-Q-Gewinnfrequenz erhalten.

from google import genai
from google.genai import sorts

from IPython.show import HTML, Markdown

consumer = genai.Shopper(api_key='YOUR_API_KEY_HERE')

MODEL_ID = "gemini-2.5-pro" 

microsoft_earnings_url = "https://www.sec.gov/ix?doc=/Archives/edgar/knowledge/0000789019/000095017025100235/msft-20250630.htm"
amazon_earnings_url = "https://www.sec.gov/ix?doc=/Archives/edgar/knowledge/0001018724/000101872425000086/amzn-20250630.htm"

# --- Step 3: Assemble the Detailed, Non-Trivial Immediate ---
# This immediate guides the AI to carry out a deep, comparative evaluation
# quite than only a easy knowledge extraction.

immediate = f"""
Please act as a senior monetary analyst and supply a comparative evaluation of the newest quarterly earnings reviews for Amazon  and Microsoft.

Entry and totally analyse the content material from the next two URLs:
1.  **Microsoft Earnings Report:** {microsoft_earnings_url}
2.  **Amazon's Earnings Report:** {amazon_earnings_url}

Based mostly *solely* on the data contained inside these two paperwork, please carry out the next duties:

1.  **Extract and Evaluate Key Monetary Metrics:**
    *   Establish and extract the Complete Income, Internet Revenue, and Diluted Earnings Per Share (EPS) for each firms.
    *   Current these core metrics in a transparent, formatted markdown desk for simple comparability.

2.  **Analyse and Summarise Administration Commentary:**
    *   Evaluate the sections containing quotes from the CEOs (Satya Nadella for Microsoft, Jeff Bezos for Amazon) and CFOs.
    * For every firm, write a paragraph summarising the important thing themes they're emphasising. What are the first drivers of their efficiency, based on them? What's the total tone of their commentary (e.g., optimistic, cautious)?

3.  **Establish and Distinction Strategic Focus:**
    * Pinpoint the particular enterprise segments or product classes that every firm highlights as main progress drivers (e.g., Microsoft Cloud and AI, Amazon's AWS companies, and so forth).
    *   Distinction their main strategic focus for the quarter. Is yet another targeted on enterprise/cloud, whereas the opposite is extra targeted on shopper {hardware} and ecosystem progress?

4.  **Synthesise a Conclusive Government Abstract:**
    *   Write a closing, concise paragraph that synthesises the findings. Evaluate the general well being and present strategic posture of the 2 firms based mostly on these reviews. For instance, conclude which firm demonstrated stronger progress on this particular quarter and during which areas.

Simply output your closing evaluation. There isn't a have to output intervening steps thopughts or knowledge
"""

config = {
    "instruments": ({"url_context": {}}),
}

response = consumer.fashions.generate_content(
    contents=(immediate),
    mannequin=MODEL_ID,
    config=config
)

show(Markdown(response.textual content))

Hier ist die Ausgabe.

Here's a comparative evaluation of the newest quarterly earnings reviews for 
Amazon and Microsoft.

1. Key Monetary Metrics
Metric          Amazon (Q2 2025)        Microsoft (FY25 Q2)
Complete Income   143.7 billion            61 9 billion
Internet Revenue      10.4 billion             21.9 billion 
Diluted EPS     1                        2.94

2. Administration Commentary Evaluation
Microsoft:

Microsoft's administration, led by CEO Satya Nadella, maintains a extremely 
optimistic tone, emphasizing the transformative affect of AI on their 
enterprise. Nadella's commentary highlights the "Microsoft Cloud" as a main 
efficiency driver, citing its function in serving to prospects apply AI at scale. 
The corporate's CFO, Amy Hood, reinforces this by noting that the robust 
quarterly outcomes had been pushed by the Microsoft Cloud, which noticed a 23% improve 
in income. The overarching theme from Microsoft's management is that their 
investments in AI will not be simply paying off however are basically reshaping their
product choices and buyer relationships, resulting in important progress 
and market management.

Amazon:

Amazon's management, together with CEO Jeff Bezos, presents a assured and 
forward-looking perspective. The commentary highlights the robust efficiency 
of Amazon Internet Companies (AWS) and the corporate's continued innovation in AI, 
notably with companies like Bedrock and the event of customized AI chips.
Bezos emphasizes the corporate's deal with long-term, customer-centric innovation.
The general tone is considered one of sturdy optimism, with a transparent message that Amazon's 
investments in AI and cloud computing are yielding substantial outcomes and 
will proceed to be central to their technique.

3. Strategic Focus Distinction
Microsoft:

Microsoft's strategic focus for the quarter is closely centered on its 
enterprise and cloud choices, with a selected emphasis on synthetic 
intelligence. The report repeatedly highlights the "Microsoft Cloud" because the 
cornerstone of its success, with particular mentions of merchandise like Azure, 
Dynamics 365, and Microsoft 365, all of that are being infused with AI 
capabilities. The commentary from CEO Satya Nadella explicitly factors to the 
firm's success in serving to prospects apply AI at scale as a key 
differentiator and progress driver.

Amazon:

Amazon's strategic focus, whereas additionally closely invested in cloud and AI via 
AWS, is broader, encompassing its huge e-commerce and consumer-facing 
companies. The report underscores the expansion of AWS, with a notable improve 
in income and working earnings, and highlights the corporate's innovation in 
AI with companies like Bedrock. Nonetheless, not like Microsoft, Amazon's report additionally 
factors to the power of its shopper enterprise, with a deal with choice, 
worth, and comfort, in addition to the expansion of its promoting companies.

4. Government Abstract
Based mostly on their newest quarterly reviews, each Microsoft and Amazon are 
demonstrating robust monetary well being and are strategically positioned to 
capitalize on the expansion of cloud computing and synthetic intelligence. 
Microsoft's report signifies a extra targeted technique, with the "Microsoft 
Cloud" and its built-in AI capabilities serving as the first engine of 
progress, leading to spectacular profitability. Amazon, whereas additionally experiencing 
important progress in its AWS section, presents a extra diversified technique, 
balancing its enterprise cloud enterprise with its large e-commerce and 
promoting operations. On this particular quarter, Microsoft has proven stronger 
progress in internet earnings and EPS, reflecting the excessive margins of its enterprise 
software program and cloud enterprise.

Zusammenfassung

In dem Artikel wird das neue URL-Kontext-Grounding-Software für Gemini vorgestellt, mit dem Entwickler den Inhalt bestimmter Internet-URLs (einschließlich PDFs) direkt abfragen und analysieren können, ohne dass Schritte (RAG) wie Textextraktion, Chunking und Vektorisierung herrschendem Technology (Abruf generiert wurden.

Ich habe seine Benutzerfreundlichkeit mit Python-Code-Beispielen gezeigt, die auf Jupyter-Notizbüchern ausgeführt werden und das erfolgreiche Abrufen von Daten aus Teslas 10-Q-Sec-Einreichung PDF, Produktpreisvergleiche in ganz On-line-Outlets und eine finanzielle Analyse von Amazon und Microsoft Q2 2025 Finanzergebnisse gezeigt haben.

Während ich Einschränkungen wie das Software nicht mit Paywalled -URLs und einigen Medieninhalten wie YouTube -VideoaS feststellte, habe ich seine Fähigkeit hervorgehoben, eine tiefe Dokumentenverhör, Datenextraktion, Vergleich und Synthese auf einer Vielzahl von Webseiten und OPNLine -PDFs durchzuführen, die seine Genauigkeit durch die Bodierung von Reaktionen in realen Quellen verbessern.

Für viele Anwendungsfälle ersetzt dieses Software effektiv herkömmliche Lag -Workflows, insbesondere in Kombination mit Google Search Grounding, um komplexere Agenten -Workflows, sachliche Zuverlässigkeit und multimodale Inhaltsanalyse zu ermöglichen.

Ich hoffe, dieser Artikel hat Ihren Appetit auf die unzähligen Anwendungsfälle geweckt, die dieses nützliche Dienstprogramm bieten kann.

Im Kontext von Sprachmodellen und agentenbasierter KI sind Gedächtnis und Erdung wichtige und aufstrebende Forschungsfelder. Und obwohl sie in einem Satz oft eng nebeneinander stehen und oft miteinander verbunden sind, erfüllen sie in der Praxis unterschiedliche Funktionen. In diesem Artikel möchte ich die Verwirrung um diese beiden Begriffe aufklären und zeigen, welche Rolle das Gedächtnis bei der allgemeinen Erdung eines Modells spielen kann.

In meinem letzten Artikel haben wir über die Wichtige Rolle des Gedächtnisses in der agentenbasierten KI. Das Gedächtnis in Sprachmodellen bezieht sich auf die Fähigkeit von KI-Systemen, relevante Informationen zu behalten und abzurufen, was zu ihrer Fähigkeit beiträgt, logisch zu denken und kontinuierlich aus ihren Erfahrungen zu lernen. Das Gedächtnis kann in vier Kategorien eingeteilt werden: Kurzzeitgedächtnis, Langzeitgedächtnis, Langzeitgedächtnis und Arbeitsgedächtnis.

Das klingt kompliziert, aber lassen Sie es uns einfach aufschlüsseln:

Kurzzeitgedächtnis (KZG):

Das KTM speichert Informationen für einen sehr kurzen Zeitraum, der Sekunden bis Minuten betragen kann. Wenn Sie einem Sprachmodell eine Frage stellen, muss es Ihre Nachrichten lange genug speichern, um eine Antwort auf Ihre Frage zu generieren. Genau wie Menschen haben Sprachmodelle Schwierigkeiten, sich zu viele Dinge gleichzeitig zu merken.

Millers Gesetzbesagt, dass „das Kurzzeitgedächtnis ein Bestandteil des Gedächtnisses ist, der eine kleine Menge an Informationen in einem aktiven, leicht verfügbaren Zustand für einen kurzen Zeitraum, typischerweise einige Sekunden bis eine Minute, speichert. Die Dauer des Kurzzeitgedächtnisses scheint zwischen 15 und 30 Sekunden zu liegen, und die Kapazität des Kurzzeitgedächtnisses ist begrenzt und wird oft auf etwa 7±2 Elemente geschätzt.“

Wenn Sie additionally ein Sprachmodell fragen: „Zu welchem ​​Style gehört das Buch, das ich in meiner vorherigen Nachricht erwähnt habe?“, muss es sein Kurzzeitgedächtnis nutzen, um auf aktuelle Nachrichten zu verweisen und eine relevante Antwort zu generieren.

Implementierung:

Der Kontext wird in externen Systemen gespeichert, beispielsweise in Sitzungsvariablen oder Datenbanken, die einen Teil des Konversationsverlaufs enthalten. Jede neue Benutzereingabe und Assistentenantwort wird an den vorhandenen Kontext angehängt, um einen Konversationsverlauf zu erstellen. Während der Inferenz wird der Kontext zusammen mit der neuen Abfrage des Benutzers an das Sprachmodell gesendet, um eine Antwort zu generieren, die die gesamte Konversation berücksichtigt. Dies Forschungsbericht bietet einen tieferen Einblick in die Mechanismen, die das Kurzzeitgedächtnis ermöglichen.

Kurz- und Langzeitgedächtnis (SLTM):

SLTM speichert Informationen für einen moderaten Zeitraum, der von Minuten bis Stunden reichen kann. Beispielsweise können Sie innerhalb derselben Sitzung dort weitermachen, wo Sie in einem Gespräch aufgehört haben, ohne den Kontext wiederholen zu müssen, da er als SLTM gespeichert wurde. Dieser Prozess ist auch ein externer Prozess und kein Teil des Sprachmodells selbst.

Implementierung:

Sitzungen können mithilfe von Kennungen verwaltet werden, die Benutzerinteraktionen im Laufe der Zeit verknüpfen. Kontextdaten werden so gespeichert, dass sie über Benutzerinteraktionen hinweg innerhalb eines definierten Zeitraums bestehen bleiben, z. B. in einer Datenbank. Wenn ein Benutzer die Konversation fortsetzt, kann das System den Konversationsverlauf aus vorherigen Sitzungen abrufen und ihn während der Inferenz an das Sprachmodell weitergeben. Ähnlich wie beim Kurzzeitgedächtnis wird jede neue Benutzereingabe und jede Assistentenantwort an den vorhandenen Kontext angehängt, um den Konversationsverlauf aktuell zu halten.

Langzeitgedächtnis (LTM):

LTM speichert Informationen für einen vom Administrator festgelegten Zeitraum, der unbegrenzt sein kann. Wenn wir beispielsweise einen KI-Tutor entwickeln würden, wäre es für das Sprachmodell wichtig zu verstehen, in welchen Fächern der Schüler gute Leistungen erbringt, wo er noch Schwierigkeiten hat, welche Lernstile für ihn am besten geeignet sind und vieles mehr. Auf diese Weise kann das Modell relevante Informationen abrufen, um seine zukünftigen Unterrichtspläne zu erstellen. Eichhörnchen-KI ist ein Beispiel für eine Plattform, die das Langzeitgedächtnis nutzt, um „personalisierte Lernpfade zu erstellen, gezielt zu unterrichten und bei Bedarf emotionale Interventionen bereitzustellen“.

Implementierung:

Informationen können in strukturierten Datenbanken, Wissensgraphen oder Dokumentspeichern gespeichert werden, die bei Bedarf abgefragt werden. Relevante Informationen werden basierend auf der aktuellen Interaktion und dem bisherigen Verlauf des Benutzers abgerufen. Dies bietet Kontext für das Sprachmodell, das mit der Antwort des Benutzers oder der Systemaufforderung zurückgegeben wird.

Arbeitsspeicher:

Der Arbeitsspeicher ist eine Komponente des Sprachmodells selbst (im Gegensatz zu den anderen Speichertypen, die externe Prozesse sind). Er ermöglicht es dem Sprachmodell, Informationen zu speichern, zu bearbeiten und zu verfeinern – und verbessert so die Denkfähigkeit des Modells. Dies ist wichtig, da sich das Verständnis der Aufgabe und die Schritte, die es zur Ausführung unternehmen muss, während das Modell die Anfrage des Benutzers verarbeitet, ändern kann. Sie können sich den Arbeitsspeicher als Notizblock des Modells für seine Gedanken vorstellen. Wenn beispielsweise ein mehrstufiges mathematisches Downside wie (5 + 3) * 2 vorliegt, muss das Sprachmodell in der Lage sein, die (5+3) in den Klammern zu berechnen und diese Informationen zu speichern, bevor die Summe der beiden Zahlen mit 2 multipliziert wird. Wenn Sie sich tiefer mit diesem Thema befassen möchten, finden Sie die Papier „TransformerFAM: Suggestions consideration is working reminiscence“ bietet einen neuen Ansatz zur Erweiterung des Arbeitsgedächtnisses und ermöglicht es einem Sprachmodell, Eingaben/Kontextfenster unbegrenzter Länge zu verarbeiten.

Implementierung:

Mechanismen wie Aufmerksamkeitsebenen in Transformatoren oder versteckte Zustände in rekurrierenden neuronalen Netzwerken (RNNs) sind für die Aufrechterhaltung von Zwischenberechnungen verantwortlich und bieten die Möglichkeit, Zwischenergebnisse innerhalb derselben Inferenzsitzung zu manipulieren. Während das Modell Eingaben verarbeitet, aktualisiert es seinen internen Zustand, was stärkere Denkfähigkeiten ermöglicht.

Alle vier Speichertypen sind wichtige Komponenten für die Erstellung eines KI-Methods, das Informationen über verschiedene Zeiträume und Kontexte hinweg effektiv verwalten und nutzen kann.

Die Antworten eines Sprachmodells sollten im Kontext des Gesprächs immer Sinn ergeben – sie sollten nicht nur aus einer Ansammlung von Tatsachenbehauptungen bestehen.. Grounding misst die Fähigkeit eines Modells, eine Ausgabe zu produzieren, die kontextbezogen related und sinnvoll ist. Der Prozess des Grounding eines Sprachmodells kann eine Kombination aus Sprachmodelltraining, Feinabstimmung und externen Prozessen (einschließlich Gedächtnis!) sein.

Coaching und Feinabstimmung des Sprachmodells

Die Daten, mit denen das Modell anfangs trainiert wird, machen einen wesentlichen Unterschied darin, wie fundiert das Modell ist. Das Coaching eines Modells mit einem großen Korpus unterschiedlicher Daten ermöglicht es ihm, Sprachmuster, Grammatik und Semantik zu lernen, um das nächste relevante Wort vorherzusagen. Das vorab trainierte Modell wird dann anhand domänenspezifischer Daten feinabgestimmt, was ihm hilft, relevantere und genauere Ergebnisse für bestimmte Anwendungen zu generieren, die tieferes domänenspezifisches Wissen erfordern. Dies ist besonders wichtig, wenn das Modell bei bestimmten Texten, mit denen es während seines anfänglichen Trainings möglicherweise nicht konfrontiert wurde, gute Ergebnisse erzielen soll. Obwohl unsere Erwartungen an die Fähigkeiten eines Sprachmodells hoch sind, können wir nicht erwarten, dass es bei etwas, das es noch nie zuvor gesehen hat, gute Ergebnisse erzielt. Genauso wie wir von einem Schüler nicht erwarten würden, dass er bei einer Prüfung intestine abschneidet, wenn er den Stoff nicht gelernt hat.

Externer Kontext

Wenn Sie das Modell mit kontextspezifischen Echtzeitinformationen oder aktuellen Informationen versorgen, bleibt es auch auf dem Boden der Tatsachen. Dafür gibt es viele Methoden, beispielsweise die Integration mit externen Wissensdatenbanken, APIs und Echtzeitdaten. Diese Methode wird auch als Retrieval Augmented Era (RAG) bezeichnet.

Speichersysteme

Gedächtnissysteme in der KI spielen eine entscheidende Rolle dabei, sicherzustellen, dass das System auf der Grundlage seiner zuvor ausgeführten Aktionen, gewonnenen Erkenntnisse, seiner Leistung im Laufe der Zeit und seiner Erfahrungen mit Benutzern und anderen Systemen geerdet bleibt. Die vier zuvor im Artikel beschriebenen Gedächtnistypen spielen eine entscheidende Rolle dabei, die Fähigkeit eines Sprachmodells zu erden, kontextbewusst zu bleiben und relevante Ergebnisse zu liefern. Gedächtnissysteme arbeiten Hand in Hand mit Erdungstechniken wie Coaching, Feinabstimmung und externer Kontextintegration, um die Gesamtleistung und Relevanz des Modells zu verbessern.

Gedächtnis und Erdung sind miteinander verbundene Elemente, die die Leistung und Zuverlässigkeit von KI-Systemen verbessern. Während das Gedächtnis es der KI ermöglicht, Informationen über verschiedene Zeiträume hinweg zu behalten und zu verarbeiten, stellt die Erdung sicher, dass die Ausgaben der KI kontextbezogen related und aussagekräftig sind. Durch die Integration von Gedächtnissystemen und Erdungstechniken können KI-Systeme ein höheres Maß an Verständnis und Effektivität bei ihren Interaktionen und Aufgaben erreichen.