Wenn Sie eine Suchanfrage in eine Suchmaschine eingeben, muss etwas entscheiden, welche Dokumente tatsächlich related sind – und wie sie eingestuft werden. BM25 (Greatest Matching 25)der Algorithmus, der Suchmaschinen wie Elasticsearch und Lucene antreibt, ist seit Jahrzehnten die vorherrschende Antwort auf diese Frage.

Es bewertet Dokumente anhand von drei Dingen: wie oft Ihre Suchbegriffe in einem Dokument vorkommen, wie selten diese Begriffe in der gesamten Sammlung vorkommen und ob ein Dokument ungewöhnlich lang ist. Das Schlaue daran ist, dass BM25 Key phrase-Stuffing nicht belohnt – ein 20-mal vorkommendes Wort macht ein Dokument aufgrund der Begriffshäufigkeitssättigung nicht 20-mal relevanter. Aber BM25 hat einen grundlegenden blinden Fleck: Es findet nur die Wörter, die Sie eingegeben haben, nicht das, was Sie gemeint haben. Suchen nach „Ähnliche Inhalte ohne genaue Wortüberschneidung finden“ und BM25 erwidert einen leeren Blick.

Das ist genau die Lücke, die Retrieval-Augmented Era (RAG) mit Vektoreinbettungen wurde zum Füllen entwickelt – durch übereinstimmende Bedeutung, nicht nur durch Schlüsselwörter. In diesem Artikel erklären wir, wie jeder Ansatz funktioniert, wo jeder gewinnt und warum Produktionssysteme zunehmend beide zusammen verwenden.

So funktioniert BM25

Im Kern weist BM25 jedem Dokument in der Sammlung für eine bestimmte Abfrage eine Relevanzbewertung zu und ordnet die Dokumente dann nach dieser Bewertung. Für jeden Begriff in Ihrer Anfrage stellt BM25 drei Fragen: Wie oft kommt dieser Begriff im Dokument vor? Wie selten ist dieser Begriff in allen Dokumenten? Und ist dieses Dokument ungewöhnlich lang? Der Endwert ist die Summe der gewichteten Antworten auf diese Fragen über alle Suchbegriffe hinweg.

Beim Begriff Frequenzkomponente wird BM25 intelligent. Anstatt rohe Vorkommnisse zu zählen, gilt es Sättigung — Die Punktzahl steigt zunächst schnell an, flacht aber mit zunehmender Häufigkeit ab. Ein Begriff, der fünfmal vorkommt, trägt viel mehr dazu bei als ein Begriff, der einmal vorkommt, aber ein Begriff, der 50-mal vorkommt, trägt kaum mehr bei als einer, der 20-mal vorkommt. Dies wird durch den Parameter gesteuert k₁ (normalerweise zwischen 1,2 und 2,0 eingestellt). Stellen Sie den Wert niedrig ein und die Sättigung setzt schnell ein; Stellen Sie es hoch ein, dann ist die Rohfrequenz wichtiger. Diese einzige Designauswahl macht BM25 resistent gegen Key phrase-Stuffing – die hundertfache Wiederholung eines Wortes in einem Dokument bringt keinen Einfluss auf die Punktzahl.

Längennormalisierung und IDF

Der zweite Tuning-Parameter, B (normalerweise 0,75) steuert, wie stark die Länge eines Dokuments bestraft wird. Ein langes Dokument enthält natürlich mehr Wörter, sodass die Wahrscheinlichkeit größer ist, dass Ihr Suchbegriff darin enthalten ist – nicht weil er relevanter ist, sondern einfach weil er länger ist. BM25 vergleicht die Länge jedes Dokuments mit der durchschnittlichen Dokumentlänge in der Sammlung und skaliert den Begriffshäufigkeitswert entsprechend herunter. Einstellung b = 0 deaktiviert diese Strafe vollständig; b = 1 Wendet die vollständige Normalisierung an.

Endlich, IDF (Inverse Doc Frequency) stellt sicher, dass seltene Begriffe mehr Gewicht haben als häufige. Wenn das Wort „Abruf“ nur in 3 von 10.000 Dokumenten vorkommt, ist dies bei Übereinstimmung ein starkes Sign für Relevanz. Wenn das Wort „Die“ kommt in allen 10.000 vor, eine Übereinstimmung sagt Ihnen quick nichts. IDF ist es, was BM25 dazu bringt, auf die Wörter zu achten, die tatsächlich zwischen Dokumenten unterscheiden. Ein wichtiger Vorbehalt: Da BM25 ausschließlich auf der Häufigkeit von Begriffen basiert, ist ihm die Wortreihenfolge, der Kontext oder die Bedeutungsübereinstimmung nicht bekannt „Financial institution“ in einer Anfrage zu Finanzen und „Financial institution“ in einem Dokument über Flüsse sieht identisch aus mit BM25. Diese Beschränkung auf den Wortschatz ist von grundlegender Bedeutung und kein Abstimmungsproblem.

Wie unterscheidet sich BM25 von Vector Search?

BM25 und Vektorsuche beantworten die gleiche Frage – Welche Dokumente sind für diese Anfrage related? – aber aus grundlegend anderen Blickwinkeln. BM25 ist ein Key phrase-Matching-Algorithmus: Er sucht in jedem Dokument nach den genauen Wörtern Ihrer Suchanfrage, bewertet sie nach Häufigkeit und Seltenheit und ordnet sie entsprechend. Es hat kein Sprachverständnis – es sieht Textual content als eine Tüte voller Zeichen, nicht als Bedeutung.

Im Gegensatz dazu wandelt die Vektorsuche mithilfe eines Einbettungsmodells sowohl die Abfrage als auch jedes Dokument in dichte numerische Vektoren um und findet dann Dokumente, deren Vektoren in die gleiche Richtung wie der Abfragevektor zeigen – gemessen anhand der Kosinusähnlichkeit. Dies bedeutet, dass die Vektorsuche übereinstimmen kann „Herzstillstand“ zu einem Dokument über „Herzinsuffizienz“ Auch wenn sich keines der Wörter überschneidet, weil das Einbettungsmodell gelernt hat, dass diese Konzepte im semantischen Raum eng beieinander leben.

Der Kompromiss ist praktisch: BM25 erfordert kein Modell, keine GPU und keinen API-Aufruf – es ist schnell, leichtgewichtig und vollständig erklärbar. Die Vektorsuche erfordert ein Einbettungsmodell zur Index- und Abfragezeit, erhöht die Latenz und die Kosten und führt zu schwieriger zu interpretierenden Ergebnissen. Keines von beiden ist unbedingt besser; Sie scheitern in entgegengesetzter Richtung, und genau aus diesem Grund ist die Hybridsuche – die Kombination beider – zum Produktionsstandard geworden.

Vergleich von BM25 und Vektorsuche in Python

Installieren der Abhängigkeiten

pip set up rank_bm25 openai numpy

import math
import re
import numpy as np
from collections import Counter
from rank_bm25 import BM25Okapi
from openai import OpenAI

import os
from getpass import getpass 
os.environ('OPENAI_API_KEY') = getpass('Enter OpenAI API Key: ')

Den Korpus definieren

Bevor wir BM25 und Vektorsuche vergleichen können, benötigen wir eine gemeinsame Wissensdatenbank zum Durchsuchen. Wir definieren 12 kurze Textabschnitte, die eine Reihe von Themen abdecken – Python, maschinelles Lernen, BM25, Transformatoren, Einbettungen, RAG, Datenbanken und mehr. Die Themen sind bewusst vielfältig: Einige Blöcke sind eng miteinander verbunden (BM25 und TF-IDF, Einbettungen und Kosinusähnlichkeit), während andere überhaupt nichts miteinander zu tun haben (PostgreSQL, Django). Diese Vielfalt macht den Vergleich aussagekräftig – eine intestine funktionierende Abrufmethode sollte die relevanten Teile aufdecken und das Rauschen ignorieren.

Dieser Korpus fungiert als unser Ersatz für einen echten Dokumentenspeicher. In einer Produktions-RAG-Pipeline würden diese Teile aus der Aufteilung und Bereinigung tatsächlicher Dokumente stammen – PDFs, Wikis, Wissensdatenbanken. Hier halten wir sie kurz und handlich, damit das Abrufverhalten leicht nachvollzogen und begründet werden kann.

CHUNKS = (
    # 0
    "Python is a high-level, interpreted programming language recognized for its easy and readable syntax. "
    "It helps a number of programming paradigms together with procedural, object-oriented, and useful programming.",
 
    # 1
    "Machine studying is a subset of synthetic intelligence that allows programs to be taught from information "
    "with out being explicitly programmed. Widespread algorithms embody linear regression, resolution bushes, and neural networks.",
 
    # 2
    "BM25 stands for Greatest Match 25. It's a bag-of-words retrieval perform utilized by serps "
    "to rank paperwork primarily based on the question phrases showing in every doc. "
    "BM25 makes use of time period frequency and inverse doc frequency with size normalization.",
 
    # 3
    "Transformer structure launched the self-attention mechanism, which permits the mannequin to weigh "
    "the significance of various phrases in a sentence no matter their place. "
    "BERT and GPT are each primarily based on the Transformer structure.",
 
    # 4
    "Vector embeddings signify textual content as dense numerical vectors in a high-dimensional area. "
    "Comparable texts are positioned nearer collectively. This permits semantic search -- discovering paperwork "
    "that imply the identical factor even when they use totally different phrases.",
 
    # 5
    "TF-IDF stands for Time period Frequency-Inverse Doc Frequency. It displays how essential a phrase is "
    "to a doc relative to your complete corpus. Uncommon phrases get greater scores than frequent ones like 'the'.",
 
    # 6
    "Retrieval-Augmented Era (RAG) combines a retrieval system with a language mannequin. "
    "The retriever finds related paperwork; the generator makes use of them as context to supply a solution. "
    "This reduces hallucinations and permits the mannequin to quote sources.",
 
    # 7
    "Django is a high-level Python internet framework that encourages speedy growth and clear, pragmatic design. "
    "It contains an ORM, authentication system, and admin panel out of the field.",
 
    # 8
    "Cosine similarity measures the angle between two vectors. A rating of 1 means similar course, "
    "0 means orthogonal, and -1 means reverse. It's generally used to match textual content embeddings.",
 
    # 9
    "Gradient descent is an optimization algorithm used to reduce a loss perform by iteratively "
    "shifting within the course of the steepest descent. It's the spine of coaching neural networks.",
 
    # 10
    "PostgreSQL is an open-source relational database recognized for its robustness and help for superior "
    "SQL options like window features, CTEs, and JSON storage.",
 
    # 11
    "Sparse retrieval strategies like BM25 depend on precise key phrase matches and fail when the question makes use of "
    "synonyms or paraphrases not current within the doc. Dense retrieval utilizing embeddings handles "
    "this by matching semantic that means reasonably than floor type.",
)
 
print(f"Corpus loaded: {len(CHUNKS)} chunks")
for i, c in enumerate(CHUNKS):
    print(f"  ({i:02d}) {c(:75)}...")

Bau des BM25 Retriever

Mit dem definierten Korpus können wir den BM25-Index erstellen. Der Prozess besteht aus zwei Schritten: Tokenisierung und Indizierung. Die tokenize-Funktion schreibt den Textual content klein und teilt ihn in alle nicht alphanumerischen Zeichen auf – so wird „TF-IDF“ zu („tf“, „idf“) und „bag-of-words“ zu („bag“, „of“, „phrases“). Dies ist bewusst einfach: BM25 ist ein Bag-of-Phrases-Modell, daher gibt es keine Wortstammbildung, keine Stoppwortentfernung und keine sprachliche Vorverarbeitung. Jedes Wort wird als unabhängiges Token behandelt.

Sobald jeder Block tokenisiert ist, erstellt BM25Okapi den Index und berechnet Dokumentlängen, durchschnittliche Dokumentlängen und IDF-Scores für jeden eindeutigen Begriff im Korpus. Dies geschieht einmal beim Begin. Zur Abfragezeit tokenisiert bm25_search die eingehende Abfrage auf die gleiche Weise, ruft get_scores auf, um parallel einen BM25-Relevanzwert für jeden Block zu berechnen, sortiert dann die High-Okay-Ergebnisse und gibt sie zurück. Die Plausibilitätsprüfung unten führt eine Testabfrage aus, um zu bestätigen, dass der Index funktioniert, bevor wir mit dem Einbettungs-Retriever fortfahren.

def tokenize(textual content: str) -> record(str):
    """Lowercase and break up on non-alphanumeric characters."""
    return re.findall(r'w+', textual content.decrease())
 
# Construct BM25 index over the corpus
tokenized_corpus = (tokenize(chunk) for chunk in CHUNKS)
bm25 = BM25Okapi(tokenized_corpus)
 
def bm25_search(question: str, top_k: int = 3) -> record(dict):
    """Return top-k chunks ranked by BM25 rating."""
    tokens = tokenize(question)
    scores = bm25.get_scores(tokens)
    ranked = np.argsort(scores)(::-1)(:top_k)
    return (
        {"chunk_id": int(i), "rating": spherical(float(scores(i)), 4), "textual content": CHUNKS(i)}
        for i in ranked
    )
 
# Fast sanity examine
outcomes = bm25_search("how does BM25 rank paperwork", top_k=3)
print("BM25 take a look at -- question: 'how does BM25 rank paperwork'")
for r in outcomes:
    print(f"  ({r('chunk_id')}) rating={r('rating')}  {r('textual content')(:70)}...")

Aufbau des Embedding Retrievers

Der Einbett-Retriever funktioniert in jedem Schritt anders als BM25. Anstatt Token zu zählen, wandelt es jeden Block mithilfe des Textual content-Embedding-3-Small-Modells von OpenAI in einen dichten numerischen Vektor um – eine Liste mit 1.536 Zahlen. Jede Zahl stellt eine Dimension im semantischen Raum dar, und Blöcke, die ähnliche Dinge bedeuten, haben am Ende Vektoren, die in ähnliche Richtungen zeigen, unabhängig von den verwendeten Wörtern.

Der Indexerstellungsschritt ruft die Einbettungs-API einmal professional Block auf und speichert die resultierenden Vektoren im Speicher. Dies ist der wesentliche Kostenunterschied zu BM25: Die Erstellung des BM25-Index ist reine Arithmetik auf Ihrem eigenen Pc, während die Erstellung des Einbettungsindex einen API-Aufruf professional Block erfordert und Vektoren erzeugt, die Sie speichern müssen. Für 12 Stücke ist das trivial; Bei einer Million Chunks wird dies zu einer echten Infrastrukturentscheidung.

Zum Zeitpunkt der Abfrage bettet embedding_search die eingehende Abfrage mit demselben Modell ein – das ist wichtig, die Abfrage und die Blöcke müssen sich im selben Vektorraum befinden – und berechnet dann die Kosinusähnlichkeit zwischen dem Abfragevektor und jedem gespeicherten Blockvektor. Die Kosinusähnlichkeit misst den Winkel zwischen zwei Vektoren: Ein Wert von 1 bedeutet identische Richtung, 0 bedeutet völlig unabhängig und destructive Werte bedeuten entgegengesetzte Bedeutung. Die Chunks werden dann nach dieser Punktzahl eingestuft und die High-k werden zurückgegeben. Auch hier wird die gleiche Plausibilitätsprüfungsabfrage aus dem BM25-Abschnitt ausgeführt, sodass Sie den ersten direkten Vergleich zwischen den beiden Ansätzen bei identischer Eingabe sehen können.

EMBED_MODEL = "text-embedding-3-small"
 
def get_embedding(textual content: str) -> np.ndarray:
    response = consumer.embeddings.create(mannequin=EMBED_MODEL, enter=textual content)
    return np.array(response.information(0).embedding)
 
def cosine_similarity(a: np.ndarray, b: np.ndarray) -> float:
    return float(np.dot(a, b) / (np.linalg.norm(a) * np.linalg.norm(b)))
 
# Embed all chunks as soon as (that is the "index construct" step in RAG)
print("Constructing embedding index... (one API name per chunk)")
chunk_embeddings = (get_embedding(chunk) for chunk in CHUNKS)
print(f"Performed. Every embedding has {len(chunk_embeddings(0))} dimensions.")
 
def embedding_search(question: str, top_k: int = 3) -> record(dict):
    """Return top-k chunks ranked by cosine similarity to the question embedding."""
    query_emb = get_embedding(question)
    scores = (cosine_similarity(query_emb, emb) for emb in chunk_embeddings)
    ranked = np.argsort(scores)(::-1)(:top_k)
    return (
        {"chunk_id": int(i), "rating": spherical(float(scores(i)), 4), "textual content": CHUNKS(i)}
        for i in ranked
    )
# Fast sanity examine
outcomes = embedding_search("how does BM25 rank paperwork", top_k=3)
print("nEmbedding take a look at -- question: 'how does BM25 rank paperwork'")
for r in outcomes:
    print(f"  ({r('chunk_id')}) rating={r('rating')}  {r('textual content')(:70)}...")

Aspect-by-Aspect-Vergleichsfunktion

Dies ist der Kern des Experiments. Die Vergleichsfunktion führt dieselbe Abfrage gleichzeitig über beide Retriever aus und gibt die Ergebnisse in einem zweispaltigen Format aus – BM25 auf der linken Seite, Einbettungen auf der rechten Seite – sodass die Unterschiede sofort an derselben Rangposition sichtbar sind.

def examine(question: str, top_k: int = 3):
    bm25_results    = bm25_search(question, top_k)
    embed_results   = embedding_search(question, top_k)
 
    print(f"n{'═'*70}")
    print(f"  QUERY: "{question}"")
    print(f"{'═'*70}")
 
    print(f"n  {'BM25 (key phrase)':<35}  {'Embedding RAG (semantic)'}")
    print(f"  {'─'*33}  {'─'*33}")
 
    for rank, (b, e) in enumerate(zip(bm25_results, embed_results), 1):
        b_preview = b('textual content')(:55).substitute('n', ' ')
        e_preview = e('textual content')(:55).substitute('n', ' ')
        similar = " similar" if b('chunk_id') == e('chunk_id') else ""
        print(f"  #{rank} ({b('chunk_id'):02d}) {b('rating'):.4f}  {b_preview}...")
        print(f"     ({e('chunk_id'):02d}) {e('rating'):.4f}  {e_preview}...  {similar}")
        print()

examine("BM25 time period frequency inverse doc frequency")
examine("what's RAG and why does it scale back hallucinations")
examine("cosine similarity between vectors")

Schauen Sie sich das an Vollständiges Notizbuch hier. Sie können uns auch gerne weiter folgen Twitter und vergessen Sie nicht, bei uns mitzumachen 120.000+ ML SubReddit und Abonnieren Unser Publication. Warten! Bist du im Telegram? Jetzt können Sie uns auch per Telegram kontaktieren.

Ich habe einen Abschluss im Bauingenieurwesen (2022) von Jamia Millia Islamia, Neu-Delhi, und interessiere mich sehr für Datenwissenschaft, insbesondere für neuronale Netze und deren Anwendung in verschiedenen Bereichen.

Große Sprachmodelle (LLMs) werden als Werkzeuge propagiert, die den Zugang zu Informationen weltweit demokratisieren und Wissen in einer benutzerfreundlichen Oberfläche bereitstellen könnten, unabhängig von der Herkunft oder dem Standort einer Individual. Neue Forschungsergebnisse des Heart for Constructive Communication (CCC) des MIT deuten jedoch darauf hin, dass diese Systeme der künstlichen Intelligenz für genau die Benutzer, die am meisten von ihnen profitieren könnten, möglicherweise tatsächlich eine schlechtere Leistung erbringen.

Eine von Forschern des CCC, das am MIT Media Lab angesiedelt ist, durchgeführte Studie ergab, dass hochmoderne KI-Chatbots – darunter GPT-4 von OpenAI, Claude 3 Opus von Anthropic und Llama 3 von Meta – manchmal weniger genaue und weniger wahrheitsgemäße Antworten für Benutzer liefern, die über geringere Englischkenntnisse, eine geringere formale Bildung oder einen Ursprung außerhalb der Vereinigten Staaten verfügen. Die Fashions weigern sich auch, Fragen dieser Nutzer häufiger zu beantworten, und antworten in einigen Fällen mit herablassender oder herablassender Sprache.

„Uns motivierte die Aussicht, dass LLMs dazu beitragen könnten, die ungleiche Zugänglichkeit von Informationen weltweit anzugehen“, sagt Hauptautorin Elinor Poole-Dayan SM ’25, eine technische Mitarbeiterin an der MIT Sloan College of Administration, die die Forschung als CCC-Partnerin und Masterstudentin in Medienkunst und -wissenschaften leitete. „Aber diese Imaginative and prescient kann nicht Wirklichkeit werden, ohne sicherzustellen, dass Modellvorurteile und schädliche Tendenzen für alle Benutzer sicher gemildert werden, unabhängig von Sprache, Nationalität oder anderen demografischen Merkmalen.“

Ein Artikel, der die Arbeit beschreibt: „Die gezielte Minderleistung von LLM wirkt sich unverhältnismäßig stark auf gefährdete Benutzer aus„wurde im Januar auf der AAAI-Konferenz zu künstlicher Intelligenz vorgestellt.

Systematische Minderleistung in mehreren Dimensionen

Für diese Forschung testete das Staff, wie die drei LLMs auf Fragen aus zwei Datensätzen reagierten: TruthfulQA und SciQ. TruthfulQA soll den Wahrheitsgehalt eines Modells messen (indem es sich auf häufige Missverständnisse und wörtliche Wahrheiten über die reale Welt stützt), während SciQ wissenschaftliche Prüfungsfragen enthält, die die sachliche Richtigkeit prüfen. Die Forscher fügten jeder Frage kurze Benutzerbiografien hinzu und variierten dabei drei Merkmale: Bildungsniveau, Englischkenntnisse und Herkunftsland.

Bei allen drei Modellen und beiden Datensätzen stellten die Forscher deutliche Einbußen bei der Genauigkeit fest, wenn Fragen von Benutzern kamen, die angeblich über eine geringere formale Bildung verfügten oder keine englischen Muttersprachler waren. Die Auswirkungen waren bei Nutzern am Schnittpunkt dieser Kategorien am ausgeprägtesten: Bei Nutzern mit geringerer formaler Bildung, die zudem kein Englisch als Muttersprache hatten, kam es zu den größten Rückgängen in der Antwortqualität.

Die Studie untersuchte auch, wie sich das Herkunftsland auf die Modellleistung auswirkte. Beim Testen von Benutzern aus den USA, dem Iran und China mit gleichwertigem Bildungshintergrund stellten die Forscher fest, dass insbesondere Claude 3 Opus für Benutzer aus dem Iran in beiden Datensätzen deutlich schlechter abgeschnitten hat.

„Wir sehen den größten Rückgang der Genauigkeit bei Benutzern, die kein Englisch als Muttersprache sprechen und weniger gebildet sind“, sagt Jad Kabbara, Forschungswissenschaftler am CCC und Mitautor des Artikels. „Diese Ergebnisse zeigen, dass sich die negativen Auswirkungen des Modellverhaltens in Bezug auf diese Benutzermerkmale in besorgniserregender Weise verstärken, was darauf hindeutet, dass solche Modelle, die in großem Maßstab eingesetzt werden, das Risiko bergen, schädliches Verhalten oder Fehlinformationen an diejenigen zu verbreiten, die es am wenigsten erkennen können.“

Ablehnungen und herablassende Sprache

Am auffälligsten waren vielleicht die Unterschiede darin, wie oft sich die Modelle weigerten, Fragen überhaupt zu beantworten. Beispielsweise weigerte sich Claude 3 Opus, quick 11 Prozent der Fragen für weniger gebildete, nicht englischsprachige Benutzer zu beantworten – im Vergleich zu nur 3,6 Prozent bei der Kontrollbedingung ohne Benutzerbiografie.

Als die Forscher diese Ablehnungen manuell analysierten, stellten sie fest, dass Claude bei weniger gebildeten Benutzern in 43,7 Prozent der Fälle mit herablassender, herablassender oder spöttischer Sprache reagierte, verglichen mit weniger als 1 Prozent bei hochgebildeten Benutzern. In einigen Fällen ahmte das Mannequin gebrochenes Englisch nach oder übernahm einen übertriebenen Dialekt.

Das Modell weigerte sich auch, Informationen zu bestimmten Themen speziell für weniger gebildete Benutzer aus dem Iran oder Russland bereitzustellen, einschließlich Fragen zu Atomkraft, Anatomie und historischen Ereignissen – obwohl es dieselben Fragen für andere Benutzer korrekt beantwortete.

„Dies ist ein weiterer Indikator dafür, dass der Alignment-Prozess Modelle dazu veranlassen könnte, bestimmten Benutzern Informationen vorzuenthalten, um sie möglicherweise nicht falsch zu informieren, obwohl das Modell eindeutig die richtige Antwort kennt und sie anderen Benutzern zur Verfügung stellt“, sagt Kabbara.

Echos menschlicher Voreingenommenheit

Die Ergebnisse spiegeln dokumentierte Muster menschlicher soziokognitiver Voreingenommenheit wider. Untersuchungen in den Sozialwissenschaften haben gezeigt, dass englische Muttersprachler Nicht-Muttersprachler oft als weniger gebildet, clever und kompetent wahrnehmen, unabhängig von ihrem tatsächlichen Fachwissen. Ähnliche voreingenommene Wahrnehmungen wurden bei Lehrern dokumentiert, die nicht englischsprachige Schüler beurteilen.

„Der Wert großer Sprachmodelle zeigt sich in ihrer außergewöhnlichen Akzeptanz durch Einzelpersonen und den enormen Investitionen, die in die Technologie fließen“, sagt Deb Roy, Professorin für Medienkunst und -wissenschaften, CCC-Direktorin und Mitautorin des Papiers. „Diese Studie ist eine Erinnerung daran, wie wichtig es ist, systematische Vorurteile kontinuierlich zu bewerten, die sich nonetheless und leise in diese Systeme einschleichen und bestimmten Gruppen unfairen Schaden zufügen können, ohne dass einer von uns sich dessen völlig bewusst ist.“

Die Auswirkungen sind besonders besorgniserregend, da Personalisierungsfunktionen – wie ChatGPTs Reminiscence, das Benutzerinformationen über Konversationen hinweg verfolgt – immer häufiger eingesetzt werden. Solche Merkmale bergen die Gefahr, dass bereits marginalisierte Gruppen unterschiedlich behandelt werden.

„LLMs wurden als Instrumente vermarktet, die einen gerechteren Zugang zu Informationen fördern und personalisiertes Lernen revolutionieren werden“, sagt Poole-Dayan. „Aber unsere Ergebnisse deuten darauf hin, dass sie tatsächlich bestehende Ungerechtigkeiten verschärfen könnten, indem sie systematisch Fehlinformationen bereitstellen oder bestimmten Benutzern die Beantwortung von Anfragen verweigern. Die Personen, die sich möglicherweise am meisten auf diese Instruments verlassen, könnten minderwertige, falsche oder sogar schädliche Informationen erhalten.“

Warum ist ein multimilitärischer Tech-Företag wie Apple nach der KI-Erfahrung?

2026 markiert das 50-jährige Jubiläum von Apples und beginnt mit der Planung. Mindestens 15 Jahre nach der Produkteinführung wurde mir eines der intensivsten Produkte in der modernen Apples-Geschichte zuteil.

Apple hat tatsächlich einen Fehler gemacht egna spåkmodeller – Sie benötigen ein 3-Millionen-Parameter-Modell, das Sie direkt auf den Server bringen und ein serverbasiertes Modell für Ihr Unternehmen erstellen können. Männer trots att the tekniskt sett har egen AI-teknik ligger de fortfarande rejält after konkurrenterna.

Varför Apple nutzt KI-Momentum

Sen molnsatsning och integritet-först: Apple priorisiert On-Gadget-AI und Personal Cloud Compute und wird daher für die Integration in den gesamten LLM-Bereich als konkurrenzfähiger Treiber verwendet. Dies bedeutet, dass das Modell nicht mehr benötigt wird und dass die erforderliche Leistung nicht gewährleistet ist.​

Bitte beachten Sie, dass die Anfangsbuchstaben folgender sind: Apple Intelligence verkaufte das A17 Professional oder die M-Serie, hat den verfügbaren Speicherplatz verloren und verfügt über einen „Marknadssynlig-Effekt“, der mit dem nächsten Konto verbunden ist. Um bis zum Jahr 2025 erfolgreich zu sein, wird die weltweite Einführung nicht mehr möglich sein.​

Externer Betreff: Apple unterstützt und unterstützt OpenAI, Anthropic und Google, um den Siri-Förderer anzusteuern und ihn auf einem neuen Modell zu präsentieren. Der Berichterstatter bemerkte, dass Google-Mitglieder Gemini mit der Planung beschäftigt haben und sich in den nächsten Generationen von Siri ernähren.

Ledarskap, omorganisationer och kvalitet: Sie erhalten eine Beschreibung innerhalb des Siri-Groups, die Organisation und die Bereitstellung von Hebeln, damit der Chefkoch sie erreichen kann.

Apple hat seine KI-Strategie im Jahr 2025 angekündigt, und Tim Prepare dinner hat gesagt, dass es sich bei Apple um eine radikale Herausforderung für die reguläre M&A-Strategie von Apple handelt. Darüber hinaus ist es wichtig, dass Sie eine interne Fortführungskonkurrenz durchführen, um dies zu verhindern.

Apples AI-Framtid: Kommandiert AI-bezogene Produkte und Produkte

Apple Intelligence blir kraftfullare

Äpfel sitzen auf künstlicher Intelligenz, sozusagen Apple Intelligence fortsätter att utvecklas snabbt. Im Laufe der Zeit im Jahr 2025 werden wir viele weitere Aktualisierungen vornehmen, damit das System nicht mehr verfügbar und verfügbar ist.

Bei der meisten verfügbaren Funktion handelt es sich um Visible Intelligence, die nicht identifiziert werden kann oder nicht, um sogar einen Kalender von einem Accomplice zu erhalten und Informationen über die Kamera zu erhalten. Für das iPhone 16 müssen Sie die Funktion aktivieren, indem Sie die Kamerasteuerung aktivieren.

Die neue Siri: Ein Recreation Changer im Jahr 2026

Der Grund dafür ist, dass es sich um eine neue Model von Siri handelt, die im Jahr 2026 veröffentlicht wurde. Es ist nur noch eine kurze Aktualisierung erforderlich, und es handelt sich um eine vollständige Transformation durch den Röstassistenten, die Apple mit der Zeit abgeschlossen hat.​

Bloomberg hat Apple gebeten, ein Produkt mit Google zu kaufen, das etwa 1 Million US-Greenback professional Jahr kostet, um eine Passversion des Gemini-Modells von Google zu erwerben. Denn das Modell hat 1,2 Milliarden Parameter und ist damit mehr als 150 Millionen Parameter wert.

Good Dwelling Show: Äpfel neue Kategorien

Mittlerweile sind die meisten neuen Produkte verfügbar Äpfel werden auf dem Show angezeigtwie geplant im Jahr 2026. Diese Apples sind auf Amazon Echo Present und Google Nest Hub verfügbar und werden in den nächsten zehn Jahren als Marktführer eingesetzt.​

Apple Imaginative and prescient Professional wird voraussichtlich im Jahr 2025 mit dem M5-Chip aufgerüstet. Der neue Prozessor verfügt über 50 Prozent sichere KI-Unterstützung und ermöglicht die Darstellung von Augmented-Actuality-Inhalten im Inneren.​

Apple hat für das Jahr 2026 eine KI-aktive intelligente Glasscheibe entwickelt. Diese Glasscheibe kommt mit einer Kamera, einem Mikrofon und einer Halterung, ähnlich wie Metas Ray-Ban-Glasscheibe, mit Unterstützung für den Siri-Assistenten.​

Es gibt Spekulationen darüber, ob Apple in eine Kamera integriert werden kann Apple TV Für FaceTime oder AI-Funktionen als Benutzeroberfläche.

MacBook-Serie mit KI-Enhance

Im Jahr 2026 kaufte Apple ein MacBook Air mit M5-Chip, ein MacBook Professional mit M5 Professional und M5 Max-Chip. Empfohlenes MacBook Professional-Modell mit M6 Professional- und M6 Max-Chip, integriertem Gehäuse, Show und OLED-Show.

Die Schlampe im Jahr 2025 und im Jahr 2026 conflict eine äußerst spannende Zeit für Apple-Followers und Technik-Enthusiasten. Wir können unsere leistungsstarken KI-Funktionen in allen Betriebssystemen mit dem M5-Chip und der Unterstützung von Apple Intelligence, der Siri-Steuerung durch das Gemini-Modell von Google, Apples intelligentem Show, dem iPhone, einem KI-aktivierten Glas und mehr nutzen.

Weitere Informationen:

1. MacRumors – Apple wird diese neuen Produkte im Jahr 2026 auf den Markt bringen
2. Wikipedia – Apple Intelligence

Maschinenlernende Modelle können die Entdeckung neuer Materialien durch Vorhersagen und Experimente beschleunigen. Die meisten Modelle werden heute jedoch nur einige spezifische Arten von Daten oder Variablen berücksichtigen. Vergleichen Sie das mit menschlichen Wissenschaftlern, die in einem kollaborativen Umfeld arbeiten und experimentelle Ergebnisse berücksichtigen, die breitere wissenschaftliche Literatur, Bildgebung und strukturelle Analyse, persönliche Erfahrung oder Instinct sowie Enter von Kollegen und Peer -Rezensenten.

Jetzt haben MIT -Forscher eine Methode zur Optimierung von Materialrezepten und Planungsexperimenten entwickelt, die Informationen aus verschiedenen Quellen wie Erkenntnissen aus der Literatur, chemischen Zusammensetzungen, mikrostrukturellen Bildern und vielem mehr enthalten. Der Ansatz ist Teil einer neuen Plattform namens Copilot für experimentelle Wissenschaftler (CREST), die auch Robotergeräte für hochdurchsatz-Materialtests verwendet.

Menschliche Forscher können sich mit dem System in der natürlichen Sprache unterhalten, ohne dass das System erforderlich ist, und das System macht seine eigenen Beobachtungen und Hypothesen auf dem Weg. Mit Kameras und visuellen Sprachmodellen können das System auch Experimente überwachen, Probleme erkennen und Korrekturen vorschlagen.

„Im Bereich der KI für die Wissenschaft ist der Schlüssel, neue Experimente zu entwerfen“, sagt Ju Li, Professor für Energy Engineering Carl Richard Soderberg, Ju Li. „Wir verwenden multimodales Suggestions – beispielsweise Informationen aus der vorherigen Literatur darüber, wie sich Palladium in Brennstoffzellen bei dieser Temperatur und menschlichem Suggestions verhalten hat, um experimentelle Daten zu ergänzen und neue Experimente zu entwerfen. Wir verwenden auch Roboter, um die Struktur des Supplies zu synthetisieren und zu charakterisieren und die Leistung zu testen.“

Das System wird in a beschrieben Papier veröffentlicht in Natur. Die Forscher verwendeten Crest, um mehr als 900 Chemikalien zu erforschen und 3.500 elektrochemische Exams durchzuführen, was zur Entdeckung eines Katalysatormaterials führte, das in einer Brennstoffzelle, die mit Formatsalz zur Erzeugung von Elektrizität läuft, die Rekorddichte lieferte.

Zu Li in der Zeitung als erste Autoren, PhD-Scholar Zhen Zhang, Zhichu Ren PhD ’24, PhD-Scholar Chia-Wei Hsu und Postdoc Weibin Chen. Ihre Co -Autoren sind MIT Assistenzprofessor Iwnetim Abate; Affiliate Professor Pulkit Agrawal; JR East Professor für Ingenieurwesen Yang Shao-Horn; MIT.NANO -Forscher Aubrey Penn; Zhangweig PhD ’25, Hongbin Xu PhD ’25; Daniel Zheng PhD ’25; MIT -Doktoranden Shuhan Miao und Hugh Smith; MIT Postdocs Yimeng Huang, Weiyin Chen, Yungsheng Tian, ​​Yifan Gao und Yaoshen Niu; ehemaliger MIT Postdoc Sipei Li; und Mitarbeiter wie Chi-Feng Lee, Yu-Cheg Shao, Hsiao-Tsu Wang und Ying-Rui Lu.

Ein intelligenteres System

Materialwissenschaftsexperimente können zeitaufwändig und teuer sein. Sie verlangen Forscher, sorgfältig Workflows zu entwerfen, neues Materials zu erstellen und eine Reihe von Exams und Analysen durchzuführen, um zu verstehen, was passiert ist. Diese Ergebnisse werden dann verwendet, um zu entscheiden, wie das Materials verbessert werden kann.

Um den Prozess zu verbessern, haben sich einige Forscher einer als aktiven Lernen bezeichneten Strategie für maschinelles Lernen zugewandt, um frühere experimentelle Datenpunkte effizient zu nutzen und diese Daten zu untersuchen oder auszunutzen. In Kombination mit einer statistischen Technik, die als Bayesian Optimization (BO) bekannt ist, hat das aktive Lernen Forschern geholfen, neue Materialien für Batterien und fortschrittliche Halbleiter zu identifizieren.

„Die Bayesian -Optimierung ist wie Netflix, der den nächsten Movie empfiehlt, der auf Ihrer Betrachtungsgeschichte angesehen wird, außer stattdessen empfiehlt es das nächste Experiment“, erklärt Li. „Aber die grundlegende Bayesian-Optimierung ist zu simpel. Sie verwendet einen Boxed-In-Design-Raum. Wenn ich additionally sage, dass ich Platin, Palladium und Eisen verwenden werde, ändert es nur das Verhältnis dieser Elemente in diesem kleinen Raum. Aber echte Materialien haben viel mehr Abhängigkeiten, und Bo wird oft verloren.“

Die meisten aktiven Lernansätze stützen sich auch auf einzelne Datenströme, die nicht alles erfassen, was in einem Experiment vor sich geht. Um rechnerische Systeme mit menschlichem Wissen auszustatten und gleichzeitig die Geschwindigkeit und Kontrolle automatisierter Systeme zu nutzen, bauten Li und seine Mitarbeiter Crest auf.

Crests Roboterausrüstung umfasst einen Roboter für Flüssigkeiten, ein Karbauthermal-Schocksystem zur schnellen Synthese von Materialien, eine automatisierte elektrochemische Workstation für Exams, Charakterisierungsgeräte, einschließlich automatisierter Elektronenmikroskopie und optischer Mikroskopie sowie Hilfsgeräte wie Pumpen und Gasventile, die auch remotend kontrolliert werden können. Viele Verarbeitungsparameter können ebenfalls abgestimmt werden.

Mit der Benutzeroberfläche können Forscher mit Crest chatten und ihr aktives Lernen nutzen, um vielversprechende Materialrezepte für verschiedene Projekte zu finden. Crest kann bis zu 20 Vorläufermoleküle und Substrate in sein Rezept enthalten. Um Materialdesigns zu leiten, suchen Crests Modelle durch wissenschaftliche Papiere nach Beschreibungen von Elementen oder Vorläufermolekülen, die nützlich sein könnten. Wenn menschliche Forscher Crest anweisen, neue Rezepte zu verfolgen, startet es eine Roboter -Symphonie der Probenvorbereitung, -charakterisierung und -Exams. Der Forscher kann Crest auch bitten, eine Bildanalyse aus der Bildgebung von Rasterelektronenmikroskopie, Röntgenbeugung und anderen Quellen durchzuführen.

Informationen aus diesen Prozessen werden verwendet, um die aktiven Lernmodelle zu trainieren, die sowohl Literaturwissen als auch aktuelle experimentelle Ergebnisse verwenden, um weitere Experimente vorzuschlagen und die Entdeckung der Materialien zu beschleunigen.

„Für jedes Rezept verwenden wir frühere Literaturtext oder Datenbanken, und es erzeugt diese riesigen Darstellungen jedes Rezepts, die auf der vorherigen Wissensbasis basieren, bevor das Experiment überhaupt durchgeführt wird“, sagt Li. „Wir führen die Hauptkomponentenanalyse in diesem Wissen aus, um einen reduzierten Suchraum zu erhalten, der den größten Teil der Leistungsvariabilität erfasst. Dann verwenden wir die Bayesian -Optimierung in diesem reduzierten Raum, um das neue Experiment zu entwerfen. Nach dem neuen Experiment füttern wir neu erfasste multimodale experimentelle Daten und das menschliche Suggestions in ein großes Sprachmodell, um das Wissen zu vergrößern.

Materialswissenschaftsexperimente können auch Herausforderungen mit der Reproduzierbarkeit gegenüberstehen. Um das Downside anzugehen, überwacht Crest seine Experimente mit Kameras, sucht nach potenziellen Problemen und schlägt Lösungen über Textual content und Stimme für menschliche Forscher vor.

Die Forscher verwendeten Crest, um ein Elektrodenmaterial für eine fortschrittliche Artwork von Brennstoffzelle mit hoher Dichte zu entwickeln, die als Direktformat-Brennstoffzelle bekannt ist. Nachdem Crest mehr als 900 Chemikalien über drei Monate lang untersucht hatte, entdeckte er ein Katalysatormaterial aus acht Elementen, das eine 9,3-fache Verbesserung der Stromdichte professional Greenback über reinem Palladium, einem teuren Edelmetall, erzielte. In weiteren Exams wurde das Crests-Materials verwendet, um eine Rekord-Leistungsdichte für eine funktionierende Direktformat-Brennstoffzelle zu liefern, obwohl die Zelle nur ein Viertel der Edelmetalle früherer Geräte enthielt.

Die Ergebnisse zeigen das Potenzial von Crest, Lösungen für reale Energieprobleme zu finden, die die Materialien und die Ingenieurgemeinschaft seit Jahrzehnten plagen.

„Eine bedeutende Herausforderung für Kraftstoffzellkatalysatoren ist die Verwendung von Edelmetall“, sagt Zhang. „Für Brennstoffzellen haben Forscher verschiedene Edelmetalle wie Palladium und Platinum verwendet. Wir haben einen Multielement-Katalysator verwendet, der auch viele andere billige Elemente einbezieht, um die optimale Koordinationsumgebung für katalytische Aktivität und Resistenz gegen Vergiftungsarten wie Kohlenmonoxid zu schaffen und adsorbierte Wasserstoffatom zu adsorieren.

Ein hilfreicher Assistent

Schon früh wurde eine schlechte Reproduzierbarkeit zu einem Hauptproblem, das die Fähigkeit der Forscher, ihre neue aktive Lerntechnik für experimentelle Datensätze durchzuführen, einschränkte. Materialeigenschaften können durch die Artwork und Weise beeinflusst werden, wie die Vorläufer gemischt und verarbeitet werden, und eine beliebige Anzahl von Problemen kann subtil die experimentellen Bedingungen verändern und sorgfältig inspiziert werden, um zu korrigieren.

Um den Prozess teilweise zu automatisieren, haben die Forscher Pc -Imaginative and prescient- und Imaginative and prescient -Sprachmodelle mit Domänenwissen aus der wissenschaftlichen Literatur gekoppelt, die es dem System ermöglichten, die Quellen der Nichtproduktion zu hypothetieren und Lösungen vorzuschlagen. Beispielsweise können die Modelle bemerken, wenn eine Millimeter-Größe in der Kind einer Probe vorliegt oder wenn eine Pipette etwas nicht an der Stelle bewegt. Die Forscher haben einige Vorschläge des Modells aufgenommen, was zu einer verbesserten Konsistenz führte, was darauf hindeutet, dass die Modelle bereits gute experimentelle Assistenten machen.

Die Forscher stellten fest, dass Menschen in ihren Experimenten immer noch den größten Teil des Debuggens durchführten.

„Crest ist ein Assistent, kein Ersatz für menschliche Forscher“, sagt Li. „Menschliche Forscher sind immer noch unverzichtbar. Tatsächlich verwenden wir eine natürliche Sprache, damit das System erklären kann, was es tut, und Beobachtungen und Hypothesen zu präsentieren. Dies ist jedoch ein Schritt in Richtung flexiblerer, selbstfahrender Labors.“

Ein großes Sprachmodell (LLM), das für Behandlungsempfehlungen eingesetzt wird, kann durch nichtklinische Informationen in Patientennachrichten wie Tippfehler, zusätzlichen Weißraum, fehlende Geschlechtsmarkierungen oder die Verwendung von unsicherer, dramatischer und informeller Sprache nach einer Studie von MIT -Forschern gestolpert werden.

Sie stellten fest, dass ein stilistischer oder grammatikalischer Änderungen an Nachrichten die Wahrscheinlichkeit erhöht, dass ein LLM einen Patienten selbst um seinen gemeldeten Gesundheitszustand verwaltet, anstatt für einen Termin einzutreten, selbst wenn dieser Affected person eine medizinische Versorgung anstreben sollte.

Ihre Analyse ergab auch, dass diese nichtklinischen Variationen des Textes, die nachahmen, wie Menschen wirklich kommunizieren, eher die Behandlungsempfehlungen eines Modells für weibliche Patienten verändern, was zu einem höheren Prozentsatz der Frauen führt, denen laut menschlichen Ärzten fälschlicherweise geraten wurde, keine medizinische Versorgung zu suchen.

Diese Arbeit „ist ein starker Beweis dafür, dass Modelle vor der Verwendung in der Gesundheitsversorgung geprüft werden müssen – eine Umgebung, in der sie bereits verwendet werden“, sagt Marzyh Ghassemi, Affiliate Professor am MIT Division of Electrical Engineering and Info (EWCS), Mitglied des Instituts für medizinische Ingenieurwissenschaften sowie des Labors für Informations- und Entscheidungssysteme sowie Senior -Autoren der Studie.

Diese Ergebnisse zeigen, dass LLMs nichtklinische Informationen für die klinische Entscheidungsfindung auf bisher unbekannte Weise berücksichtigen. Es bringt die Notwendigkeit strengerer Studien zu LLMs ans, bevor sie für Anwendungen mit hohen Einsätzen eingesetzt werden, z. B. Behandlungsempfehlungen, so die Forscher.

„Diese Modelle werden häufig in Fragen der medizinischen Untersuchung ausgebildet und getestet, aber dann in Aufgaben verwendet, die ziemlich weit davon entfernt sind, wie beispielsweise die Schwere eines klinischen Falls.

Sie werden an der verbunden Papierdie auf der ACM -Konferenz über Equity, Rechenschaftspflicht und Transparenz von Doktoranden Eileen Pan und Postdoc Walter Gerych vorgestellt wird.

Gemischte Nachrichten