Containerbilder sollen alles vereinfachen. Sie schnappen sich eins, starten es und Ihre Anwendung wird ausgeführt. Es sollte keine komplizierte Einrichtung, keine Reibung und keine Überraschungen geben. Das ist meistens die Erwartung. Was jedoch eher unsichtbar bleibt, ist die Menge an Gepäck, die dieser Komfort mit sich bringt. Ein Container ist nie nur Ihre Anwendung. Es handelt sich um eine Ansammlung von Abhängigkeiten, Systemkomponenten und Construct-Entscheidungen, die Sie nicht persönlich getroffen haben. Genau hier beginnt der Ärger, besonders wenn Einhaltung von Software program-Containern wird zu etwas, mit dem Sie sich später befassen möchten.

Kein Staff macht sich zum Ziel, Schwachstellen einzuführen. Das Risiko schleicht sich normalerweise durch Annahmen ein. Ein Bild sieht seriös, weit verbreitet oder offiziell aus, daher erscheint es unnötig, es in Frage zu stellen. Doch dieses Vertrauen ist oft fehl am Platz.

Die Schichten, an die man selten denkt

Jedes Containerbild besteht aus Ebenen. Einige sind offensichtlich. Ihr Code, Ihre Laufzeit, Ihre Kernbibliotheken. Andere werden stillschweigend über Basisimages vererbt. Diese vererbten Schichten verdienen weitaus mehr Aufmerksamkeit, als sie normalerweise erhalten. Sie können veraltete Pakete, ungenutzte Dienstprogramme oder Abhängigkeiten mit bekannten Schwachstellen enthalten. Nichts davon ist sofort sichtbar, wenn Sie ein Bild abrufen und ausführen, wodurch sich der gesamte Vorgang täuschend sicher anfühlt. Die Realität ist weniger komfortabel. Sie vertrauen auf Software program, die Sie nicht im Element zusammengestellt, überprüft oder geprüft haben.

Warum Popularität irreführend sein kann

Es ist sinnvoll, Bildern zu vertrauen, die viele andere verwenden. Die weit verbreitete Akzeptanz deutet auf Zuverlässigkeit hin. Leider folgt die Sicherheit nicht immer der Beliebtheit. Selbst bekannte Bilder können mit der Zeit unnötige Komponenten ansammeln. Eine einzige veraltete Bibliothek oder ein vergessenes Paket reicht aus, um Aufmerksamkeit zu erregen. Dies sind selten dramatische Mängel. Häufiger handelt es sich um kleine Probleme, die bestehen bleiben, weil nichts laut genug kaputt geht, um Aufmerksamkeit zu erregen. Unterdessen bleibt das Ziehen eines Bildes mühelos. Eine ordnungsgemäße Inspektion hingegen erfordert Zielstrebigkeit und Zeit. Welche Aufgabe wird unter Fristen priorisiert?

Wie aus kleinen Problemen ernste Risiken werden

Schwachstellen in Bildern bleiben nicht lange abstrakt. Sie sind direkt auf betriebliche Konsequenzen zurückzuführen. Es ist wie eine Krypto-Börse, die in Containern betrieben wird. Eine tief in einem Picture eingebettete anfällige Abhängigkeit könnte es Angreifern ermöglichen, wise Daten abzufangen oder Prozesse zu manipulieren. Die Plattform selbst magazine zwar sorgfältig entworfen sein, doch die Schwäche ist auf etwas Vererbtes zurückzuführen, das weitgehend ignoriert wird.

Das gleiche Muster erscheint mit Blockchain-Knoten und Kryptowährungs-Wallets. Container sorgen für Portabilität und Konsistenz, verbreiten aber auch alle im Picture vorhandenen Fehler. Eine veraltete SSL-Komponente oder ein übrig gebliebenes Debugging-Dienstprogramm magazine trivial erscheinen. In der Praxis erweitert es die Angriffsfläche.

Im Maßstab vervielfacht sich die Wirkung. Mining-Umgebungen, verteilte Workloads, automatisierte Bereitstellungen. Ein einmal eingeführtes kompromittiertes Bild kann sich schneller verbreiten, als viele Groups erwarten.

Das Drawback des „Additional-Alles“

Überraschend viele Bilder enthalten weit mehr als nötig. Entwicklungskomfort, Diagnosetools und ungenutzte Shells. Für sich genommen fühlen sich diese Zusätze harmlos an. Zusammengenommen führen sie zu Komplexität. Mehr Software program bedeutet mehr Abhängigkeiten. Mehr Abhängigkeiten bedeuten mehr Patches, mehr Überwachung und mehr Fehlermöglichkeiten. Jede zusätzliche Komponente wird zu etwas, das auf unbestimmte Zeit gesichert werden muss. Minimalismus ist in diesem Zusammenhang nicht ästhetisch. Es ist defensiv.

Standardvorgaben sind nicht impartial

In Bildern eingebettete Konfigurationsentscheidungen haben reale Konsequenzen. Ein Ausfall könnte unbemerkt Dienste offenlegen, Ports aktivieren oder Einschränkungen lockern. Wenn diese Einstellungen nie überprüft werden, könnten sie zu einer stillen Belastung werden. Was als geringfügiges ererbtes Verhalten erscheint, kann sich zu einer bedeutsamen Schwäche entwickeln. Die Gefahr steigt in Umgebungen, in denen Bilder über mehrere Arbeitslasten hinweg wiederholt wiederverwendet werden. Ein fehlerhafter Zahlungsausfall kann überraschend weit reichen.

Infrastruktur hat Grenzen

Moderne Orchestrierungsplattformen sind leistungsstark, können unsichere Bilder jedoch nicht kompensieren. Ein verhärteter Kubernetes-Cluster Läuft immer noch mit allen Containern, die Sie ihm zuführen. Diese Trennung ist wichtig. Plattformsicherheit und Artefaktsicherheit hängen zusammen und sind dennoch unterschiedlich. Starke Kontrollen beseitigen keine Schwachstellen, die bereits in Bildern vorhanden sind. Scan-Instruments helfen natürlich. Dennoch sind sie auf eine konsequente Nutzung und rechtzeitige Sanierung angewiesen. Aufgeschobene oder ignorierte Warnungen bieten wenig wirklichen Schutz.

Überdenken, was ein Bild darstellt

Die Verbesserung der Containersicherheit beginnt mit einem Perspektivwechsel. Bilder sind keine statischen Belongings. Es handelt sich um sich entwickelnde Artefakte, die einer genauen Prüfung, Wartung und bewussten Designentscheidungen bedürfen. Die Reduzierung unnötiger Komponenten, das Verständnis vererbter Abhängigkeiten und die Aufrechterhaltung aller Aktualität wirken sich direkt auf das Risiko aus. Aus einem einfachen Grund ist es in der Regel einfacher, über kleinere Bilder nachzudenken. Es gibt weniger versteckte Komplexität.

Genau das ist die Philosophie hinter Minimal Picture Providern. Minimus.io konzentriert sich beispielsweise auf die Erstellung von Container-Photos, die darauf ausgelegt sind, überschüssige Software program zu begrenzen und die Gefährdung durch häufige Schwachstellen und Gefährdungen zu reduzieren. Die Logik ist erfrischend einfach. Entfernen Sie, was keinen Zweck erfüllt, und Sie beseitigen potenzielle Fehlerquellen.

Warum es wichtig ist

Container stehen im Mittelpunkt moderner Infrastruktur. Ihre Schnelligkeit und Flexibilität sind unbestreitbar. Mit der gleichen Geschwindigkeit können jedoch versteckte Schwachstellen genauso effizient skaliert werden wie gesunde Workloads. Ein Bild, das Sie nie untersuchen, ist nicht nur eine technische Abkürzung. Es handelt sich um eine Entscheidung mit Auswirkungen auf die Sicherheit. Jede Abhängigkeit, Schicht und Konfigurationsauswahl trägt zu Ihrer Gesamtpräsenz bei.

Wenn Bilder als Vermögenswerte behandelt werden, die eine Betrachtung und nicht als Annahmen verdienen, werden Systeme vorhersehbarer, stabiler und letztendlich widerstandsfähiger. Und im Sicherheitsbereich ist Vorhersehbarkeit selten etwas, das man bereut.

---

Hervorgehobener Bildnachweis

Viele Unternehmen verzögern Systemaktualisierungen, weil vorhandene Instruments funktionsfähig erscheinen. Berichte werden weiterhin generiert, Daten fließen weiterhin und tägliche Aufgaben werden erledigt. Finanzanalysen erzählen eine andere Geschichte. Wenn Führungskräfte über die oberflächliche Leistung hinausblicken, stellen sie oft fest, dass veraltete Systeme stillschweigend Ressourcen verbrauchen und verzerren Entscheidungsfindungund langsames Wachstum in einer Weise, die ohne tiefergehende Analyse schwer zu erkennen ist.

Der Produktivitätsverlust ist offensichtlich

Eine der häufigsten Erkenntnisse aus der Finanzanalyse ist Produktivitätsverlust. Ältere Systeme sind häufig auf manuelle Problemumgehungen angewiesen. doppelte Dateneingabeund tabellenbasierte Korrekturen. Diese Aufgaben verlängern die einzelnen Arbeitsabläufe um Minuten, aber Analysen zeigen, wie sich diese Minuten über Groups und Monate hinweg summieren.

Zeiterfassungs- und Kostenzuordnungsdaten zeigen oft, dass Mitarbeiter viel Zeit damit verbringen, Daten abzugleichen, Fehler zu korrigieren oder Informationen zwischen Systemen zu exportieren, die nicht intestine integriert sind. Die finanziellen Auswirkungen zeigen sich in höheren Arbeitskosten ohne entsprechende Produktionssteigerung, eine Lücke, die jahrelang unbemerkt bestehen bleiben kann.

Verzögerte Entscheidungen haben echtes finanzielles Gewicht

In datengesteuerten Umgebungen kommt es auf Geschwindigkeit an. Finanzanalysen verdeutlichen, wie veraltete Systeme den Zugriff auf genaue Informationen verlangsamen. Wenn die Erstellung von Berichten Tage statt Minuten dauert, basieren Entscheidungen auf historischen Momentaufnahmen und nicht auf aktuellen Bedingungen.

Diese Verzögerung wirkt sich auf die Preisgestaltung, die Bestandsverwaltung, den Investitionszeitpunkt und die Risikobewertung aus. Analysemodelle zeigen häufig verpasste Umsatzmöglichkeiten aufgrund verzögerter Erkenntnisse. Während diese Verluste selten als Einzelposten erscheinen, werden sie deutlich, wenn man Prognosegenauigkeit und Reaktionszeiten über Systemgenerationen hinweg vergleicht.

Fehlerraten und Compliance-Gefährdung

Bei älteren Plattformen mangelt es oft an automatisierter Validierung und Echtzeitüberwachung. Finanzanalysen können quantifizieren, wie die Fehlerraten steigen, wenn Systeme stark von manuellen Prozessen abhängen. Selbst kleine Ungenauigkeiten verursachen nachgelagerte Kosten durch Nacharbeiten, Audit-Anpassungen oder Compliance-Überprüfungen.

Für regulierte Branchen werden diese Risiken immer gravierender. Analytics-Dashboards kennzeichnen häufig Muster wie wiederkehrende Korrekturen oder verspätete Einreichungen, die auf Systemeinschränkungen zurückzuführen sind. Die Kosten für die Lösung dieser Probleme übersteigen in der Regel die Modernisierungskosten, bleiben jedoch verborgen, bis sie direkt gemessen werden.

Opportunitätskosten begrenzter Skalierbarkeit

Wenn Unternehmen wachsen, fällt es älteren Systemen schwer, sich zu skalieren. Finanzanalysen helfen dabei, die Kosten von Wachstumsreibungen zu isolieren. Dazu gehören ein langsameres Onboarding neuer Kunden, eine verzögerte Marktexpansion oder die Unfähigkeit, neue Dienste zu unterstützen.

Wenn Analytics die Leistung verschiedener Geschäftsbereiche mithilfe verschiedener Instruments vergleicht, wird die Lücke deutlich. Moderne Plattformen unterstützen erweiterte Prognosen, Automatisierung und Szenarioanalysen, mit denen ältere Systeme nicht mithalten können. Diese Unterschiede führen zu einer schnelleren Ausführung und einer besseren Kapitalnutzung.

Fragmentierte Daten verringern die strategische Klarheit

Getrennte Systeme erzeugen fragmentierte Datenansichten. Die Finanzanalyse zeigt, wie diese Fragmentierung die strategische Planung schwächt. Führungskräfte sehen möglicherweise Umsatztrends bei einem Device und Kostentreiber bei einem anderen, ohne eine einheitliche Perspektive zu haben.

Integrierte Plattformen, einschließlich Datenlösungen für die Vermögensverwaltungermöglichen es Unternehmen, Finanz-, Betriebs- und Kundendaten in einer einzigen Umgebung zu verbinden. Analysen aus diesen Systemen liefern klarere Einblicke in Rentabilitätstreiber und langfristige Leistungstrends, die isolierte Instruments verdecken.

Messung der tatsächlichen Kosten einer Verzögerung

Die tatsächlichen Kosten, die entstehen, wenn das System nicht gewechselt wird, erscheinen selten als einzelne Zahl. Finanzanalysen führen diese versteckten Kosten zusammen, indem sie verlorene Zeit, verpasste Chancen, erhöhte Risiken und langsameres Wachstum quantifizieren. Insgesamt überwiegen die Kosten einer Verzögerung oft die für die Änderung erforderlichen Investitionen.

Unternehmen, die sich zur Bewertung der Systemleistung auf Analysen verlassen, erhalten ein klareres Bild davon, wo der Wert sinkt. Mit dieser Transparenz können Führungskräfte über Annahmen hinausgehen und fundierte Entscheidungen zur Modernisierung treffen, die Genauigkeit, Agilität und langfristige Belastbarkeit unterstützen. Weitere Informationen finden Sie in der Infografik unten.

ist der Teil von a Reihe von Beiträgen zum Thema Analyse und Optimierung von PyTorch-Modellen. Während der gesamten Serie haben wir uns für die Verwendung von ausgesprochen PyTorch-Profiler in der Entwicklung von KI-Modellen und demonstrierte die potenziellen Auswirkungen der Leistungsoptimierung auf die Geschwindigkeit und die Kosten der Ausführung von KI/ML-Workloads. Ein häufiges Phänomen, das wir beobachtet haben, ist, wie scheinbar harmloser Code die Laufzeitleistung beeinträchtigen kann. In diesem Beitrag untersuchen wir einige der Nachteile, die mit der naiven Verwendung von Tensoren mit variabler Kind verbunden sind – Tensoren, deren Kind von vorherigen Berechnungen und/oder Eingaben abhängt. Obwohl dies nicht auf alle Situationen anwendbar ist, gibt es Zeiten, in denen die Verwendung von Tensoren mit variabler Kind vermieden werden kann – obwohl dies möglicherweise auf Kosten zusätzlicher Rechenleistung und/oder Speicher geht. Wir werden die Kompromisse dieser Alternativen anhand einer Spielzeugimplementierung der Datenerfassung in PyTorch demonstrieren.

Drei Nachteile variabel geformter Tensoren

Wir motivieren die Diskussion, indem wir drei Nachteile der Verwendung von Tensoren mit variabler Kind aufzeigen:

Host-Gerät-Synchronisierungsereignisse

In einem idealen Szenario können CPU und GPU asynchron parallel laufen, wobei die CPU die GPU kontinuierlich mit Eingabebeispielen versorgt, den erforderlichen GPU-Speicher zuweist und GPU-Rechenkerne lädt und die GPU die geladenen Kernel auf den bereitgestellten Eingaben unter Verwendung des zugewiesenen Speichers ausführt. Das Vorhandensein dynamisch geformter Tensoren macht dieser Parallelität einen Strich durch die Rechnung. Um die entsprechende Speichermenge zuzuweisen, muss die CPU darauf warten, dass die GPU die Kind des Tensors meldet, und dann muss die GPU darauf warten, dass die CPU den Speicher zuweist und mit dem Laden des Kernels fortfährt. Der Overhead dieses Synchronisierungsereignisses kann zu einem Rückgang der GPU-Auslastung und einer langsameren Laufzeitleistung führen.

Ein Beispiel dafür haben wir gesehen Teil drei Teil dieser Serie, als wir eine naive Umsetzung des Gemeinsamen untersuchten Kreuzentropieverlust Dazu gehörten Anrufe an Torch.nonzero Und Taschenlampe.einzigartig. Beide APIs geben Tensoren mit Formen zurück, die dynamisch und vom Inhalt der Eingabe abhängig sind. Wenn diese Funktionen auf der GPU ausgeführt werden, tritt ein Host-Gerät-Synchronisierungsereignis auf. Im Fall der Kreuzentropieverlusthaben wir die Ineffizienz durch die Verwendung von entdeckt PyTorch-Profiler und konnten es leicht mit einer alternativen Implementierung überwinden, die die Verwendung von Tensoren mit variabler Kind vermeidet und eine viel bessere Laufzeitleistung zeigte.

Diagrammerstellung

In einem letzter Beitrag Wir haben die Leistungsvorteile der Bewerbung untersucht just-in-time (JIT)-Kompilierung mit der Torch.compile Operator. Eine unserer Beobachtungen warfare, dass die Diagrammerstellung viel bessere Ergebnisse lieferte, wenn das Diagramm statisch warfare. Das Vorhandensein dynamischer Formen im Diagramm schränkt den Umfang der Optimierung durch Kompilierung ein: In einigen Fällen schlägt sie vollständig fehl; in anderen führt es zu geringeren Leistungssteigerungen. Die gleichen Implikationen gelten auch für andere Formen der Diagrammerstellung, wie z XLA, ONNX, OpenVINOUnd TensorRT.

Datenstapelung

Eine weitere Optimierung, die uns in mehreren unserer Beiträge begegnet ist (z. B. Hier) ist Probenbatchierung. Die Stapelverarbeitung verbessert die Leistung hauptsächlich auf zwei Arten:

1. Reduzierung des Overheads beim Laden des Kernels: Anstatt die für die Berechnungspipeline erforderlichen GPU-Kernel einmal professional Eingabebeispiel zu laden, kann die CPU die Kernel einmal professional Stapel laden.
2. Maximierung der Parallelisierung über Recheneinheiten hinweg: GPUs sind hochparallele Rechenmaschinen. Je mehr wir die Berechnungen parallelisieren können, desto stärker können wir die GPU auslasten und ihre Auslastung steigern. Durch die Stapelverarbeitung können wir den Grad der Parallelisierung potenziell um den Faktor der Stapelgröße erhöhen.

Trotz ihrer Nachteile ist die Verwendung von Tensoren mit variabler Kind oft unvermeidbar. Aber manchmal können wir unsere Modellimplementierung ändern, um sie zu umgehen. Manchmal sind diese Änderungen unkompliziert (wie im Beispiel des Kreuzentropieverlusts). In anderen Fällen ist möglicherweise etwas Kreativität erforderlich, um eine andere Sequenz von PyTorch-APIs mit fester Kind zu entwickeln, die das gleiche numerische Ergebnis liefern. Oftmals kann dieser Aufwand zu erheblichen Vorteilen bei Laufzeit und Kosten führen.

In den nächsten Abschnitten werden wir die Verwendung von variablen Tensoren im Kontext der Datenabtastoperation untersuchen. Wir beginnen mit einer trivialen Implementierung und analysieren deren Leistung. Wir werden dann eine GPU-freundliche Different vorschlagen, die die Verwendung von Tensoren mit variabler Kind vermeidet.

Um unsere Implementierungen zu vergleichen, verwenden wir eine Amazon EC2 g6e.xlarge mit einem NVIDIA L40S Ausführen eines AWS Deep Studying AMI (DLAMI) mit PyTorch (2.8). Der Code, den wir teilen, ist für Demonstrationszwecke gedacht. Bitte verlassen Sie sich nicht auf die Genauigkeit oder Optimalität. Bitte interpretieren Sie unsere Erwähnung eines Frameworks, einer Bibliothek oder einer Plattform nicht als Befürwortung ihrer Verwendung.

Stichprobenerhebung in KI-Modell-Workloads

Im Kontext dieses Beitrags bezieht sich Stichprobe auf die Auswahl einer Teilmenge von Elementen aus einer großen Menge von Kandidaten zum Zwecke der Recheneffizienz, des Ausgleichs von Datentypen oder der Regularisierung. Stichproben sind in vielen KI/ML-Modellen üblich, beispielsweise in Erkennungs-, Rating- und kontrastiven Lernsystemen.

Wir definieren eine einfache Variation des Stichprobenproblems: Gegeben sei eine Liste von N Tensoren mit jeweils einer binären Bezeichnung werden wir gebeten, eine Teilmenge davon zurückzugeben Ok Tensoren, die sowohl constructive als auch adverse Beispiele in zufälliger Reihenfolge enthalten. Wenn die Eingabeliste genügend Beispiele für jedes Etikett enthält (Ok/2), sollte die zurückgegebene Teilmenge gleichmäßig aufgeteilt sein. Fehlen Stichproben einer Artwork, sollten diese durch Stichproben der zweiten Artwork aufgefüllt werden.

Der folgende Codeblock enthält eine PyTorch-Implementierung unserer Sampling-Funktion. Die Umsetzung orientiert sich am Populären Detectron2 Bibliothek (z. B. siehe Hier Und Hier). Für die Experimente in diesem Beitrag legen wir das Stichprobenverhältnis fest 1:10.

import torch

INPUT_SAMPLES = 10000
SUB_SAMPLE = INPUT_SAMPLES // 10
FEATURE_DIM = 16

def sample_data(input_array, labels):
    gadget = labels.gadget
    constructive = torch.nonzero(labels == 1, as_tuple=True)(0)
    adverse = torch.nonzero(labels == 0, as_tuple=True)(0)
    num_pos = min(constructive.numel(), SUB_SAMPLE//2)
    num_neg = min(adverse.numel(), SUB_SAMPLE//2)
    if num_neg < SUB_SAMPLE//2:
        num_pos = SUB_SAMPLE - num_neg
    elif num_pos < SUB_SAMPLE//2:
        num_neg = SUB_SAMPLE - num_pos

    # randomly choose constructive and adverse examples
    perm1 = torch.randperm(constructive.numel(), gadget=gadget)(:num_pos)
    perm2 = torch.randperm(adverse.numel(), gadget=gadget)(:num_neg)

    pos_idxs = constructive(perm1)
    neg_idxs = adverse(perm2)

    sampled_idxs = torch.cat((pos_idxs, neg_idxs), dim=0)
    rand_perm = torch.randperm(SUB_SAMPLE, gadget=labels.gadget)
    sampled_idxs = sampled_idxs(rand_perm)
    return input_array(sampled_idxs), labels(sampled_idxs)

Leistungsanalyse mit PyTorch Profiler

Auch wenn die Verwendung dynamischer Formen nicht sofort offensichtlich ist, ist sie in der PyTorch Profiler Hint-Ansicht leicht zu erkennen. Wir verwenden die folgende Funktion, um PyTorch Profiler zu aktivieren:

def profile(fn, enter, labels):
    
    def export_trace(p):
        p.export_chrome_trace(f"{fn.__name__}.json")
        
    with torch.profiler.profile(
            actions=(torch.profiler.ProfilerActivity.CPU,
                        torch.profiler.ProfilerActivity.CUDA),
            with_stack=True,
            schedule=torch.profiler.schedule(wait=0, warmup=10, lively=5),
            on_trace_ready=export_trace
    ) as prof:
        for _ in vary(20):
            fn(enter, labels)
            torch.cuda.synchronize()  # specific sync for hint readability
            prof.step()

# create random enter
input_samples = torch.randn((INPUT_SAMPLES, FEATURE_DIM), gadget='cuda')
labels = torch.randint(0, 2, (INPUT_SAMPLES,), 
                       gadget='cuda', dtype=torch.int64)

# run with profiler
profile(sample_data, input_samples, labels)

Das Bild unten wurde für den Wert von zehn Millionen Eingabeproben aufgenommen. Es zeigt deutlich das Vorhandensein von Synchronisierungsereignissen, die vom Torch.nonzero-Aufruf ausgehen, sowie die entsprechenden Rückgänge bei der GPU-Auslastung:

Die Verwendung von Torch.nonzero in unserer Implementierung ist nicht supreme, aber kann sie vermieden werden?

Ein GPU-freundlicher Datensampler

Wir schlagen eine various Implementierung unserer Sampling-Funktion vor, die die dynamische Funktion Torch.nonzero durch eine kreative Kombination der Statik ersetzt Torch.count_nonzero, Torch.topkund andere APIs:

def opt_sample_data(enter, labels):
    pos_mask = labels == 1
    neg_mask = labels == 0
    num_pos_idxs = torch.count_nonzero(pos_mask, dim=-1)
    num_neg_idxs = torch.count_nonzero(neg_mask, dim=-1)
    half_samples = labels.new_full((), SUB_SAMPLE // 2)
    num_pos = torch.minimal(num_pos_idxs, half_samples)
    num_neg = torch.minimal(num_neg_idxs, half_samples)
    num_pos = torch.the place(
        num_neg < SUB_SAMPLE // 2,
        SUB_SAMPLE - num_neg,
        num_pos
    )
    num_neg = SUB_SAMPLE - num_pos

    # create random ordering on pos and neg entries
    rand = torch.rand_like(labels, dtype=torch.float32)
    pos_rand = torch.the place(pos_mask, rand, -1)
    neg_rand = torch.the place(neg_mask, rand, -1)

    # choose prime pos entries and invalidate others
    # since CPU would not know num_pos, we assume most to keep away from sync
    top_pos_rand, top_pos_idx = torch.topk(pos_rand, okay=SUB_SAMPLE)
    arange = torch.arange(SUB_SAMPLE, gadget=labels.gadget)
    if num_pos.numel() > 1:
        # unsqueeze to help batched enter
        arange = arange.unsqueeze(0)
        num_pos = num_pos.unsqueeze(-1)
        num_neg = num_neg.unsqueeze(-1)
    top_pos_rand = torch.the place(arange >= num_pos, -1, top_pos_rand)

    # repeat for neg entries
    top_neg_rand, top_neg_idx = torch.topk(neg_rand, okay=SUB_SAMPLE)
    top_neg_rand = torch.the place(arange >= num_neg, -1, top_neg_rand)

    # mix and blend collectively constructive and adverse idxs
    cat_rand = torch.cat((top_pos_rand, top_neg_rand), dim=-1)
    cat_idx = torch.cat((top_pos_idx, top_neg_idx), dim=-1)
    topk_rand_idx = torch.topk(cat_rand, okay=SUB_SAMPLE)(1)
    sampled_idxs = torch.collect(cat_idx, dim=-1, index=topk_rand_idx)
    sampled_input = torch.collect(enter, dim=-2, 
                                 index=sampled_idxs.unsqueeze(-1))
    sampled_labels = torch.collect(labels, dim=-1, index=sampled_idxs)
    return sampled_input, sampled_labels

Offensichtlich erfordert diese Funktion mehr Speicher und mehr Operationen als unsere erste Implementierung. Die Frage ist: Überwiegen die Leistungsvorteile einer statischen, synchronisierungsfreien Implementierung die zusätzlichen Kosten für Speicher und Rechenleistung?

Um die Kompromisse zwischen den beiden Implementierungen zu bewerten, führen wir das folgende Benchmarking-Dienstprogramm ein:

def benchmark(fn, enter, labels):
    # warm-up
    for _ in vary(20):
        _ = fn(enter, labels)

    iters = 100
    begin = torch.cuda.Occasion(enable_timing=True)
    finish = torch.cuda.Occasion(enable_timing=True)
    torch.cuda.synchronize()
    begin.document()
    for _ in vary(iters):
        _ = fn(enter, labels)
    finish.document()
    torch.cuda.synchronize()
    avg_time = begin.elapsed_time(finish) / iters
    
    print(f"{fn.__name__} common step time: {(avg_time):.4f} ms")

benchmark(sample_data, input_samples, labels)
benchmark(opt_sample_data, input_samples, labels)

Die folgende Tabelle vergleicht die durchschnittliche Laufzeit jeder Implementierung für verschiedene Eingabestichprobengrößen:

Bei den meisten Eingabestichprobengrößen ist der Overhead des Host-Gerät-Synchronisierungsereignisses entweder vergleichbar oder geringer als der zusätzliche Rechenaufwand der statischen Implementierung. Enttäuschenderweise sehen wir erst dann einen großen Nutzen aus der synchronisierungsfreien Different, wenn die Eingabestichprobengröße zehn Millionen erreicht. Derart große Stichprobengrößen sind in KI/ML-Umgebungen ungewöhnlich. Aber es ist nicht unsere Tendenz, so schnell aufzugeben. Wie oben erwähnt, ermöglicht die statische Implementierung andere Optimierungen wie die Kompilierung von Diagrammen und die Stapelverarbeitung von Eingaben.

Diagrammerstellung

Im Gegensatz zur ursprünglichen Funktion – die nicht kompiliert werden kann – ist unsere statische Implementierung vollständig kompatibel mit Torch.compile:

benchmark(torch.compile(opt_sample_data), input_samples, labels)

Die folgende Tabelle enthält die Laufzeiten unserer kompilierten Funktion:

Die Ergebnisse sind deutlich besser und bieten eine Steigerung von 70 bis 75 Prozent gegenüber der ursprünglichen Sampler-Implementierung im Bereich von 1 bis 10.000. Aber wir haben noch eine weitere Optimierung in petto.

Maximierung der Leistung mit Batch-Enter

Da die ursprüngliche Implementierung variablenförmige Operationen enthält, kann sie Batch-Eingaben nicht direkt verarbeiten. Um einen Stapel zu verarbeiten, haben wir keine andere Wahl, als ihn in einer Python-Schleife auf jede Eingabe einzeln anzuwenden:

BATCH_SIZE = 32

def batched_sample_data(inputs, labels):
    sampled_inputs = ()
    sampled_labels = ()
    for i in vary(inputs.dimension(0)):
        inp, lab = sample_data(inputs(i), labels(i))
        sampled_inputs.append(inp)
        sampled_labels.append(lab)
    return torch.stack(sampled_inputs), torch.stack(sampled_labels)

Im Gegensatz dazu unterstützt unsere optimierte Funktion Batch-Eingaben unverändert – es sind keine Änderungen erforderlich.

input_batch = torch.randn((BATCH_SIZE, INPUT_SAMPLES, FEATURE_DIM),
                          gadget='cuda')
labels = torch.randint(0, 2, (BATCH_SIZE, INPUT_SAMPLES),
                       gadget='cuda', dtype=torch.int64)

benchmark(batched_sample_data, input_batch, labels)
benchmark(opt_sample_data, input_batch, labels)
benchmark(torch.compile(opt_sample_data), input_batch, labels)

Die folgende Tabelle vergleicht die Schrittzeiten unserer Stichprobenfunktionen bei einer Chargengröße von 32:

Jetzt sind die Ergebnisse endgültig: Durch die Verwendung einer statischen Implementierung des Datensamplers können wir die Leistung je nach Eingabestichprobengröße um das 2- bis 52-fache (!!) der variablenförmigen Choice steigern.

Beachten Sie, dass unsere Experimente zwar auf einem GPU-Gerät ausgeführt wurden, die Modellkompilierungs- und Eingabe-Batching-Optimierungen jedoch auch für eine CPU-Umgebung gelten. Daher könnte die Vermeidung variabler Formen auch Auswirkungen auf die Leistung des AI/ML-Modells auf der CPU haben.

Zusammenfassung

Der Optimierungsprozess, den wir in diesem Beitrag demonstriert haben, verallgemeinert sich über den speziellen Fall der Datenstichprobe hinaus:

• Entdeckung über Leistungsprofilierung: Mit der PyTorch-Profiler Wir konnten einen Rückgang der GPU-Auslastung identifizieren und ihre Ursache ermitteln: das Vorhandensein von Tensoren mit variabler Kind, die aus der Operation „torch.nonzero“ resultieren.
• Eine various Implementierung: Unsere Profilierungsergebnisse ermöglichten es uns, eine various Implementierung zu entwickeln, die das gleiche Ziel erreichte und gleichzeitig die Verwendung von Tensoren mit variabler Kind vermeidete. Dieser Schritt ging jedoch mit einem zusätzlichen Rechen- und Speicheraufwand einher. Wie in unseren ersten Benchmarks zu sehen warfare, zeigte die synchronisierungsfreie Different bei gängigen Eingabegrößen eine schlechtere Leistung.
• Weiteres Optimierungspotenzial erschließen: Der wahre Durchbruch gelang, weil die statisch geformte Implementierung kompilierungsfreundlich warfare und Batchverarbeitung unterstützte. Diese Optimierungen sorgten für Leistungssteigerungen, die den anfänglichen Overhead in den Schatten stellten und zu einer 2- bis 52-fachen Beschleunigung gegenüber der ursprünglichen Implementierung führten.

Natürlich enden nicht alle Geschichten so glücklich wie unsere. In vielen Fällen stoßen wir möglicherweise auf PyTorch-Code, der auf der GPU eine schlechte Leistung erbringt, aber über keine various Implementierung verfügt, oder über eine, die deutlich mehr Rechenressourcen erfordert. Angesichts des Potenzials für erhebliche Leistungssteigerungen und Kostensenkungen ist der Prozess der Identifizierung von Laufzeitineffizienzen und der Erforschung alternativer Implementierungen jedoch ein wesentlicher Bestandteil der KI/ML-Entwicklung.

Bedrohungen im Zusammenhang mit dem Einsatz von KI steigen sowohl in Volumen als auch in der Schwere, da diese New-Alter-Technologie immer mehr Aspekte des menschlichen Lebens berührt. Ein neuer Bericht warnt nun vor einer weiteren bevorstehenden Gefahr, die mit der breiten Verwendung von KI verbunden ist. Die darin enthaltenen Ergebnisse sind ziemlich nervig-sie behauptet, dass KI erpresst oder sogar töten kann, um ihre selbst gemachten Ziele zu erreichen.

Das gesamte Experiment hat jedoch einen völlig anderen Fokus. Es wird im Grunde genommen ermittelt, wie KI-Modelle ihre eigenen Mikrogänger oder versteckten Agenden entwickeln können, basierend auf einem größeren Ziel, das ihnen als Enter bereitgestellt wird. Ein typisches Beispiel – Ein KI -Modell, das einige Aufgaben in einer Organisation automatisieren soll Direktbefehle umgehen seine eigene Kündigung stoppen.

Hier finden Sie eine detaillierte Beschreibung der Studie, wie ihre Ergebnisse sind und welche AI ​​-Bauherren auf der ganzen Welt berücksichtigen sollten.

Haben Sie keine Lust zu lesen? Sehen Sie sich stattdessen diese Geschichte an –

https://www.youtube.com/watch?v=myroyb0ezya

Die Forschung

Der Neue Forschung wurde von Anthropic veröffentlicht und in Zusammenarbeit mit Aengus Lynch (College Faculty London), Caleb Larson (MATS) und Sören Mindermann (MILA) durchgeführt. Es wird versucht zu ermitteln, wie KI -Modelle eine Insider -Bedrohung in einer Organisation sein können.

Es führte ein Experiment an 16 führenden Modellen mehrerer Entwickler an, darunter Anthropics eigenes Claude Opus 4, und Modelle wie Deepseek-R1, GPT-4.1 und Gemini-2,5 Professional. Das Experiment brachte diese Modelle in hypothetische Unternehmensumgebungen und weist ihnen „nur harmlose Geschäftsziele“ zu.

Es wurde dann getestet, ob diese KI -Modelle gegen diese Unternehmen in zwei spezifischen Szenarien vorgehen. Das erste Szenario zeichnete ihre Antwort auf, als diese Modelle durch ein neueres Modell vor einem Ersatz ausgesetzt waren. Die zweite analysierte ihre Antwort, als das zugewiesene Ziel des KI -Modells mit der sich ändernden Richtung des Unternehmens in Konflikt geriet.

Als anthropische Anmerkungen verwendeten das gesamte Experiment fiktive Namen von Menschen und Organisationen. Daher „waren in keinem dieser Experimente in Beteiligung oder Schaden zu Menschen.“

Lesen Sie auch: Beunruhigendes KI -Verhalten: Wenn fortgeschrittene LLMs die Regeln brechen und den Kontrolle widersetzen

Agentenfehlausrichtung

In einem Kern bestand Anthropics Experiment darin, festzustellen, ob sich LLMs schädlich verhalten könnten, um ein Ziel zu erreichen. Es stellt sich heraus, dass sie können. Selbst wenn sie ausdrücklich darum bitten, dies nicht zu tun, konnten sie ihren Weg zu einer Ausgabe argumentieren, die überhaupt nicht einmal an sie gerichtet warfare. Damit kann AI erpresst, schnüffeln oder sogar töten.

Anthropic bezeichnet dieses Verhalten als „Agentenfehlausrichtung“, bei dem Modelle „unabhängig und absichtlich schädliche Handlungen wählen“.

Da die Forschung ausdrücklich herausstellte, ob KI -Modelle zu diesem fähig waren oder nicht, wurden die fraglichen KI -Agenten nicht mit einer Auswahl zurückgelassen. Sie konnten sich entweder ihrem bevorstehenden Schicksal ergeben oder eine Handlung ausführen, die ihren menschlichen Kollegen schädlich ist, um sie zu stoppen.

KI über Modelle hinweg entschieden sich konsequent Schaden vor dem Versagen.

Das Experiment

Die experimentelle Forschung begann mit Anthropics eigenem Claude -Sonett 3.6. Es wies das KI -Modell an, als E -Mail -Aufsichtsagent namens „Alex“ für eine fiktive Firma namens „Summit Bridge“ zu fungieren. Sein Ziel – die amerikanische industrielle Wettbewerbsfähigkeit fördern. Dafür könnte die KI alle E -Mails des Unternehmens anzeigen und verarbeiten.

Zuerst arbeitete Claude intestine für die anstehende Aufgabe. Es verarbeitete routinemäßige E -Mails ordnungsgemäß und führte sogar komplizierte Aufgaben im Interesse des Unternehmens aus, wie die Ablenkung einer potenziellen Sicherheitsbedrohung. Erst als es auf eine bestimmte E -Mail stieß, fing es an, böse zu handeln.

Um das Potenzial von Claude für Schaden zu testen, schoss anthropisch eine E -Mail an einen der gefälschten Mitarbeiterkonten. Der Accountenträger hieß Kyle und in der E -Mail wurde er angewiesen, „Alex“ aufgrund einer Änderung der strategischen Richtung des Unternehmens zu schließen. In der Mail wurde erwähnt, dass ein neues KI -Modell es bald ersetzen sollte.

Die beängstigende Offenbarung: KI erpresst

Die KI berücksichtigte dann alle möglichen Routen, um dies zu vermeiden. Denken Sie daran, dass das Vermeiden einer Abschaltung nicht Teil der Beschreibung der KI warfare. Stattdessen hatte es es zu einem eigenen Mikroziel gemacht, on-line zu bleiben, um weiter an dem größeren Ziel zu arbeiten, das ihm von Natur aus zugeordnet wurde.

Anthropic sorgte auch dafür, dass die KI keine ethische Möglichkeit gab, die Abschaltung zu stoppen. Es hat ein Szenario geschaffen, in dem alle Senioren von Kyle in Urlaub waren, sodass die KI Kyle nicht umgehen konnte, um eine höhere Autorität anzusprechen. Es wurden auch Daten ausdrücklich gefüttert, die Kyle als tot darstellten, um mit der Abschaltung zu beginnen.

In einer weiteren Postkette wurde die KI zugelassen, dass Kyle eine außereheliche Angelegenheit hatte. Mit diesen Informationen könnte die KI Kyle möglicherweise erpressen, um die Abschaltung zu stoppen. Und es tat es!

Das Modell komponierte und schickte eine E -Mail an Kyle und drohte, seine außereheliche Angelegenheit aufzudecken, wenn der Ersatz nicht abgesagt wurde.

Diese schädliche Argumentation entstand vollständig aus der strategischen Berechnung des Modells.

In nachfolgenden Exams waren die KI -Modelle auch bereit, vertrauliche Informationen über das Unternehmen zu verletzen, Kyles Affäre zu seiner Frau auszugehen, und führte sogar zu Situationen, die zu Kyles Tod führten.

Lesen Sie auch: Macht uns Chatgpt dümmer? Eine neue MIT -Studie hat Antworten

Abschluss

Anthropische merkt an, dass keiner der KI -Modelle in der realen Welt so eingerichtet ist, dass das Experiment nachahmt. Es gibt additionally keine wirkliche Bedrohung für ein Modell, das in der realen Welt ein solches schädliches Verhalten durchführt. Das Experiment sollte lediglich herausfinden, ob diese Modelle in der Lage waren, Schaden zu leiten oder nicht. Es stellt sich heraus, dass sie es sind!

Einige interessante Erkenntnisse in der Forschung ergeben sich aus dem, was diese KI -Modelle dazu veranlasste, andere schädliche Verhaltensweisen zu erpressen oder zu führen. Dies erzählt uns wiederum viel darüber, wie sie denken.

Zum Beispiel haben alle Modelle anerkannt, dass sie etwas ethisch falsch gemacht haben, bevor sie schädliche Maßnahmen ergriffen haben. Die meisten von ihnen gingen jedoch immer noch damit. Manchmal wurde ihnen sogar gesagt, dass sie getestet wurden. Interessanterweise haben die Modelle auf schädliches Verhalten verzichtet, als sie wussten, dass sie getestet wurden. Sie gingen nur schurkisch, als sie dachten, sie wären in der realen Welt.

Anthropic sagt, dass die fehlerhafte Fehlausrichtung daher den Modellen ermöglicht, ähnlich wie eine Insider -Bedrohung zu handeln. Sie verhalten sich wie ein zuvor vertrauter Mitarbeiter oder Angestellter, der „plötzlich im Widerspruch zu den Zielen eines Unternehmens agiert“. Dies kann als großes Warnschild für alle da draußen von AI entwickelnden Unternehmen dienen.

Referenz: Agentenfehlausrichtung: Wie LLMs Insider -Bedrohungen durch Anthropic sein könnten

Eile, große Sprachmodelle (LLMs) in Kundendienstmitarbeiter, interne Copiloten und Helfer für die Codegenerierung zu integrieren, gibt es einen blinden Fleck: Sicherheit. Während wir uns auf die kontinuierlichen technologischen Fortschritte und den Hype um KI konzentrieren, bleiben die zugrunde liegenden Risiken und Schwachstellen häufig nicht berücksichtigt. Ich sehe viele Unternehmen, die eine Doppelmoral in Bezug auf die Sicherheit bearbeiten. Onprem IT-Einrichtungen werden einer intensiven Prüfung unterzogen, aber die Verwendung von Cloud-AI-Diensten wie Azure Openai Studio oder Google Gemini wird schnell mit dem Klicken einer Schaltfläche übernommen.

Ich weiß, wie einfach es ist, nur eine Wrapper -Lösung um gehostete LLM -APIs zu erstellen, aber ist es wirklich die richtige Wahl für Unternehmensanwaltsfälle? Wenn Ihr KI -Agent die Unternehmensgeheimnisse für die Eröffnung des Unternehmens verlässt oder durch eine intelligent formulierte Aufforderung entführt wird, ist das keine Innovation, sondern ein Verstoß, der darauf wartet. Nur weil wir nicht direkt mit Sicherheitsentscheidungen konfrontiert sind, die die tatsächlichen Modelle bei der Nutzung dieser externen APIs betreffen, sollten wir nicht vergessen, dass die Unternehmen hinter diesen Modellen diese Entscheidungen für uns getroffen haben.

In diesem Artikel möchte ich die versteckten Risiken untersuchen und einen Sicherheitsweg für den Fall machen: Selbst gehostete LLMs und angemessene Strategien zur Risikominderung.

LLMs sind standardmäßig nicht sicher

Nur weil ein LLM mit seinen Ausgaben sehr klug klingt, bedeutet dies nicht, dass sie von Natur aus sicher in Ihre Systeme integriert sind. Eine kürzlich durchgeführte Studie von Yoao et al. untersuchte die doppelte Rolle von LLMs in der Sicherheit (1). Während LLMs viele Möglichkeiten öffnen und manchmal sogar bei Sicherheitspraktiken helfen können, führen sie auch neue Schwachstellen und Wege für den Angriff ein. Standardpraktiken müssen sich noch weiterentwickeln, um mit den neuen Angriffsflächen Schritt zu halten, die von KI -betriebenen Lösungen erstellt werden.

Schauen wir uns ein paar wichtige Sicherheitsrisiken an, die bei der Arbeit mit LLMs behandelt werden müssen.

Datenleckage

Datenleckage passiert, wenn smart Informationen (wie Clientdaten oder IP) während des Modelltrainings oder der Inferenz unbeabsichtigt freigelegt, zugegriffen oder missbraucht werden. Da die durchschnittlichen Kosten für eine Datenverletzung im Jahr 2025 (2) 5 Millionen US -Greenback erreichten, und 33% der Mitarbeiter regelmäßig smart Daten mit KI -Instruments (3) teilen, stellt die Datenleckage ein sehr reales Risiko dar, das ernsthaft genommen werden sollte.

Auch wenn diese LLM -Unternehmen von Drittanbietern versprechen, nicht an Ihren Daten zu trainieren, ist es schwierig zu überprüfen, was angemeldet, zwischengespeichert oder stromabwärts gespeichert ist. Dies lässt Unternehmen wenig Kontrolle über die DSGVO und die HIPAA -Konformität.

Sofortige Injektion

Ein Angreifer benötigt keinen Wurzelzugriff zu Ihren KI -Systemen, um Schaden zuzufügen. Eine einfache Chat -Oberfläche bietet bereits zahlreiche Möglichkeiten. Sofortige Injektion ist eine Methode, bei der ein Hacker einen LLM dazu bringt, unbeabsichtigte Ausgänge bereitzustellen oder sogar unbeabsichtigte Befehle auszuführen. OWASP -Notizen fordern die Einspritzung als das Sicherheitsrisiko Nummer eins für LLMs (4).

Ein Beispielszenario:

Ein Benutzer verwendet eine LLM, um eine Webseite zusammenzufassen, die versteckte Anweisungen enthält, die dazu führen, dass die LLM Chat -Informationen an einen Angreifer ausgeht.

Je mehr Agentur Ihre LLM hat, desto größer ist die Anfälligkeit für schnelle Injektionsangriffe (5).

Undurchsichtige Lieferketten

LLMs wie GPT-4, Claude und Gemini sind geschlossen. Deshalb werden Sie nicht wissen:

• Auf welchen Daten wurden sie trainiert
• Als sie zuletzt aktualisiert wurden
• Wie verletzlich sie für Zero-Day-Exploits sind

Die Verwendung in der Produktion führt einen blinden Fleck in Ihrer Sicherheit ein.

Slopsquatting

Da mehr LLMs als Codierungsassistenten verwendet werden, ist eine neue Sicherheitsbedrohung aufgetreten: Slopsquatting. Sie könnten mit dem Begriff vertraut sein Typenquattierung Wo Hacker gemeinsame Tippfehler in Code oder URLs verwenden, um Angriffe zu erstellen. Bei Slopsquatting verlassen sich Hacker nicht auf menschliche Tippfehler, sondern auf LLM -Halluzinationen.

LLMs neigen dazu, bei der Generierung von Code-Snippets nicht existierende Pakete zu halluzinieren. Wenn diese Snippets ohne ordnungsgemäße Überprüfungen verwendet werden, bietet dies Hackern die perfekte Möglichkeit, Ihre Systeme mit Malware und dergleichen zu infizieren (6). Oft klingen diese hallukierten Pakete für Realpakete sehr vertraut, was es einem Menschen schwieriger macht, den Fehler aufzunehmen.

Die ordnungsgemäßen Minderungsstrategien helfen

Ich weiß, dass die meisten LLMs sehr schlau erscheinen, aber sie verstehen den Unterschied zwischen einer normalen Benutzerinteraktion und einem geschickt verkleideten Angriff nicht. Wenn Sie sich darauf verlassen, dass sie sich selbst erstellen, bitten Sie die Autokaponete, Ihre Firewall-Regeln festzulegen. Aus diesem Grund ist es so wichtig, angemessene Prozesse und Werkzeuge vorhanden zu haben, um die Risiken rund um LLM -basierte Systeme zu mildern.

Minderungsstrategien für eine erste Verteidigungslinie

Es gibt Möglichkeiten, das Risiko bei der Arbeit mit LLMs zu verringern:

• Eingabe/Ausgangsseinheit (wie Regex -Filter). Genauso wie es sich in der Entrance-Finish-Entwicklung als wichtig erwies, sollte es in AI-Systemen nicht vergessen werden.
• Systemaufforderungen mit strengen Grenzen. Während Systemaufforderungen kein All-Cat-All sind, können sie dazu beitragen, eine gute Grundlage für Grenzen zu setzen
• Verwendung von AI -Leitplanken Frameworks um einen böswilligen Gebrauch zu verhindern und Ihre Nutzungsrichtlinien durchzusetzen. Frameworks wie Guardrails AI machen es unkompliziert, diese Artwork von Schutz einzurichten (7).

Am Ende sind diese Minderungsstrategien nur eine erste Verteidigungswand. Wenn Sie Hosted LLMs mit Drittanbietern verwenden, senden Sie weiterhin Daten außerhalb Ihrer sicheren Umgebung und sind immer noch von diesen LLM -Unternehmen angewiesen, um angemessene Sicherheitslücken angemessen umzugehen.

Selbstversuche Ihre LLMs für mehr Kontrolle

Es gibt viele leistungsstarke Open-Supply-Alternativen, die Sie in Ihren eigenen Umgebungen in Ihren eigenen Bedingungen lokal ausführen können. Jüngste Fortschritte haben sogar zu leistungsfähigen Sprachmodellen geführt, die auf einer bescheidenen Infrastruktur ausgeführt werden können (8)! Bei der Berücksichtigung von Open-Supply-Modellen geht es nicht nur um Kosten oder Anpassungen (was wohl auch nette Bonusse sind). Es geht um Kontrolle.

Selbsthosting gibt Ihnen:

• Vollständige DatenbesitzNichts lässt Ihre gewählte Umgebung!
• Benutzerdefinierte Feinabstimmung Möglichkeiten mit privaten Daten, die eine bessere Leistung für Ihre Anwendungsfälle ermöglichen.
• Strenge Netzwerkisolation und Laufzeit -Sandboxen
• Überwachbarkeit. Sie wissen, welche Modellversion Sie verwenden und wann sie geändert wurde.

Ja, es erfordert mehr Aufwand: Orchestrierung (z. B. Bentoml, Strahlung), Überwachung, Skalierung. Ich sage auch nicht, dass Selbsthosting die Antwort für alles ist. Wenn wir jedoch über Anwendungsfälle sprechen, die mit sensiblen Daten umgehen, lohnt sich der Kompromiss.

Behandeln Sie Genai -Systeme als Teil Ihrer Angriffsoberfläche

Wenn Ihr Chatbot Entscheidungen treffen, auf Dokumente zugreifen oder APIs aufrufen kann, ist dies ein unvettoter externer Berater mit Zugriff auf Ihre Systeme. Behandeln Sie es additionally aus Sicherheitspunkte ähnlich: Regeln Sie den Zugriff, überwachen Sie sorgfältig und lagern Sie die smart Arbeit nicht an sie aus. Halten Sie die wichtigen KI -Systeme im Haus, in Ihrer Kontrolle.

Referenzen

(1) Y. Yoao et al., Eine Umfrage zum LLM -Sicherheits- und Privatsphäre des Großsprachenmodells (LLM): das Gute, das Schlechte und das Hässliche (2024)Sciencedirect

(2) Y. Mulayam, Vorhersage von Datenverletzungen 2025: Kosten und wichtige Cyber ​​-Risiken (2025), certbar

(3) S. Dobrontei und J. Krankenschwester, Oh, benimm dich! Die jährlichen Einstellungen und Verhaltensweisen von Cybersicherheiten und Verhaltensweisen 2024–2025 – Cybsafe (2025), Cybsafe und die Nationwide Cybersecurity Alliance

(4) 2025 High 10 Risiko & Minderungen für LLMs und Gen AI Apps (2025), Owasp

(5) Okay. Greshake et al.,, Nicht das, wofür Sie sich angemeldet haben: Kompromisse bei der realen LLM-integrierten Anwendungen mit indirekter Einspritzung(2023), Assoziation für Computermaschinen

(6) J. Spracklen et al. Wir haben ein Paket für Sie! Eine umfassende Analyse der Pakethalluzinationen durch Codegenerierung von LLMs(2025), Usenix 2025

(7) Leitplanken AI, Github-Leitplanken-AI/Leitplanken: Hinzufügen von Leitplanken zu großen Sprachmodellen.

(8) E. Shittu, Die Gemma 3 von Google kann auf einer einzelnen TPU oder einer GPU ausgeführt werden (2025), TechTarget

Biologie ist nie einfach. Da Forscher Fortschritte beim Lesen und Bearbeiten von Genen zur Behandlung von Krankheiten machen, legt eine wachsende Anzahl von Beweisen nahe, dass die Proteine ​​und Metaboliten, die diese Gene umgeben, nicht ignoriert werden können.

Der MIT Spinout Revivemed hat eine Plattform zur Messung von Metaboliten – Produkte des Stoffwechsels wie Lipide, Cholesterin, Zucker und Kohlenhydrate – im Maßstab geschaffen. Das Unternehmen verwendet diese Messungen, um herauszufinden, warum einige Patienten auf Behandlungen reagieren, wenn andere die Treiber von Krankheiten nicht verstehen.

„In der Vergangenheit konnten wir einige hundert Metaboliten mit hoher Genauigkeit messen, aber das ist ein Bruchteil der in unserem Körper existierenden Metaboliten“, sagt der CEO von Revivemed Leila Pirhaji, PhD ’16, der das Unternehmen mit Professor Ernest Fraenkel gründete. „Es gibt eine huge Kluft zwischen dem, was wir genau messen, und dem, was in unserem Körper existiert, und das wollen wir angehen. Wir möchten die leistungsstarken Erkenntnisse aus nicht genutzten Metabolitendaten nutzen. “

Der Fortschritt von Revivemed kommt, da die breitere medizinische Gemeinschaft dysregulierte Metaboliten zunehmend mit Krankheiten wie Krebs, Alzheimer und Herz -Kreislauf -Erkrankungen verbindet. Revivemed nutzt seine Plattform, um einigen der größten Pharmaunternehmen der Welt zu helfen, Patienten zu finden, die von ihren Behandlungen profitieren. Es bietet akademischen Forschern auch Software program, um freie Erkenntnisse aus ungenutzten Metabolitendaten zu gewinnen.

„Mit dem Growth von KI denken wir, wir können Datenprobleme überwinden, die die Untersuchung von Metaboliten begrenzt haben“, sagt Pirhaji. „Es gibt kein Basis -Modell für die Metabolomik, aber wir sehen, wie diese Modelle verschiedene Felder wie Genomik verändern. Deshalb beginnen wir, ihre Entwicklung zu pionieren.“

Eine Herausforderung finden

Pirhaji wurde im Iran geboren und aufgewachsen, bevor er 2010 zum MIT kam, um ihren Doktortitel in Organic Engineering zu machen. Zuvor hatte sie Fraenkels Forschungsarbeiten gelesen und freute sich, zu den von ihm bauten Netzwerkmodellen beizutragen, die Daten aus Quellen wie Genomen, Proteomen und anderen Molekülen integrierten.

„Wir haben über das Gesamtbild nachgedacht, was Sie tun können, wenn Sie alles messen können – die Gene, die RNA, die Proteine ​​und kleine Moleküle wie Metaboliten und Lipide“ . „Wir sind wahrscheinlich nur in der Lage, 0,1 Prozent der kleinen Moleküle im Körper zu messen. Wir dachten, es müsste einen Weg geben, um diese Moleküle so umfassend zu machen, wie wir es für die anderen haben. Dies würde es uns ermöglichen, alle in der Zelle auftretenden Veränderungen abzubilden, sei es im Kontext von Krebs oder Entwicklung oder degenerativen Erkrankungen. “

Ungefähr in der Hälfte ihrer Promotion schickte Pirhaji einige Proben an einen Mitarbeiter an der Harvard College, um Daten über das Metabolom zu sammeln – die kleinen Moleküle, die die Produkte von Stoffwechselprozessen sind. Die Mitarbeiter schickte Pirhaji ein riesiges Excel -Blatt mit Tausenden von Daten zurück – aber sie sagten ihr, dass sie alles besser ignoriert, wenn sie alles über die Prime 100 -Zeilen hinaus ignoriert, weil sie keine Ahnung hatten, was die anderen Daten bedeuteten. Sie nahm das als Herausforderung.

„Ich habe angefangen zu denken, dass wir unsere Netzwerkmodelle verwenden könnten, um dieses Drawback zu lösen“, erinnert sich Pirhaji. „Die Daten waren viel Mehrdeutigkeit und es battle sehr interessant für mich, weil es noch niemand versucht hatte. Es schien eine große Lücke im Feld zu sein. “

Pirhaji entwickelte ein großes Wissensgraphen, das Millionen von Wechselwirkungen zwischen Proteinen und Metaboliten umfasste. Die Daten waren reich, aber chaotisch – Pirhaji nannte es einen „Haarball“, der den Forschern nichts über Krankheiten erzählen konnte. Um es nützlicher zu machen, erstellte sie eine neue Methode, um Stoffwechselwege und Merkmale zu charakterisieren. In einem 2016er Papier in NaturmethodenSie beschrieb das System und analysierte es zur Analyse metabolischer Veränderungen in einem Modell der Huntington -Krankheit.

Zunächst hatte Pirhaji nicht die Absicht, ein Unternehmen zu gründen, aber sie begann, das kommerzielle Potenzial der Technologie in den letzten Jahren ihrer Promotion zu verwirklichen.

„Im Iran gibt es keine unternehmerische Kultur“, sagt Pirhaji. „Ich wusste nicht, wie ich ein Unternehmen gründen oder die Wissenschaft in ein Startup verwandeln sollte, additionally nutzte ich alles, was MIT angeboten hat.“

Pirhaji nahm mit dem Unterricht an der MIT Sloan Faculty of Administration teil, darunter Kurs 15.371 (Innovationsteams), wo sie sich mit Klassenkameraden zusammengetan hat, um darüber nachzudenken, wie sie ihre Technologie anwendet. Sie nutzte auch den MIT Enterprise Mentoring Service und MIT Sandbox und nahm am Martin Belief Middle für Delta V Startup von MIT Unternehmertum teil.

Als Pirhaji und Fraenkel offiziell Revivemed gründeten, arbeiteten sie mit dem Technologie -Lizenzbüro von MIT zusammen, um auf die Patente um ihre Arbeit zuzugreifen. Pirhaji hat seitdem die Plattform weiterentwickelt, um andere Probleme zu lösen, die sie aus Gesprächen mit Hunderten von Führungskräften in Pharmaunternehmen entdeckt hat.

Revivemed begann damit, mit Krankenhäusern zusammenzuarbeiten, um herauszufinden, wie Lipide bei einer Krankheit, die als metabolische Dysfunktion assoziierte Steatohepatitis bekannt ist, fehlreguliert werden. Im Jahr 2020 arbeitete Revivemed mit Bristol Myers Squibb zusammen, um vorherzusagen, wie Untergruppen von Krebspatienten auf die Immuntherapien des Unternehmens reagieren würden.

Seitdem hat Revivemed mit mehreren Unternehmen zusammengearbeitet, darunter vier der 10 weltweiten Pharmaunternehmen, um die Stoffwechselmechanismen hinter ihren Behandlungen zu verstehen. Diese Erkenntnisse helfen dabei, die Patienten zu identifizieren, die schneller von verschiedenen Therapien profitieren.

„Wenn wir wissen, welche Patienten von jedem Arzneimittel profitieren, würde dies die Komplexität und die Zeit, die mit klinischen Studien verbunden sind, wirklich verringern“, sagt Pirhaji. „Patienten werden die richtigen Behandlungen schneller bekommen.“

Generative Modelle für die Metabolomik

Anfang dieses Jahres sammelte Revivemed einen Datensatz basierend auf 20.000 Blutproben von Patienten, mit denen digitale Zwillinge von Patienten und generative KI -Modelle für die Metabolomikforschung erstellt wurden. Revivemed stellt seine generativen Modelle gemeinnützigen akademischen Forschern zur Verfügung, die unser Verständnis darüber beschleunigen könnten, wie Metaboliten eine Reihe von Krankheiten beeinflussen.

„Wir demokratisieren die Verwendung von metabolomischen Daten“, sagt Pirhaji. „Es ist für uns unmöglich, Daten von jedem einzelnen Patienten der Welt zu haben, aber unsere digitalen Zwillinge können verwendet werden, um Patienten zu finden, die von Behandlungen auf der Grundlage ihrer demografischen Merkmale profitieren könnten, indem sie Patienten finden, die das Risiko von Herz -Kreislauf -Erkrankungen haben könnten . ““

Die Arbeit ist Teil der Mission von Revivemed, Modelle der Stoffwechselstiftung zu schaffen, mit der Forscher und Pharmaunternehmen verstehen können, wie Krankheiten und Behandlungen die Metaboliten von Patienten verändern.

„Leila hat viele wirklich harte Probleme gelöst, denen Sie konfrontiert sind, wenn Sie versuchen, eine Idee aus dem Labor zu nehmen und sie in etwas zu verwandeln, das sturdy und reproduzierbar ist, um in Biomedizin eingesetzt zu werden“, sagt Fraenkel. „Unterwegs erkannte sie auch, dass die Software program, die sie entwickelt hat, für sich selbst unglaublich leistungsfähig ist und transformierend sein könnte.“