Crowdstrike und Meta für Cybersecurity-Unternehmen haben Cybersoceval veröffentlicht, eine Open-Supply-Benchmark-Suite zur Bewertung der Leistung von KI-Modellen in Sicherheitsbetriebszentren (SOCS). Das Software soll den Unternehmen helfen, die richtigen KI-betriebenen Cybersicherheitslösungen auszuwählen, indem sie eine standardisierte Möglichkeit bieten, ihre Funktionen bei wichtigen Sicherheitsaufgaben zu testen.
Die Herausforderung, das richtige KI -Sicherheitsinstrument auszuwählen
Da KI in eine wachsende Anzahl von Cybersicherheitsprodukten integriert wird, stehen Sicherheitsprofis der Herausforderung, aus einer Vielzahl von Optionen mit unterschiedlichen Kosten und Fähigkeiten auszuwählen. Cybersoceval befasst sich mit einer strukturierten Methode zum Testen von großsprachigen Modellen (LLMs) für Kern -SOC -Funktionen, einschließlich Vorfallreaktion, Bedrohungsanalyse und Malware -Erkennung.
Ohne klare Benchmarks ist es schwierig zu wissen, welche Systeme, Anwendungsfälle und Leistungsstandards einen echten AI-Vorteil gegenüber realen Angriffen bieten.
Durch die Standardisierung dieser Bewertungen ermöglicht der Benchmark es Unternehmen, objektiv zu messen, wie unterschiedliche KI -Modelle in realistischen Szenarien funktionieren und ihnen helfen, die Instruments zu identifizieren, die ihren operativen Bedürfnissen am besten entsprechen.
Wie Cybersoceval sowohl Unternehmen als auch Entwickler profitiert
Für Unternehmen liefert der Benchmark klare, vergleichbare Daten zur Modellleistung. Für KI -Entwickler bietet es wertvolle Einblicke in die Verwendung von Unternehmenskunden, die ihre Modelle für die Cybersicherheit verwenden. Dieses Suggestions kann zukünftige Verbesserungen leiten und die Macher dabei helfen, ihre Modelle zu verfeinern, um spezifische Branchenjargon oder komplexe Bedrohungsinformationen besser zu bewältigen. Das Framework ist so konzipiert, dass sie anpassungsfähig sind und die Einbeziehung neuer Checks wie Drohungen wie Zero-Day-Exploits ermöglichen.
Die Veröffentlichung von Cybersoceval erfolgt in einem digitalen Wettrüsten, bei dem sowohl Angreifer als auch Verteidiger die KI nutzen. Eine Umfrage von MasterCard und The Monetary Instances Longitude ergab, dass Finanzdienstleistungsunternehmen Millionen von Greenback gespart haben, indem sie KI-angetriebene Instrumente zur Bekämpfung von AI-fähigen Betrugsbetrug mit KI-angetrieben haben.
Ein Open-Supply-Ansatz zur Verbesserung der Sicherheit
Die Beteiligung von Meta am Projekt übereinstimmt mit seiner Geschichte, die Open-Supply-KI-Entwicklung wie seine Lama-Modelle zu unterstützen. Durch das Machen von Cybersoceval zu einem Open-Supply-Software fördern die Unternehmen die Zusammenarbeit der Gemeinschaft, um die Benchmarks im Laufe der Zeit zu verbessern und zu erweitern. Dieser Ansatz zielt darauf ab, den branchenweiten Fortschritt bei der Verteidigung gegen fortgeschrittene Bedrohungen auf KI zu beschleunigen.
Mit diesen Benchmarks und offen für die Sicherheits- und KI-Group können wir als Branche schneller arbeiten, um das Potenzial von KI beim Schutz vor fortgeschrittenen Angriffen, einschließlich der Bedrohungen auf KI, freizuschalten.
Cybersoceval ist ab sofort auf GitHub verfügbar, wo Benutzer die Suite herunterladen können, um Bewertungen auf ihren bevorzugten LLMs auszuführen. Das Repository enthält Dokumentation, Beispieldatensätze und Anweisungen zum Integrieren der Checks in vorhandene Sicherheitsplattformen.