Microsoft verstärkt die Abwehrmaßnahmen in Azure AI

Microsoft kündigte mehrere neue Funktionen in Azure AI Studio an, die nach Angaben des Unternehmens Entwicklern dabei helfen sollen, generative KI-Apps zu erstellen, die zuverlässiger und widerstandsfähiger gegen bösartige Modellmanipulationen und andere aufkommende Bedrohungen sind.

In einem Blogbeitrag vom 29. März wies Sarah Bird, Chief Product Officer für verantwortungsvolle KI bei Microsoft, auf die wachsende Besorgnis über die Nutzung durch Bedrohungsakteure hin prompte Injektionsattacken KI-Systeme dazu zu bringen, sich auf gefährliche und unerwartete Weise zu verhalten, was der Hauptantriebsfaktor für die neuen Tools ist.

„Organisationen sind es auch auf Qualität und Zuverlässigkeit bedacht“, Vogel sagte. „Sie möchten sicherstellen, dass ihre KI-Systeme keine Fehler generieren oder Informationen hinzufügen, die nicht in den Datenquellen der Anwendung belegt sind, was das Vertrauen der Benutzer untergraben kann.“

Azure AI Studio ist eine gehostete Plattform, mit der Unternehmen basierend auf ihren eigenen Daten benutzerdefinierte KI-Assistenten, Copiloten, Bots, Suchtools und andere Anwendungen erstellen können. Die im November 2023 angekündigte Plattform hostet die maschinellen Lernmodelle von Microsoft sowie Modelle aus mehreren anderen Quellen, darunter OpenAI. Meta, Hugging Face und Nvidia. Es ermöglicht Entwicklern, schnell multimodale Funktionen und verantwortungsvolle KI-Funktionen in ihre Modelle zu integrieren.

Andere große Player wie Amazon und Google sind im vergangenen Jahr mit ähnlichen Angeboten auf den Markt gekommen, um das weltweit wachsende Interesse an KI-Technologien zu nutzen. Das ergab eine aktuelle, von IBM in Auftrag gegebene Studie 42% der Organisationen Das Unternehmen mit mehr als 1,000 Mitarbeitern nutzt KI bereits in irgendeiner Weise aktiv und viele von ihnen planen, in den nächsten Jahren verstärkt und schneller in die Technologie zu investieren. Und nicht alle sagten es der IT Informieren Sie sich vorab über deren KI-Nutzung.

Schutz vor promptem Engineering

Die fünf neuen Funktionen, die Microsoft Azure AI Studio hinzugefügt hat oder bald hinzufügen wird, sind: Prompt Shields; Erdungerkennung; Sicherheitssystemmeldungen; Sicherheitsbewertungen; und Risiko- und Sicherheitsüberwachung. Die Funktionen sollen einige bedeutende Herausforderungen angehen, die Forscher kürzlich im Zusammenhang mit der Verwendung großer Sprachmodelle und generativer KI-Tools aufgedeckt haben – und weiterhin routinemäßig aufdecken.

Sofortige Schilde Ein Beispiel hierfür ist Microsofts Abhilfe bei sogenannten indirekten Prompt-Angriffen und Jailbreaks. Die Funktion baut auf vorhandenen Abhilfemaßnahmen in Azure AI Studio gegen das Jailbreak-Risiko auf. In schnelle technische Angriffe, verwenden Gegner Eingabeaufforderungen, die harmlos und nicht offenkundig schädlich erscheinen, um ein KI-Modell so zu steuern, dass es schädliche und unerwünschte Reaktionen hervorruft. Prompt Engineering gehört zu den gefährlichsten in einer wachsenden Klasse von Angriffen, die versuchen, Angriffe durchzuführen Jailbreak-KI-Modelle oder sie dazu bringen, sich auf eine Art und Weise zu verhalten, die nicht mit den Filtern und Einschränkungen vereinbar ist, die die Entwickler möglicherweise in sie eingebaut haben.  

Forscher haben kürzlich gezeigt, wie Angreifer schnelle technische Angriffe durchführen können, um generative KI-Modelle zu erreichen ihre Trainingsdaten preisgeben, um persönliche Informationen preiszugeben, Fehlinformationen erzeugen und potenziell schädliche Inhalte, wie z. B. Anweisungen zum Kurzschließen eines Autos.

Mit Prompt Shields können Entwickler Funktionen in ihre Modelle integrieren, die dabei helfen, zwischen gültigen und potenziell nicht vertrauenswürdigen Systemeingaben zu unterscheiden; Legen Sie Trennzeichen fest, um den Anfang und das Ende des Eingabetexts zu markieren, und verwenden Sie die Datenmarkierung, um Eingabetexte zu markieren. Laut Microsoft ist Prompt Shields derzeit im Vorschaumodus in Azure AI Content Safety verfügbar und wird bald allgemein verfügbar sein.

Abhilfe bei Modellhalluzinationen und schädlichen Inhalten

Mit der Groundedness-Erkennung hat Microsoft inzwischen eine Funktion zu Azure AI Studio hinzugefügt, die angeblich Entwicklern dabei helfen kann, das Risiko einer „Halluzination“ ihrer KI-Modelle zu verringern. Unter Modellhalluzination versteht man die Tendenz von KI-Modellen, Ergebnisse zu generieren, die plausibel erscheinen, aber vollständig erfunden sind und nicht auf den Trainingsdaten basieren. LLM-Halluzinationen können äußerst problematisch sein, wenn eine Organisation die Ergebnisse als sachlich betrachten und in irgendeiner Weise darauf reagieren würde. In einer Softwareentwicklungsumgebung könnten LLM-Halluzinationen beispielsweise dazu führen, dass Entwickler potenziell anfälligen Code in ihre Anwendungen einbauen.

Neu ist Azure AI Studio Bodenerkennung Bei dieser Fähigkeit geht es im Wesentlichen darum, potenziell unbegründete generative KI-Ergebnisse zuverlässiger und in größerem Maßstab zu erkennen. Ziel ist es, Entwicklern die Möglichkeit zu geben, ihre KI-Modelle anhand der von Microsoft so genannten Groundedness-Metriken zu testen, bevor sie das Modell im Produkt bereitstellen. Die Funktion hebt auch potenziell unbegründete Anweisungen in LLM-Ausgaben hervor, sodass Benutzer wissen, dass sie die Ausgabe vor der Verwendung auf Fakten prüfen müssen. Die Groundedness-Erkennung ist noch nicht verfügbar, soll aber laut Microsoft in naher Zukunft verfügbar sein.

The new Systemnachrichten-Framework bietet Entwicklern die Möglichkeit, die Funktionen, das Profil und die Einschränkungen ihres Modells in ihrer spezifischen Umgebung klar zu definieren. Entwickler können die Möglichkeit nutzen, das Format der Ausgabe zu definieren und Beispiele für beabsichtigtes Verhalten bereitzustellen, sodass es für Benutzer einfacher wird, Abweichungen vom beabsichtigten Verhalten zu erkennen. Es handelt sich um eine weitere neue Funktion, die noch nicht verfügbar ist, aber bald verfügbar sein dürfte.

Azure AI Studio ist neu angekündigt Sicherheitsbewertungen Fähigkeit und ihre Risiko- und Sicherheitsüberwachung Beide Funktionen sind derzeit im Vorschaustatus verfügbar. Unternehmen können Ersteres verwenden, um die Anfälligkeit ihres LLM-Modells gegenüber Jailbreak-Angriffen und der Generierung unerwarteter Inhalte zu bewerten. Mithilfe der Risiko- und Sicherheitsüberwachungsfunktion können Entwickler Modelleingaben erkennen, die problematisch sind und wahrscheinlich halluzinierte oder unerwartete Inhalte auslösen, sodass sie Gegenmaßnahmen ergreifen können.

„Generative KI kann ein Kraftmultiplikator für jede Abteilung, jedes Unternehmen und jede Branche sein“, sagte Bird von Microsoft. „Gleichzeitig stellen Grundlagenmodelle neue Herausforderungen für Sicherheit und Schutz dar, die neue Abhilfemaßnahmen und kontinuierliches Lernen erfordern.“

• SEO-gestützte Content- und PR-Distribution. Holen Sie sich noch heute Verstärkung.
• PlatoData.Network Vertikale generative KI. Motiviere dich selbst. Hier zugreifen.
• PlatoAiStream. Web3-Intelligenz. Wissen verstärkt. Hier zugreifen.
• PlatoESG. Kohlenstoff, CleanTech, Energie, Umwelt, Solar, Abfallwirtschaft. Hier zugreifen.
• PlatoHealth. Informationen zu Biotechnologie und klinischen Studien. Hier zugreifen.
• Quelle: https://www.darkreading.com/application-security/microsoft-adds-tools-for-protecting-against-prompt-injection-other-threats-in-azure-ai