Microsoft, Azure AI'da Savunmaları Güçlendiriyor

Microsoft, Azure AI Studio'da, geliştiricilerin kötü amaçlı model manipülasyonuna ve diğer ortaya çıkan tehditlere karşı daha güvenilir ve dirençli üretken AI uygulamaları oluşturmasına yardımcı olması gerektiğini söylediği birkaç yeni özelliği duyurdu.

Microsoft'un sorumlu AI ürün sorumlusu Sarah Bird, 29 Mart tarihli bir blog yazısında, tehdit aktörlerinin yapay zekayı kullanmasıyla ilgili artan endişelere dikkat çekti. hızlı enjeksiyon saldırıları Yapay zeka sistemlerinin yeni araçlar için birincil itici faktör olarak tehlikeli ve beklenmedik şekillerde davranmasını sağlamak.

“Organizasyonlar aynı zamanda kalite ve güvenilirlik konusunda endişeleniyoruz” Kuş dedi ki. "Yapay zeka sistemlerinin hata üretmediğinden veya uygulamanın veri kaynaklarında doğrulanmayan, kullanıcının güvenini zedeleyebilecek bilgiler eklemediğinden emin olmak istiyorlar."

Azure Yapay Zeka Stüdyosu kuruluşların kendi verilerine dayalı olarak özel yapay zeka asistanları, yardımcı pilotlar, botlar, arama araçları ve diğer uygulamaları oluşturmak için kullanabileceği, barındırılan bir platformdur. Kasım 2023'te duyurulan platform, Microsoft'un makine öğrenimi modellerinin yanı sıra OpenAI dahil diğer birçok kaynaktan alınan modelleri de barındırıyor. Meta, Hugging Face ve Nvidia. Geliştiricilerin çok modlu yetenekleri ve sorumlu yapay zeka özelliklerini modellerine hızlı bir şekilde entegre etmelerine olanak tanır.

Amazon ve Google gibi diğer büyük oyuncular, dünya çapında yapay zeka teknolojilerine artan ilgiden yararlanmak için geçtiğimiz yıl benzer tekliflerle pazara akın etti. Yakın zamanda IBM tarafından yaptırılan bir çalışma şunu ortaya çıkardı: Kuruluşların% 42'u 1,000'den fazla çalışanı halihazırda yapay zekayı bir şekilde aktif olarak kullanıyor ve birçoğu önümüzdeki birkaç yıl içinde teknolojiye yapılan yatırımları artırmayı ve hızlandırmayı planlıyor. Ve hepsi değil BT'ye anlatıyorduk AI kullanımları hakkında önceden.

Hızlı Mühendisliğe Karşı Koruma

Microsoft'un Azure AI Studio'ya eklediği veya yakında ekleyeceği beş yeni özellik şunlardır: İstem Kalkanları; topraklılık tespiti; güvenlik sistemi mesajları; güvenlik değerlendirmeleri; ve risk ve güvenlik izleme. Özellikler, araştırmacıların yakın zamanda ortaya çıkardığı ve rutin olarak ortaya çıkarmaya devam ettiği, büyük dil modellerinin ve üretken yapay zeka araçlarının kullanımına ilişkin bazı önemli zorlukları ele almak üzere tasarlandı.

Uyarı Kalkanları örneğin, Microsoft'un dolaylı anlık saldırılar ve jailbreak'ler olarak bilinen durumlara karşı uyguladığı hafifletme yöntemi. Bu özellik, jailbreak riskine karşı Azure AI Studio'daki mevcut azaltımlara dayanmaktadır. İçinde hızlı mühendislik saldırılarıRakipler, bir yapay zeka modelini zararlı ve istenmeyen yanıtlar üretmeye yönlendirmek için zararsız görünen ve açıkça zararlı olmayan istemler kullanır. Hızlı mühendislik, sayıları giderek artan saldırılar arasında en tehlikeli olanlardan biridir. jailbreak yapay zeka modelleri veya geliştiricilerin onlara yerleştirmiş olabileceği filtreler ve kısıtlamalarla tutarsız bir şekilde davranmalarını sağlayın.  

Araştırmacılar yakın zamanda, rakiplerin üretken yapay zeka modellerini elde etmek için hızlı mühendislik saldırılarına nasıl girişebileceğini gösterdi. eğitim verilerini dökmek, kişisel bilgileri yaymak için, yanlış bilgi üretmek ve bir arabaya nasıl hızlı bağlantı yapılacağına ilişkin talimatlar gibi potansiyel olarak zararlı içerikler.

Prompt Shields ile geliştiriciler, geçerli ve potansiyel olarak güvenilmez sistem girdilerini ayırt etmeye yardımcı olan yetenekleri modellerine entegre edebilir; giriş metninin başlangıcını ve sonunu işaretlemeye yardımcı olacak sınırlayıcılar ayarlayın ve giriş metinlerini işaretlemek için veri işaretlemeyi kullanın. Microsoft'a göre Prompt Shields şu anda Azure AI İçerik Güvenliği'nde önizleme modunda mevcut ve yakında genel kullanıma sunulacak.

Model Halüsinasyonlar ve Zararlı İçeriklere İlişkin Azaltıcı Önlemler

Bu arada Microsoft, temellilik tespiti ile Azure AI Studio'ya, geliştiricilerin AI modellerinin "halüsinasyon" riskini azaltmasına yardımcı olabileceğini söylediği bir özellik ekledi. Model halüsinasyonu, yapay zeka modellerinin makul görünen ancak tamamen uydurma ve eğitim verilerine dayanmayan veya temellendirilmeyen sonuçlar üretme eğilimidir. Bir kuruluşun çıktıyı gerçek olarak kabul etmesi ve bir şekilde buna göre hareket etmesi durumunda LLM halüsinasyonları büyük ölçüde sorunlu olabilir. Örneğin bir yazılım geliştirme ortamında yüksek lisans halüsinasyonları, geliştiricilerin uygulamalarına potansiyel olarak savunmasız kod eklemesine neden olabilir.

Azure AI Studio'nun yenisi topraklama tespiti Yetenek temel olarak potansiyel olarak topraklanmamış üretken yapay zeka çıktılarının daha güvenilir ve daha büyük ölçekte tespit edilmesine yardımcı olmakla ilgilidir. Amaç, geliştiricilere, modeli ürüne dağıtmadan önce yapay zeka modellerini Microsoft'un temel ölçümler olarak adlandırdığı ölçümlere göre test etmeleri için bir yol sunmaktır. Bu özellik aynı zamanda LLM çıktılarındaki potansiyel temelsiz ifadeleri de vurguluyor, böylece kullanıcılar çıktıyı kullanmadan önce doğruluğunu kontrol etmeleri gerektiğini biliyor. Temellilik tespiti henüz mevcut değil ancak Microsoft'a göre yakın gelecekte mevcut olması bekleniyor.

Yeni sistem mesaj çerçevesi geliştiricilere modellerinin yeteneklerini, profilini ve kendi ortamlarındaki sınırlamaları açıkça tanımlamaları için bir yol sunar. Geliştiriciler, çıktının formatını tanımlama ve amaçlanan davranış örnekleri sağlama yeteneğini kullanabilir, böylece kullanıcıların amaçlanan davranıştan sapmaları tespit etmesi kolaylaşır. Henüz mevcut olmayan ancak yakında olması gereken başka bir yeni özellik.

Azure AI Studio'nun yeni duyurusu güvenlik değerlendirmeleri yeteneği ve onun risk ve güvenlik izleme özelliğin her ikisi de şu anda önizleme durumunda mevcuttur. Kuruluşlar, LLM modellerinin jailbreak saldırılarına ve beklenmedik içerik üretmeye karşı savunmasızlığını değerlendirmek için ilkini kullanabilir. Risk ve güvenlik izleme yeteneği, geliştiricilerin sorunlu ve halüsinasyonlu veya beklenmedik içeriği tetiklemesi muhtemel model girdilerini tespit etmesine ve böylece buna karşı azaltıcı önlemler uygulayabilmesine olanak tanır.

Microsoft'tan Bird, "Üretken yapay zeka her departman, şirket ve sektör için güç çarpanı olabilir" dedi. "Aynı zamanda temel modeller, güvenlik ve güvenlik açısından yeni önlemler ve sürekli öğrenme gerektiren yeni zorluklar ortaya çıkarıyor."

• SEO Destekli İçerik ve Halkla İlişkiler Dağıtımı. Bugün Gücünüzü Artırın.
• PlatoData.Network Dikey Üretken Yapay Zeka. Kendine güç ver. Buradan Erişin.
• PlatoAiStream. Web3 Zekası. Bilgi Genişletildi. Buradan Erişin.
• PlatoESG. karbon, temiz teknoloji, Enerji, Çevre, Güneş, Atık Yönetimi. Buradan Erişin.
• PlatoSağlık. Biyoteknoloji ve Klinik Araştırmalar Zekası. Buradan Erişin.
• Kaynak: https://www.darkreading.com/application-security/microsoft-adds-tools-for-protecting-against-prompt-injection-other-threats-in-azure-ai