Microsoft rafforza le difese nell'intelligenza artificiale di Azure

Microsoft ha annunciato diverse nuove funzionalità in Azure AI Studio che, secondo la società, dovrebbero aiutare gli sviluppatori a creare app di intelligenza artificiale generativa più affidabili e resistenti alla manipolazione di modelli dannosi e ad altre minacce emergenti.

In un post sul blog del 29 marzo, Sarah Bird, Chief Product Officer di Microsoft per l'intelligenza artificiale responsabile, ha sottolineato le crescenti preoccupazioni sugli autori delle minacce che utilizzano attacchi di iniezione tempestivi fare in modo che i sistemi di intelligenza artificiale si comportino in modi pericolosi e inaspettati come fattore trainante principale per i nuovi strumenti.

“Anche le organizzazioni lo sono preoccupati per la qualità e l’affidabilità”, disse l'uccello. "Vogliono garantire che i loro sistemi di intelligenza artificiale non generino errori o aggiungano informazioni non comprovate nelle origini dati dell'applicazione, il che può minare la fiducia degli utenti."

Studio AI di Azure è una piattaforma ospitata che le organizzazioni possono utilizzare per creare assistenti IA personalizzati, copiloti, bot, strumenti di ricerca e altre applicazioni, basati sui propri dati. Annunciata nel novembre 2023, la piattaforma ospita modelli di machine learning di Microsoft e anche modelli provenienti da diverse altre fonti, tra cui OpenAI. Meta, Volto che abbraccia e Nvidia. Consente agli sviluppatori di integrare rapidamente capacità multimodali e funzionalità di intelligenza artificiale responsabile nei loro modelli.

Altri importanti attori come Amazon e Google si sono precipitati sul mercato con offerte simili nell’ultimo anno per sfruttare il crescente interesse per le tecnologie di intelligenza artificiale in tutto il mondo. Lo ha scoperto un recente studio commissionato da IBM 42% di organizzazioni con più di 1,000 dipendenti stanno già utilizzando attivamente l’intelligenza artificiale in qualche modo e molti di loro pianificano di aumentare e accelerare gli investimenti nella tecnologia nei prossimi anni. E non tutti lo stavano dicendo in anticipo sul loro utilizzo dell'intelligenza artificiale.

Protezione dall'ingegneria tempestiva

Le cinque nuove funzionalità che Microsoft ha aggiunto, o aggiungerà presto, ad Azure AI Studio sono: Prompt Shields; rilevamento della messa a terra; messaggi del sistema di sicurezza; valutazioni di sicurezza; e monitoraggio dei rischi e della sicurezza. Le funzionalità sono progettate per affrontare alcune sfide significative che i ricercatori hanno scoperto di recente – e continuano a scoprire su base di routine – per quanto riguarda l’uso di modelli linguistici di grandi dimensioni e strumenti di intelligenza artificiale generativa.

Scudi rapidi ad esempio, è la mitigazione di Microsoft per i cosiddetti attacchi rapidi indiretti e jailbreak. La funzionalità si basa sulle mitigazioni esistenti in Azure AI Studio contro il rischio di jailbreak. In attacchi ingegneristici tempestivi, gli avversari utilizzano suggerimenti che appaiono innocui e non apertamente dannosi per cercare di indirizzare un modello di intelligenza artificiale verso la generazione di risposte dannose e indesiderabili. La tempestiva ingegneria è tra le più pericolose in una classe crescente di attacchi che tentano di farlo Modelli di intelligenza artificiale con jailbreak o indurli a comportarsi in un modo incoerente con eventuali filtri e vincoli che gli sviluppatori potrebbero aver incorporato in essi.  

I ricercatori hanno recentemente dimostrato come gli avversari possano impegnarsi in attacchi ingegneristici tempestivi per ottenere modelli di intelligenza artificiale generativa diffondere i propri dati di allenamento, per divulgare informazioni personali, generare disinformazione e contenuti potenzialmente dannosi, come istruzioni su come collegare un'auto.

Con Prompt Shields gli sviluppatori possono integrare nei loro modelli funzionalità che aiutano a distinguere tra input di sistema validi e potenzialmente inaffidabili; impostare delimitatori per contrassegnare l'inizio e la fine del testo di input e utilizzare la marcatura dei dati per contrassegnare i testi di input. Prompt Shields è attualmente disponibile in modalità anteprima in Azure AI Content Safety e diventerà presto disponibile a livello generale, secondo Microsoft.

Mitigazioni per allucinazioni modello e contenuti dannosi

Con il rilevamento della messa a terra, nel frattempo, Microsoft ha aggiunto una funzionalità ad Azure AI Studio che, a suo dire, può aiutare gli sviluppatori a ridurre il rischio che i loro modelli di intelligenza artificiale “abbiano allucinazioni”. L'allucinazione del modello è una tendenza dei modelli di intelligenza artificiale a generare risultati che appaiono plausibili ma sono completamente inventati e non basati, o fondati, sui dati di addestramento. Le allucinazioni LLM possono essere estremamente problematiche se un'organizzazione dovesse considerare i risultati come reali e agire di conseguenza in qualche modo. In un ambiente di sviluppo software, ad esempio, le allucinazioni LLM potrebbero portare gli sviluppatori a introdurre potenzialmente codice vulnerabile nelle loro applicazioni.

Novità di Azure AI Studio rilevamento della fondatezza La capacità consiste fondamentalmente nell'aiutare a rilevare, in modo più affidabile e su scala più ampia, gli output dell'IA generativa potenzialmente non radicati. L'obiettivo è fornire agli sviluppatori un modo per testare i propri modelli di intelligenza artificiale rispetto a ciò che Microsoft chiama metriche di messa a terra, prima di implementare il modello nel prodotto. La funzionalità evidenzia inoltre le dichiarazioni potenzialmente infondate negli output LLM, in modo che gli utenti sappiano che è necessario verificare l'output prima di utilizzarlo. Il rilevamento della messa a terra non è ancora disponibile, ma dovrebbe esserlo nel prossimo futuro, secondo Microsoft.

Il nuovo struttura dei messaggi di sistema offre agli sviluppatori un modo per definire chiaramente le capacità del proprio modello, il suo profilo e le limitazioni nel loro ambiente specifico. Gli sviluppatori possono utilizzare la funzionalità per definire il formato dell'output e fornire esempi del comportamento previsto, in modo che diventi più semplice per gli utenti rilevare le deviazioni dal comportamento previsto. È un'altra nuova funzionalità che non è ancora disponibile ma dovrebbe esserlo presto.

Azure AI Studio è stato appena annunciato valutazioni di sicurezza capacità e la sua monitoraggio dei rischi e della sicurezza sono entrambe attualmente disponibili in stato di anteprima. Le organizzazioni possono utilizzare il primo per valutare la vulnerabilità del proprio modello LLM agli attacchi di jailbreak e alla generazione di contenuti imprevisti. La funzionalità di monitoraggio dei rischi e della sicurezza consente agli sviluppatori di rilevare input del modello che sono problematici e che potrebbero innescare contenuti allucinatori o inaspettati, in modo da poter implementare mitigazioni contro di essi.

“L’intelligenza artificiale generativa può essere un moltiplicatore di forza per ogni dipartimento, azienda e settore”, ha affermato Bird di Microsoft. “Allo stesso tempo, i modelli di base introducono nuove sfide per la sicurezza che richiedono nuove mitigazioni e apprendimento continuo”.

• Distribuzione di contenuti basati su SEO e PR. Ricevi amplificazione oggi.
• PlatoData.Network Generativo verticale Ai. Potenzia te stesso. Accedi qui.
• PlatoAiStream. Intelligenza Web3. Conoscenza amplificata. Accedi qui.
• PlatoneESG. Carbonio, Tecnologia pulita, Energia, Ambiente, Solare, Gestione dei rifiuti. Accedi qui.
• Platone Salute. Intelligence sulle biotecnologie e sulle sperimentazioni cliniche. Accedi qui.
• Fonte: https://www.darkreading.com/application-security/microsoft-adds-tools-for-protecting-against-prompt-injection-other-threats-in-azure-ai