Firmy LLM, takie jak ChatGPT, stale wyciekają poufne dane

Firmy LLM, takie jak ChatGPT, stale wyciekają poufne dane

Znacznik czasu: 3 października 2023 3:39
Firmy LLM, takie jak ChatGPT, stale wyciekają wrażliwe dane PlatoBlockchain Data Intelligence. Wyszukiwanie pionowe. AI.

W pionierskim badaniu zespół z Uniwersytetu Północnej Karoliny w Chapel Hill rzucił światło na palącą kwestię zatrzymywania danych w dużych modelach językowych (LLM), takich jak ChatGPT firmy OpenAI i Bard firmy Google.

Pomimo prób usunięcia zawiłości modeli sztucznej inteligencji w dalszym ciągu powracają na światło dzienne dane wrażliwe, wywołując poważną dyskusję na temat bezpieczeństwa informacji i etyki sztucznej inteligencji.

Zagadka danych „nieusuwalnych”.

Naukowcy rozpoczęli badania nad usuwaniem wrażliwych informacji z LLM. Jednak natknęli się na objawienie. Usunięcie takich danych jest trudne, ale weryfikacja usunięcia stanowi równie wyzwanie. Po przeszkoleniu na rozległych zbiorach danych te monstra AI przechowują dane w złożonym labiryncie parametrów i wag.

Ta sytuacja staje się złowieszcza, gdy Modele AI nieumyślnie ujawnić wrażliwe dane, takie jak identyfikatory osobiste lub dokumentację finansową, potencjalnie kładąc podwaliny pod niecne zastosowania.

Co więcej, sedno problemu leży w projekcie tych modeli. Faza wstępna obejmuje szkolenia w zakresie rozległych baz danych i dopracowanie w celu zapewnienia spójnych wyników. Terminologia „generatywny transformator wstępnie przeszkolony” zawarta w GPT umożliwia wgląd w ten mechanizm.

Naukowcy z UNC wyjaśnili hipotetyczny scenariusz, w którym LLM, nakarmiony skarbnicą wrażliwych danych bankowych, staje się potencjalnym zagrożeniem. Współczesne poręcze stosowane przez twórców sztucznej inteligencji nie łagodzą tych obaw.

Te środki ochronne, takie jak zakodowane na stałe podpowiedzi lub paradygmat znany jako uczenie się przez wzmacnianie na podstawie informacji zwrotnej od ludzi (RLHF), odgrywają kluczową rolę w ograniczaniu niepożądanych wyników. Jednak nadal pozostawiają dane czające się w otchłani modelu, gotowe do przywołania poprzez zwykłe przeformułowanie podpowiedzi.

Niwelowanie luki w bezpieczeństwie

Pomimo zastosowania najnowocześniejszych metod edycji modeli, takich jak edycja modelu rangi pierwszego, zespół UNC odkrył, że istotne informacje oparte na faktach pozostają dostępne. Ich ustalenia wykazały, że fakty można przywrócić w około 38% i 29% przypadków odpowiednio za pomocą ataków białej i czarnej skrzynki.

W swoich poszukiwaniach badacze wykorzystali model znany jako GPT-J. Ze swoimi 6 miliardami parametrów jest karłem w porównaniu z kolosalnym GPT-3.5, a model podstawowy dla ChatGPT ze 170 miliardami parametrów. Ten wyraźny kontrast wskazuje na monumentalne wyzwanie, jakim jest oczyszczenie większych modeli, takich jak GPT-3.5, z nieuzasadnionych danych.

Co więcej, uczeni z UNC opracowali nowe metody obrony, aby chronić LLM przed konkretnymi „atakami ekstrakcyjnymi”. Te nikczemne plany wykorzystują bariery ochronne modelu do wyładunku wrażliwych danych. Niemniej jednak gazeta złowieszczo wskazywała na ciągłą grę w kotka i myszkę, w której strategie defensywne zawsze będą gonić ewoluującą taktykę ofensywną.

Microsoft deleguje zespół nuklearny do wzmocnienia sztucznej inteligencji

Podobnie rozwijająca się dziedzina sztucznej inteligencji popchnęła gigantów technologicznych, takich jak Microsoft, do zapuszczania się na niezbadane terytoria. Niedawne utworzenie przez Microsoft zespołu ds. energetyki jądrowej w celu wspierania inicjatyw związanych ze sztuczną inteligencją podkreśla rosnące wymagania i powiązaną przyszłość sztucznej inteligencji i zasobów energetycznych. W miarę ewolucji modeli sztucznej inteligencji rośnie ich apetyt na energię, torując drogę innowacyjnym rozwiązaniom umożliwiającym zaspokojenie tego rosnącego zapotrzebowania.

Dyskurs na temat zatrzymywania i usuwania danych w LLM wykracza poza akademickie korytarze. Wymaga to dokładnej analizy i dialogu w całej branży, aby stworzyć solidne ramy zapewniające bezpieczeństwo danych, jednocześnie wspierając rozwój i potencjał sztucznej inteligencji.

To przedsięwzięcie badaczy z UNC stanowi znaczący krok w kierunku zrozumienia i ostatecznego rozwiązania problemu „nieusuwalnych” danych, a także krok bliżej do uczynienia sztucznej inteligencji bezpieczniejszym narzędziem w epoce cyfrowej.

Znak czasu:

Więcej z MetaWiadomości