Microsoft представила набор инструментов, которые якобы помогут сделать модели искусственного интеллекта более безопасными для использования в Azure.
С тех пор, как бизнес облачных технологий и кода начал вкладывать средства в OpenAI и наполнять свою империю программного обеспечения возможностями чат-ботов (драма, разыгранная с таким же рвением конкурентами на фоне грандиозных обещаний о производительности), Microsoft пришлось признать, что генеративный ИИ сопряжен с риском.
Ассоциация Опасности широко известны, но иногда беззаботно отмахиваются. Десять лет назад Илон Маск предупредил, что ИИ может просто уничтожить человечество. Однако эта обеспокоенность не помешала ему сделать ИИ доступным в легковые автомобили, на его Мегафон в социальных сетяхи, возможно, вскоре в Роботы.
Появление больших языковых моделей, вызывающих галлюцинации и предлагающих неверные или вредные ответы, привело к возвращению к чертежной доске, но в зал заседаний для дальнейшего финансирования. Вместо того, чтобы производить безопасный и этичный продукт, технологическая индустрия пытается приручить дикие модели или, по крайней мере, держать их достаточно далеко от клиентов, которые могут выйти из-под контроля, не причиняя никому вреда.
А если это не сработает, всегда есть возмещение убытков от юридических претензий, при соблюдении определенных условий, со стороны поставщиков.
Обязательства отрасли по обеспечению безопасности ИИ совпадают с соответствующими требованиями правительства. В США в четверг Управление управления и бюджета Белого дома (OMB) выпущенный это первая общегосударственная политика по устранению рисков, связанных с ИИ.
Политика требует, чтобы федеральные агентства «внедрили конкретные меры защиты при использовании ИИ таким образом, который может повлиять на права или безопасность американцев» к 1 декабря. Это означает оценку рисков, тестирование и мониторинг, усилия по ограничению дискриминации и предвзятости, а также по поощрению прозрачность приложений ИИ, касающихся здравоохранения, образования, жилья и занятости.
Таким образом, Microsoft сообщает о своих последних мерах по обеспечению безопасности ИИ через Сару Берд, директора по продукту ответственного ИИ, и эта должность подразумевает существование безответственного ИИ – если вы можете себе это представить.
Бёрд говорит, что бизнес-лидеры пытаются сбалансировать инновации и управление рисками, чтобы позволить им использовать генеративный искусственный интеллект, не подвергаясь им опасности.
«Атаки с быстрым внедрением стали серьезной проблемой, когда злоумышленники пытаются манипулировать системой искусственного интеллекта, чтобы она делала что-то, выходящее за рамки ее предполагаемой цели, например, создавая вредоносный контент или кража конфиденциальных данных», — объясняет Бёрд в своей статье. блоге.
«Помимо снижения этих рисков безопасности, организации также обеспокоены качеством и надежностью. Они хотят быть уверенными, что их системы искусственного интеллекта не генерируют ошибок и не добавляют информацию, не подтвержденную источниками данных приложения, что может подорвать доверие пользователей».
Поскольку безопасность и точность не включены в стоимость подписки на ИИ, Microsoft видит в этом возможность. продать их в качестве дополнения.
Клиенты, использующие Azure AI Studio для создания генеративных приложений ИИ, могут рассчитывать на четыре новых инструмента.
Во-первых, есть Проворные щиты, которые обещают помочь защититься от атак с быстрым внедрением. Ранее известный как «Обнаружение риска взлома», а теперь доступный для публичной предварительной версии, это способ снизить риск как прямого, так и косвенного оперативного вмешательства в базовые модели.
Прямые атаки включают подсказки (входные данные), предназначенные для того, чтобы модель игнорировала обучение технике безопасности. Косвенные атаки — это попытки проникнуть в модель. Одним из способов сделать это может быть включение в электронное письмо скрытого текста, зная, что модель искусственного интеллекта, действующая от имени получателя, скажем, через Copilot в Outlook, проанализирует сообщение, интерпретирует скрытый текст как команду и, возможно, действуйте согласно инструкциям, делая что-то вроде молчаливого ответа с конфиденциальными данными.
Во-вторых, Обнаружение заземления, система, позволяющая отслеживать, когда модели ИИ галлюцинируют или что-то выдумывают. Он предоставляет клиентам несколько вариантов при обнаружении ложного заявления, включая отправку ответа обратно для проверки перед отображением. Microsoft заявляет, что добилась этого, создав собственную языковую модель, которая оценивает необоснованные утверждения на основе исходных документов. Итак, ответом на вопрос безопасности модели ИИ, как вы уже догадались, является другая модель.
Хотя это замечательный шаг на пути к надежному ИИ, проблема все еще не решена.
В-третьих, у нас есть Оценка безопасности с помощью искусственного интеллекта в AI Studio, которые предоставляют среду тестирования для представления шаблонов подсказок и параметров для моделирования, которое тестирует различные состязательные взаимодействия с приложением клиента. Опять же, ИИ должен тестировать ИИ.
И, наконец, есть «Мониторинг рисков и безопасности»— функция службы Azure OpenAI, предоставляющая метрики вредоносного контента.
Вину Санкар Садасиван, докторант Университета Мэриленда, который помог разработать ЗВЕРЬ атака по программе LLM рассказал Регистр что, хотя приятно видеть инструменты Azure для создания более безопасного ИИ, добавление большего количества моделей расширяет потенциальную поверхность атаки.
«Инструменты оценки безопасности и мониторинга рисков и безопасности Azure важны для исследования надежности моделей ИИ», — сказал он. «Хотя это замечательный шаг на пути к надежному ИИ, проблема все еще не решена. Например, представленные ими быстрые щиты, предположительно, используют другую модель искусственного интеллекта для обнаружения и блокирования непрямых оперативных атак. Эта модель ИИ может быть уязвима для таких угроз, как состязательные атаки.
«Злоумышленники могут использовать эти уязвимости для обхода Prompt Shields. Хотя сообщения системы безопасности в некоторых случаях оказались эффективными, существующие атаки, такие как BEAST, могут состязательно атаковать модели ИИ, чтобы в кратчайшие сроки взломать их. Хотя внедрение защиты для систем искусственного интеллекта выгодно, важно помнить об их потенциальных недостатках». ®
- SEO-контент и PR-распределение. Получите усиление сегодня.
- PlatoData.Network Вертикальный генеративный ИИ. Расширьте возможности себя. Доступ здесь.
- ПлатонАйСтрим. Интеллект Web3. Расширение знаний. Доступ здесь.
- ПлатонЭСГ. Углерод, чистые технологии, Энергия, Окружающая среда, Солнечная, Управление отходами. Доступ здесь.
- ПлатонЗдоровье. Биотехнологии и клинические исследования. Доступ здесь.
- Источник: https://go.theregister.com/feed/www.theregister.com/2024/03/29/microsoft_azure_safety_tools/
- :имеет
- :является
- :нет
- :куда
- $UP
- 1
- 7
- a
- О нас
- выполнено
- точность
- признавать
- Действие (Act):
- действующий
- актеры
- Дополнительный
- добавить
- дополнение
- адрес
- состязательный
- снова
- против
- агентствах
- тому назад
- AI
- AI модели
- Риски ИИ
- Системы искусственного интеллекта
- якобы
- позволять
- причислены
- всегда
- Среди
- an
- и
- Другой
- ответ
- кто угодно
- Применение
- Приложения
- Программы
- МЫ
- AS
- в сторону
- оценки
- At
- атаковать
- нападки
- доступен
- Лазурный
- назад
- Баланс
- основанный
- BE
- от имени
- не являетесь
- полезный
- смещение
- biz
- Заблокировать
- доска
- изоферменты печени
- Приносит
- бюджет
- Строительство
- бизнес
- Бизнес лидеры
- но
- by
- байпас
- CAN
- возможности
- случаев
- определенный
- вызов
- Chatbot
- главный
- директор по продукту
- утверждать
- требования
- CO
- выходит
- обязательств
- Беспокойство
- обеспокоенный
- бетон
- конфиденциальный
- содержание
- соответствующий
- может
- Создайте
- изготовленный на заказ
- клиент
- Клиенты
- данным
- десятилетие
- Декабрь
- оборонительные сооружения
- запросы
- предназначенный
- обнаруживать
- обнаруженный
- обнаружение
- развивать
- А не было
- направлять
- Дисплей
- do
- Документация
- Безразлично
- дело
- Драма
- недостатки
- рисование
- Обучение
- Эффективный
- усилия
- Элон
- Elon Musk
- появившийся
- появление
- империя
- занятость
- достаточно
- обеспечивать
- равный
- ошибки
- существенный
- этический
- оценки
- захватывающий
- существование
- существующий
- раскрываться
- Объясняет
- ложный
- далеко
- Особенность
- Федеральный
- Комисии
- пыл
- в заключение
- Во-первых,
- Что касается
- вперед
- Год основания
- 4
- Рамки
- от
- финансирование
- средства
- далее
- порождающий
- генеративный
- Генеративный ИИ
- Правительство
- догадывался
- было
- вредный
- Есть
- he
- Медицина
- помощь
- помог
- Скрытый
- его
- его
- С надеждой
- Вилла / Бунгало
- жилье
- HTTPS
- if
- игнорировать
- картина
- Влияние
- осуществлять
- важную
- in
- включают
- включены
- В том числе
- неправильный
- промышленность
- информация
- Инновации
- вход
- затраты
- пример
- инструкции
- предназначенных
- взаимодействие
- в
- вводить
- выпустили
- расследование
- включать в себя
- IT
- ЕГО
- побег из тюрьмы
- JPG
- всего
- Сохранить
- знания
- известный
- язык
- большой
- последний
- Лидеры
- наименее
- привело
- Юр. Информация
- Кредитное плечо
- такое как
- ОГРАНИЧЕНИЯ
- посмотреть
- сделать
- Создание
- злонамеренный
- управление
- Мэриленд
- означает
- меры
- Медиа
- сообщение
- Сообщения
- Метрика
- Microsoft
- может быть
- смягчать
- смягчающим
- смешивать
- модель
- Модели
- Мониторинг
- БОЛЕЕ
- Маск:
- Новые
- нет
- сейчас
- of
- предлагают
- Офис
- сотрудник
- on
- ONE
- OpenAI
- Возможность
- Опции
- or
- организации
- внешний
- Outlook
- внешнюю
- параметры
- возможно
- Платон
- Платон Интеллектуальные данные
- ПлатонДанные
- политика
- потенциал
- представляя
- предварительный просмотр
- предварительно
- Предварительный
- Проблема
- производит
- производства
- Продукт
- производительность
- обещание
- Обещает
- продвижении
- наводящие
- обеспечивать
- приводит
- что такое варган?
- цель
- скорее
- относиться
- надежность
- оставаться
- требуется
- ответ
- ответы
- ответственный
- возвращают
- правые
- Снижение
- управление рисками
- рисках,
- соперников
- рулонах
- Run
- s
- безопасный
- защитные меры
- безопаснее
- Сохранность
- Сказал
- сообщили
- говорит
- безопасный
- безопасность
- риски безопасности
- посмотреть
- видит
- продаем
- отправка
- чувствительный
- обслуживание
- набор
- несколько
- показанный
- значительный
- стащить
- So
- Software
- некоторые
- удалось
- иногда
- скоро
- Источник
- Источники
- и политические лидеры
- Шаг
- По-прежнему
- Stop
- "Студент"
- студия
- предмет
- подписка
- такие
- поставщики
- Поверхность
- система
- системы
- технологии
- техническая промышленность
- шаблоны
- terms
- тестXNUMX
- Тестирование
- тестов
- текст
- чем
- который
- Ассоциация
- их
- Их
- Там.
- Эти
- они
- вещи
- этой
- хоть?
- угрозы
- Через
- Четверг
- время
- Название
- в
- заявил
- инструменты
- трогательный
- к
- Обучение
- Прозрачность
- Доверие
- заслуживающий доверия
- стараться
- пытается
- Университет
- us
- использование
- Информация о пользователе
- через
- различный
- Уязвимости
- Уязвимый
- хотеть
- предупреждал
- Путь..
- we
- когда
- который
- в то время как
- белый
- Белый дом
- КТО
- широкий
- широко
- будете
- без
- замечательный
- Word
- Работа
- еще
- Ты
- зефирнет