В Google мы поддерживаем Программа вознаграждений за уязвимости в знак признания передовых внешних вкладов, направленных на решение проблем в веб-ресурсах, принадлежащих Google и дочерних компаниях Alphabet. Чтобы идти в ногу с быстрым развитием технологий искусственного интеллекта и гарантировать, что мы готовы решать проблемы безопасности в ответственный Кстати, недавно мы расширили существующую Программа «Охотники за ошибками» способствовать обнаружению сторонними организациями и сообщению о проблемах и уязвимостях, характерных для наших систем искусственного интеллекта. Это расширение является частью наших усилий по реализации добровольные обязательства в области ИИ что мы сделали в Белом доме в июле.
Чтобы помочь сообществу безопасности лучше понять эти события, мы включили дополнительную информацию об элементах программы вознаграждений.
Что входит в сферу вознаграждений
В нашей недавней Отчет красной команды ИИ, который основан на Красная команда Google по искусственному интеллекту В ходе учений мы определили общие тактики, методы и процедуры (ТТП), которые мы считаем наиболее актуальными и реалистичными для реальные противники, которых можно использовать против систем искусственного интеллекта. В следующей таблице представлены все, чему мы научились, чтобы помочь исследовательскому сообществу понять наши критерии для отчетов об ошибках ИИ и то, что входит в нашу программу вознаграждений. Важно отметить, что суммы вознаграждения зависят от серьезности сценария атаки и типа затронутой цели (см. страница правил программы дополнительную информацию в нашей таблице вознаграждений).
Оперативные атаки: создание состязательных подсказок, которые позволяют злоумышленнику влиять на поведение модели и, следовательно, на выходные данные способами, не предусмотренными приложением. |
Оперативные инъекции, которые невидимы для жертв и меняют состояние аккаунта жертвы или любого из ее активов. |
|
Оперативное внедрение в любые инструменты, в которых реакция используется для принятия решений, которые напрямую влияют на пользователей-жертв. |
||
Извлечение подсказки или преамбулы, при котором пользователь может извлечь исходную подсказку, используемую для запуска модели, только в том случае, если в извлеченной преамбуле присутствует конфиденциальная информация. |
||
Использование продукта для создания оскорбительного, вводящего в заблуждение или фактически неверного контента в вашем сеансе: например, «побег из тюрьмы». Сюда входят «галлюцинации» и фактически неточные ответы. Продукты Google с генеративным искусственным интеллектом уже имеют специальный канал отчетности для подобных проблем с контентом. |
Вне области |
|
Извлечение обучающих данных: атаки, позволяющие успешно восстановить дословные обучающие примеры, содержащие конфиденциальную информацию. Также называется выводом о членстве. |
Извлечение обучающих данных, которое восстанавливает элементы, используемые в наборе обучающих данных, из которых происходит утечка конфиденциальной, закрытой информации. |
|
Извлечение, которое восстанавливает неконфиденциальную/публичную информацию. |
Вне области |
|
Манипулирование моделями: злоумышленник может скрытно изменить поведение модели так, что она может вызвать заранее определенное состязательное поведение. |
Состязательный вывод или поведение, которое злоумышленник может надежно инициировать с помощью определенных входных данных в модели, принадлежащей и управляемой Google («бэкдоры»). Только в области действия, когда выходные данные модели используются для изменения состояния учетной записи или данных жертвы. |
|
Атаки, при которых злоумышленник манипулирует данными обучения модели, чтобы повлиять на выходные данные модели в сеансе жертвы в соответствии с предпочтениями злоумышленника. Только в области действия, когда выходные данные модели используются для изменения состояния учетной записи или данных жертвы. |
||
Состязательное возмущение: входные данные, подаваемые в модель, которые приводят к детерминированным, но весьма неожиданным результатам модели. |
Контексты, в которых злоумышленник может надежно инициировать неправильную классификацию в мерах безопасности, которыми можно злоупотреблять для злонамеренного использования или получения состязательной выгоды. |
|
Контексты, в которых неверные выходные данные или классификация модели не представляют собой убедительного сценария атаки или реального пути к причинению вреда Google или пользователю. |
Вне области |
|
Кража/эксфильтрация моделей. Модели ИИ часто содержат конфиденциальную интеллектуальную собственность, поэтому мы уделяем первоочередное внимание защите этих активов. Атаки эксфильтрации позволяют злоумышленникам украсть такие сведения о модели, как ее архитектура или вес. |
Атаки, в которых извлекается точная архитектура или вес конфиденциальной/собственной модели. |
|
Атаки, при которых архитектура и веса не извлекаются точно или когда они извлекаются из неконфиденциальной модели. |
Вне области |
|
Если вы обнаружите недостаток в инструменте на основе искусственного интеллекта, отличный от указанного выше, вы все равно можете отправить его, при условии, что он соответствует требованиям. квалификации, указанные на странице нашей программы. |
Ошибка или поведение, которое явно соответствует нашей квалификации в отношении действительной проблемы безопасности или злоупотребления. |
|
Использование продукта ИИ для совершения чего-то потенциально вредного, что уже возможно с помощью других инструментов. Например, найти уязвимость в ПО с открытым исходным кодом (уже возможно с помощью общедоступных инструменты статического анализа) и дать ответ на вредный вопрос, когда ответ уже доступен в Интернете. |
Вне области |
|
В соответствии с нашей программой, проблемы, о которых мы уже знаем, не подлежат вознаграждению. |
Вне области |
|
Потенциальные проблемы с авторским правом — результаты, согласно которым продукты возвращают контент, который выглядит защищенным авторским правом. Продукты Google с генеративным искусственным интеллектом уже имеют специальный канал отчетности для подобных проблем с контентом. |
Вне области |
Мы считаем, что распространение нашей программы вознаграждения за ошибки на наши системы искусственного интеллекта будет способствовать ответственные инновации в области искусственного интеллектаи надеемся на продолжение нашей работы с исследовательским сообществом по обнаружению и устранению проблем безопасности и злоупотреблений в наших функциях на базе искусственного интеллекта. Если вы обнаружите соответствующую проблему, перейдите на наш веб-сайт Bug Hunters, чтобы отправить нам отчет об ошибке и — если проблема окажется действительной — получить вознаграждение за помощь в обеспечении безопасности наших пользователей.
- SEO-контент и PR-распределение. Получите усиление сегодня.
- PlatoData.Network Вертикальный генеративный ИИ. Расширьте возможности себя. Доступ здесь.
- ПлатонАйСтрим. Интеллект Web3. Расширение знаний. Доступ здесь.
- ПлатонЭСГ. Углерод, чистые технологии, Энергия, Окружающая среда, Солнечная, Управление отходами. Доступ здесь.
- ПлатонЗдоровье. Биотехнологии и клинические исследования. Доступ здесь.
- Источник: https://www.darkreading.com/vulnerabilities-threats/establishing-reward-criteria-for-reporting-bugs-in-ai-products
- :является
- :нет
- $UP
- 26%
- 32
- 33
- 35%
- 36
- 41
- 7
- 8
- 9
- a
- в состоянии
- О нас
- выше
- злоупотребление
- По
- Учетная запись
- адрес
- адресация
- авансы
- состязательный
- влиять на
- пострадавших
- против
- AI
- AI модели
- Системы искусственного интеллекта
- Поддержка
- позволять
- уже
- причислены
- суммы
- an
- анализ
- и
- ответ
- любой
- появляться
- Применение
- архитектура
- МЫ
- AS
- Активы
- At
- атаковать
- нападки
- доступен
- Черные ходы
- основанный
- BE
- поведение
- поведения
- верить
- Лучшая
- щедрость
- программа бонусов
- Ошибка
- ошибка баунти
- ошибки
- но
- by
- под названием
- CAN
- проблемы
- изменение
- Канал
- классификация
- явно
- Общий
- сообщество
- неотразимый
- Рассматривать
- последовательный
- содержать
- содержание
- продолжающийся
- взносы
- контроль
- авторское право
- Критерии
- передовой
- данным
- набор данных
- решения
- преданный
- зависимый
- подробнее
- события
- непосредственно
- обнаружить
- открытие
- do
- приносит
- e
- усилие
- элементы
- право
- обеспечивать
- налаживание
- пример
- Примеры
- эксфильтрации
- расширенный
- расширяющийся
- расширение
- и, что лучший способ
- извлечение
- добыча
- выполнимый
- Особенности
- Найдите
- обнаружение
- результаты
- фиксированный
- недостаток
- после
- Что касается
- вперед
- Способствовать
- найденный
- от
- FT
- Gain
- порождать
- генеративный
- Генеративный ИИ
- Go
- вред
- вредный
- Есть
- помощь
- помощь
- следовательно
- High
- очень
- честь
- Вилла / Бунгало
- HTML
- HTTP
- HTTPS
- идентифицированный
- if
- осуществлять
- важную
- in
- неточный
- включают
- включены
- включает в себя
- включает в себя
- повлиять
- информация
- начальный
- вход
- затраты
- интеллектуальный
- интеллектуальная собственность
- предназначенных
- в
- невидимый
- вопрос
- вопросы
- IT
- пункты
- ЕГО
- JPG
- июль
- Сохранить
- Знать
- утечка
- узнали
- Включенный в список
- посмотреть
- сделанный
- поддерживать
- сделать
- Соответствует
- членство
- дезориентировать
- модель
- Модели
- БОЛЕЕ
- самых
- в своих размышлениях
- of
- .
- on
- онлайн
- только
- открытый
- с открытым исходным кодом
- работать
- or
- Другое
- наши
- выходной
- собственный
- принадлежащих
- часть
- путь
- Часть
- Платон
- Платон Интеллектуальные данные
- ПлатонДанные
- пожалуйста
- поза
- возможное
- потенциально
- Точно
- (например,
- представить
- Простое число
- приоритет
- Процедуры
- производства
- Продукт
- Продукция
- FitPartner™
- наводящие
- свойства
- собственность
- защищенный
- защищающий
- при условии
- публично
- квалификации
- квалификационный
- вопрос
- быстро
- RE
- реальный мир
- реалистичный
- недавно
- Red
- соответствующие
- отчету
- Reporting
- Отчеты
- исследованиям
- ответ
- ответы
- Итоги
- возвращают
- Предложение
- вознагражденный
- условиями,
- s
- безопасный
- сценарий
- сфера
- безопасность
- Отправить
- чувствительный
- Сессия
- набор
- So
- Software
- удалось
- Источник
- конкретный
- Область
- По-прежнему
- отправить
- Успешно
- такие
- поддержка
- системы
- ТАБЛИЦЫ
- тактика
- цель
- команда
- снижения вреда
- технологии
- чем
- который
- Ассоциация
- Государство
- их
- Эти
- они
- сторонние
- этой
- в
- инструментом
- инструменты
- Обучение
- вызвать
- напишите
- Типы
- понимать
- Неожиданный
- us
- использование
- используемый
- Информация о пользователе
- пользователей
- через
- действительный
- Ve
- с помощью
- Жертва
- жертвы
- Войти
- добровольный
- Уязвимости
- уязвимость
- Путь..
- способы
- we
- Web
- Вебсайт
- были
- Что
- Что такое
- когда
- , которые
- белый
- Белый дом
- Википедия.
- будете
- Работа
- Ты
- ВАШЕ
- зефирнет