ТОКИО, 26 сентября 2023 г. – (JCN Newswire) – Сегодня компания Fujitsu объявила о запуске двух новых технологий доверия ИИ, призванных повысить надежность ответов диалоговых моделей ИИ. Недавно разработанные технологии включают в себя метод обнаружения галлюцинаций в моделях разговорного ИИ (феномен, при котором генеративный ИИ создает неверные или несвязанные выходные данные), а также метод, совместно разработанный в его небольшой исследовательской лаборатории.1) в Университете Бен-Гуриона для обнаружения URL-адресов фишинговых сайтов, внедренных в ответы ИИ посредством отравляющих атак, вносящих ложную информацию.
С помощью новых технологий Fujitsu стремится предоставить корпоративным и индивидуальным пользователям инструмент для оценки надежности ответов диалогового ИИ, что в конечном итоге будет способствовать более безопасному использованию ИИ в различных сценариях использования, в том числе для предприятий, стремящихся внедрить эту технологию в реальные операции.
Профессор Юваль Эловичи из Университета Бен-Гуриона комментирует: «Генераторный ИИ является важнейшей областью, и в рамках этой области технология обнаружения галлюцинаций, разработанная Fujitsu, становится ключевой для создания надежных диалоговых систем ИИ. Исследователи из Университета Бен-Гуриона (BGU) и Fujitsu впервые разработали инновационную технику для повышения безопасности фильтрации URL-адресов на основе искусственного интеллекта от вредоносных угроз. Наш прорыв сосредоточен на табличных данных, что приводит к созданию более устойчивого механизма защиты от состязательных атак в области фильтрации URL-адресов на основе искусственного интеллекта. В дальнейшем Fujitsu и Университет Бен-Гуриона намерены сотрудничать в разработке новых, ориентированных на безопасность достижений в области генеративного искусственного интеллекта».
Fujitsu включит эти новые технологии в свой основной механизм диалогового искусственного интеллекта, предоставляемый через «Fujitsu Kozuchi (кодовое название) — Fujitsu AI Platform», которая предлагает пользователям доступ к широкому спектру мощных технологий искусственного интеллекта и машинного обучения. Технология обнаружения галлюцинаций с помощью диалогового ИИ будет доступна пользователям в Японии с 28 сентября 2023 года, а технология обнаружения URL-адресов фишинговых сайтов в ответах диалогового ИИ — с октября 2023 года. Обе новые технологии будут доступны корпоративным пользователям в качестве демонстрационную среду через Kozuchi и отдельным пользователям через специальный портал (2). Fujitsu планирует в будущем вывести обе технологии на мировой рынок.
Применяя диалоговый ИИ в бизнес-операциях, компании часто используют эту технологию для извлечения информации, связанной с вопросами, из предварительно зарегистрированных бизнес-данных и добавления данных в качестве справочной информации при задании вопросов внешнему диалоговому ИИ. Хотя этот метод обеспечивает точные ответы и уменьшает галлюцинации, полное предотвращение галлюцинаций представляет собой постоянную проблему, поскольку разговорный ИИ в некоторых случаях не может правильно извлечь информацию, связанную с вопросами, и, соответственно, создает несвязанные, неправильные ответы. Несмотря на методы оценки степени, в которой ответ ИИ может быть галлюцинацией (оценка галлюцинаций), точная оценка этого показателя остается сложной задачей, поскольку разговорный ИИ использует различные фразы для выражения одного и того же факта.
Основываясь на наблюдении, что разговорный ИИ часто генерирует неверную информацию для имен собственных и чисел, а содержание ответов имеет тенденцию различаться при повторяющихся вопросах, Fujitsu разработала технологию для выявления и фокусировки на частях предложений, в которых могут возникнуть галлюцинации.
Чтобы вычислить высокоточную оценку галлюцинаций, новая технология сначала разбивает ответ ИИ на три части (субъект, предикат, объект и т. д.), а затем автоматически идентифицирует в ответе именованные сущности. На следующем этапе технология оставляет эти именованные объекты пустыми и неоднократно просит внешний ИИ более точно определить эти конкретные выражения. (Фигура 2)
Fujitsu протестировала эту технологию, используя открытые данные, в том числе набор данных о галлюцинациях WikiBio GPT-3 (3) и обнаружили, что это может повысить точность обнаружения (AUC-ROC) (4) примерно на 22% по сравнению с другими современными методами обнаружения галлюцинаций ИИ, такими как SelfCheckGPT (5).
Поскольку диалоговый ИИ создает ответы на основе своих обучающих данных, враждебные сущности могут обманом заставить ИИ создавать ответы, включающие в себя манипулируемую информацию, такую как фишинговые URL-адреса, которые ведут на поддельные веб-сайты, путем внедрения вредоносной информации в данные обучения ИИ.
Чтобы решить эту проблему, Fujitsu разработала технологию обнаружения манипулируемых URL-адресов в ответах диалогового ИИ. Как только технология обнаруживает фишинговый URL-адрес, она выдает пользователям предупреждающее сообщение.
Новая технология Fujitsu не только обнаруживает фишинговые URL-адреса, но и повышает устойчивость ИИ к существующим атакам, заставляя модели ИИ делать преднамеренные ошибки, чтобы обеспечить высокую надежность ответов ИИ. В новой технологии используется метод, совместно разработанный Fujitsu и Университетом Бен-Гуриона в Негеве в Малой исследовательской лаборатории Fujitsu, созданной в Университете Бен-Гуриона. Технология использует тенденцию, согласно которой враждебные субъекты часто атакуют один тип модели ИИ, и обнаруживает вредоносные данные, обрабатывая информацию с помощью различных моделей ИИ и оценивая разницу в обосновании результата решения.
Эту технологию можно использовать не только для обнаружения фишинговых URL-адресов, но и для предотвращения общих атак с целью обмана моделей ИИ, использующих табличные данные, и, таким образом, ее также можно использовать для предотвращения атак на другие службы.
[1] Малая исследовательская лаборатория Fujitsu:Инициатива, в рамках которой исследователи Fujitsu внедряются в технологические инкубаторы в университетах Японии и по всему миру для проведения совместных исследований с некоторыми ведущими умами в своих областях, включая профессоров, а также следующее поколение исследователей.
[2] Отдельные пользователи также могут опробовать расширенные API и веб-приложения Fujitsu, создав учетную запись на исследовательском портале Fujitsu. (Исследовательский портал Fujitsu: портал, который открыт для публики с июня 2023 года и предоставляет зарегистрированным пользователям доступ к пробным версиям передовых технологий Fujitsu. Fujitsu предлагает передовые технологии корпоративным пользователям через «Fujitsu Kozuchi (кодовое название) – Fujitsu AI Platform»). и отдельным пользователям через этот портал.)
[3] WikiBio GPT-3 Набор данных о галлюцинациях:Сравнительные данные на основе Википедии для обнаружения галлюцинаций.
[4] AUC-ROC (Площадь под кривой рабочей характеристики приемника):Площадь под кривой кривой, полученной при изменении порогового значения оценки относительно оценки отклонения путем размещения истинно положительного показателя на вертикальной оси и ложноположительного уровня на горизонтальной оси. Оценка случайной аномалии равна 0.5, а идеального ответа — 1.0. Обычно считается, что определенный уровень производительности может быть достигнут, если он превышает 0.7.
[5] СамопроверкаGPT:Технология обнаружения галлюцинаций, разработанная в Кембриджском университете, Великобритания
Приверженность Fujitsu целям в области устойчивого развития (ЦУР)
Цели в области устойчивого развития (ЦУР), принятые Организацией Объединенных Наций в 2015 году, представляют собой набор общих целей, которые должны быть достигнуты во всем мире к 2030 году. Цель Fujitsu - «сделать мир более устойчивым путем укрепления доверия в обществе с помощью инноваций» - это обещание внести свой вклад в видение лучшего будущего на основе ЦУР.
О Fujitsu
Цель Fujitsu — сделать мир более устойчивым, укрепляя доверие общества с помощью инноваций. Являясь предпочтительным партнером по цифровым преобразованиям для клиентов в более чем 100 странах, наши 124,000 6702 сотрудников работают над решением некоторых из самых серьезных проблем, стоящих перед человечеством. Наш спектр услуг и решений опирается на пять ключевых технологий: вычисления, сети, искусственный интеллект, данные и безопасность и конвергентные технологии, которые мы объединяем для обеспечения устойчивого преобразования. Fujitsu Limited (TSE:3.7) сообщила о консолидированной выручке в размере 28 трлн иен (31 млрд долларов США) за финансовый год, закончившийся 2023 марта XNUMX года, и остается ведущей компанией цифровых услуг в Японии по доле рынка. Узнать больше: www.fujitsu.com.
Контакты для прессы:
Fujitsu Limited
Отдел по связям с общественностью и инвесторами
Запросы (https://bit.ly/3rrQ4mB)
- SEO-контент и PR-распределение. Получите усиление сегодня.
- PlatoData.Network Вертикальный генеративный ИИ. Расширьте возможности себя. Доступ здесь.
- ПлатонАйСтрим. Интеллект Web3. Расширение знаний. Доступ здесь.
- ПлатонЭСГ. Углерод, чистые технологии, Энергия, Окружающая среда, Солнечная, Управление отходами. Доступ здесь.
- ПлатонЗдоровье. Биотехнологии и клинические исследования. Доступ здесь.
- Источник: https://www.jcnnewswire.com/pressrelease/86719/3/
- :имеет
- :является
- :нет
- :куда
- 000
- 1
- 100
- 2015
- 2023
- 2030
- 26%
- 28
- 31
- 7
- a
- доступ
- соответственно
- Учетная запись
- точность
- точный
- точно
- достигнутый
- через
- фактического соединения
- Добавить
- адрес
- принял
- продвинутый
- достижения
- состязательный
- против
- впереди
- AI
- AI модели
- Платформа AI
- Системы искусственного интеллекта
- AI обучение
- Стремясь
- Цель
- причислены
- Несмотря на то, что
- an
- и
- объявило
- ответ
- API
- Приложения
- Применение
- примерно
- МЫ
- ПЛОЩАДЬ
- AS
- спрашивающий
- At
- атаковать
- нападки
- автоматически
- доступен
- избежать
- Ось
- основанный
- BE
- было
- Бен
- Бен Гурион
- Университет Бен-Гуриона
- протестированные
- Лучшая
- миллиард
- изоферменты печени
- брейки
- прорыв
- приносить
- Строительство
- бизнес
- бизнес
- но
- by
- вычислять
- Кембридж
- CAN
- случаев
- определенный
- проблемы
- менялась
- характеристика
- выбор
- код
- сотрудничать
- Комментарии
- обязательство
- Общий
- Компания
- сравненный
- полный
- вычисление
- Проводить
- считается
- контакты
- содержание
- способствовать
- содействие
- сходящийся
- Конвергентные технологии
- диалоговый
- разговорный ИИ
- Основные
- Корпоративное
- может
- страны
- создает
- Создающий
- критической
- кривая
- Клиенты
- данным
- преданный
- Защита
- определять
- Степень
- доставить
- демонстрация
- обнаруживать
- обнаружение
- развитый
- Развитие
- отличаться
- разница
- различный
- трудный
- Интернет
- цифровые услуги
- компания цифровых услуг
- цифровое преобразование
- Разделение
- домен
- вниз
- рисовать
- встроенный
- возникает
- сотрудников
- уполномоченный
- закончился
- Двигатель
- повышать
- обеспечивать
- лиц
- Окружающая среда
- установленный
- налаживание
- оценка
- и т.д
- оценивать
- оценки
- существующий
- экспресс
- выражения
- и, что лучший способ
- извлечение
- всего лишь пяти граммов героина
- факт
- не настоящие
- ложный
- Поля
- фигура
- фильтрация
- Найдите
- Во-первых,
- Фискальный
- 5
- Фокус
- фокусируется
- Что касается
- Ковка
- найденный
- часто
- от
- Fujitsu
- будущее
- Общие
- в общем
- генерирует
- поколение
- генеративный
- Генеративный ИИ
- Глобальный
- глобальный рынок
- Цели
- величайший
- Есть
- высший
- очень
- горизонтальный
- HTTPS
- Человечество
- идентифицирует
- определения
- изображение
- осуществлять
- улучшать
- in
- включают
- В том числе
- Увеличивает
- Инкубаторы
- individual
- информация
- вводить
- Инновации
- инновационный
- на международном уровне
- в
- инвестор
- Отдел по связям с инвесторами
- вопрос
- вопросы
- IT
- ЕГО
- Япония
- совместная
- JPG
- июнь
- Основные
- лаборатория
- запуск
- запускает
- вести
- ведущий
- уровень
- рычаги
- Вероятно
- Ограниченный
- сделать
- Создание
- манипулировать
- Март
- рынок
- доля рынка
- механизм
- сообщение
- метод
- методы
- может быть
- умов
- ML
- модель
- Модели
- БОЛЕЕ
- перемещение
- имя
- Названный
- Наций
- сетей
- Новые
- Новые технологии
- вновь
- Лента новостей
- следующий
- существительные
- роман
- номера
- объект
- полученный
- октябрь
- of
- Предложения
- .
- on
- консолидировать
- постоянный
- только
- открытый
- открытые данные
- операционный
- Операционный отдел
- or
- Другое
- наши
- внешний
- выходной
- за
- обзор
- партнер
- части
- ИДЕАЛЬНОЕ
- производительность
- явление
- фишинг
- фразы
- впервые
- основной
- размещение
- Планы
- Платформа
- Платон
- Платон Интеллектуальные данные
- ПлатонДанные
- Портал
- положительный
- мощный
- предотвращать
- предотвращение
- обработка
- обещание
- правильный
- для защиты
- обеспечивать
- при условии
- приводит
- что такое варган?
- цель
- Вопросы
- случайный
- ассортимент
- Обменный курс
- обоснование
- область
- снижает
- зарегистрированный
- Связанный
- отношения
- надежность
- складская
- остатки
- повторный
- НЕОДНОКРАТНО
- Ответить
- Сообщается
- представлять
- представляет
- исследованиям
- исследователи
- упругий
- Сопротивление
- уважение
- ответы
- результат
- в результате
- поступления
- то же
- Гол
- ЦУР
- безопасный
- безопасность
- Семь
- сентябрь
- Услуги
- сервисная компания
- набор
- Поделиться
- с
- одинарной
- сайте
- небольшой
- Общество
- Решения
- некоторые
- конкретный
- стоит
- Начало
- современное состояние
- Шаг
- предмет
- такие
- Стабильность
- комфортного
- Устойчивое развитие
- системы
- Сложность задачи
- технологии
- Технологии
- чем
- который
- Ассоциация
- Будущее
- мир
- их
- тогда
- Эти
- этой
- угрозы
- три
- порог
- Через
- Таким образом
- в
- сегодня
- вместе
- инструментом
- топ
- Обучение
- трансформация
- партнер по трансформации
- суд
- Триллион
- правда
- Доверие
- надежных
- заслуживающий доверия
- стараться
- ТСЭ: 6702
- два
- напишите
- В конечном счете
- не в состоянии
- под
- Объединенный
- Объединенные Нации
- Университеты
- Университет
- университет Кембриджа
- URL
- использование
- используемый
- пользователей
- использования
- через
- ценностное
- различный
- версии
- вертикальный
- с помощью
- видение
- предупреждение
- we
- Web
- веб-приложений
- веб-сайты
- ЧТО Ж
- когда
- который
- в то время как
- широкий
- Широкий диапазон
- Википедия.
- будете
- в
- Работа
- Мир
- по всему миру
- год
- Иена
- зефирнет