IBM Security 的研究人员揭示了人工智能中一个令人震惊的新威胁:通过一种称为“音频劫持”的技术操纵实时对话的能力。
这种方法利用生成式人工智能和深度伪造音频技术,可以实时拦截和改变口语,给数字通信带来前所未有的风险。
也可以参考: AI Deepfake 检测在应对日益增长的欺骗挑战方面取得进展
暴露音频劫持的威胁
音频劫持的工作原理是处理来自双向通信(例如电话)的实时音频,并查找特定的关键字或短语。当检测到这些触发器时,人工智能就会介入,并在到达目的地之前用经过操纵的深度伪造版本替换真实的音频。令人惊叹的 插图 该技术的一部分是由 IBM 研究人员提供的,他们在不被发现的情况下更改了对话期间所说的银行帐户信息。
音频劫持:使用生成式人工智能扭曲实时音频交易:生成式人工智能的兴起,包括文本到图像、文本到语音和大语言模型 (LLM),极大地改变了我们的工作和个人生活。虽然这些进步... https://t.co/GR6AyVACZX pic.twitter.com/Ucw7tNeQCE
— 沙阿·谢赫 (@shah_sheikh) 2024 年 2 月 1 日
设计这种攻击的概念验证的容易程度令人不安。研究人员指出,最具挑战性的部分不是创建人工智能,而是现场音频录制和处理的技术细节。这种易于开发的方式与传统期望有很大的不同,在传统期望中,这样的努力需要跨多个计算机科学领域的大量专业知识。
“构建这个 PoC 出奇地简单。我们大部分时间都花在研究如何从麦克风捕获音频并将音频输入生成人工智能。”
在这个方案中,角色 生成式人工智能 很关键。该技术仅使用人声的三秒钟,就可以制造出令人信服的克隆,从而根据需要生产合法的深度赝品。这种通过 API 提供的能力指出了高级操作工具民主化进程中令人不安的趋势。
“如今,我们只需要三秒钟的时间就可以克隆一个人的声音,并使用文本转语音 API 来生成真实的假声音。”
影响和潜在的滥用
然而,音频劫持的影响不仅仅限于财务欺诈。这种技术能够进行实时审查,在不被发现的情况下改变新闻和政治演讲等直播内容。这些功能损害了信息的完整性,对民主和公众信任产生深远影响。
由于音频劫持攻击的屏障较低,复杂的社会工程或网络钓鱼已显着减少。这种轻松会引发此类攻击蔓延的问题,从而对当前的安全措施提出挑战并需要新的防御机制。
“这种 PoC 的成熟将给消费者带来重大风险,最重要的是……这种攻击越完善,它可能覆盖的受害者网络就越广泛。”
音频劫持现象凸显了人工智能开发中一个更广泛的问题: 生成技术。一方面,它们是创新和创造力无限可能的源泉;另一方面,它们的潜力也不容忽视。这一事件引发了一个关键问题:社会如何利用人工智能的优势,同时防范其黑暗应用?
引领人工智能安全的未来
随着数字威胁形势的不断变化,IBM Security 对音频劫持的识别是保持警惕和实现网络安全现代化的重要警告。对策的发展,包括创新的检测算法和更强大的加密技术,对于应对此类复杂的威胁至关重要。
此外,这一披露表明道德问题是 人工智能研究 和发展。为人工智能负责任的使用制定规则和基准对于解决此类强大技术的危险至关重要。
- :具有
- :是
- :不是
- $UP
- 1
- 11
- 7
- 8
- a
- 对,能力--
- 账号管理
- 横过
- 解决
- 高级
- 驳
- AI
- 算法
- 改变
- an
- 和
- API
- APIs
- 应用领域
- 保健
- 人造的
- 人工智能
- AS
- At
- 攻击
- 攻击
- 音频
- 真实
- 可使用
- 银行
- 银行账户
- 屏障
- BE
- 很
- before
- 作为
- 基准
- 好处
- 超越
- 更广泛
- 但是
- by
- 呼叫
- CAN
- 能力
- 能力
- 捕获
- 检查
- 挑战
- 挑战
- 变
- 战斗
- 沟通
- 通信
- 妥协
- 一台
- 计算机科学
- 大量
- 消费者
- 谈话
- 对话
- 可以
- 创造
- 创造力
- 危急
- 电流
- 网络安全
- 危险
- 暗
- 欺骗
- deepfakes
- 国防
- 需求
- 民主
- 民主化
- 离开
- 目的地
- 检测
- 检测
- 研发支持
- 数字
- 泄露
- 讨论
- 双重
- ,我们将参加
- 缓解
- 易
- 影响
- 努力
- 加密
- 工程师
- 必要
- 伦理
- 进化
- 期望
- 专门知识
- 专家
- 假
- 字段
- 金融
- 财务欺诈
- 找到最适合您的地方
- 针对
- 骗局
- 止
- 未来
- 生成
- 生成的
- 生成式人工智能
- Go
- 成长
- 手
- 马具
- 有
- 创新中心
- How To
- 但是
- HTTPS
- IBM
- 鉴定
- 启示
- in
- 事件
- 包含
- 信息
- 創新
- 创新
- 积分
- 诚信
- 房源搜索
- 问题
- 问题
- IT
- 它的
- 只是
- 关键词
- 已知
- 景观
- 语言
- 大
- 合法
- 生活
- 生活
- 寻找
- 低
- 低门槛
- 操纵
- 操作
- 到期
- 措施
- 机制
- 方法
- 麦克风
- 模型
- 现代化
- 更多
- 最先进的
- 自然
- 需求
- 净
- 全新
- 消息
- 注意到
- of
- on
- 一
- 仅由
- or
- 其他名称
- 我们的
- 输出
- 超过
- 部分
- 个人
- 现象
- 钓鱼
- 电话
- 电话
- 短语
- 关键的
- 柏拉图
- 柏拉图数据智能
- 柏拉图数据
- 的PoC
- 点
- 政治
- 可能性
- 潜力
- 强大
- 过程
- 处理
- 生产
- 深刻的
- 提示
- 提供
- 国家
- 公众信任
- 题
- 提高
- 宁
- 上游
- 阅读
- 真实
- 实时的
- 了解
- 减少
- 精
- 代表
- 研究人员
- 揭密
- 揭示
- 上升
- 风险
- 风险
- 角色
- 定位、竞价/采购和分析/优化数字媒体采购,但算法只不过是解决问题的操作和规则。
- 保护
- 方案
- 科学
- 秒
- 保安
- 保安措施
- 设置
- 几个
- 酋长
- 转换中
- 应该
- 信号
- 显著
- 显著
- 社会
- 社会工程学
- 社会
- 极致
- 来源
- 具体的
- 发言
- 花费
- 说
- 传播
- 吃惊的
- 步骤
- 令人惊叹
- 这样
- 出奇
- 需要
- 技术
- 技术
- 技术
- 专业技术
- 文字转语音
- 这
- 未来
- 其
- 然后
- 博曼
- 他们
- Free Introduction
- 威胁
- 威胁
- 三
- 通过
- 从而
- 次
- 至
- 工具
- 传统
- 交易
- 趋势
- true
- 信任
- 下划线
- 无限
- 史无前例
- 用法
- 使用
- 运用
- 版本
- 通过
- 受害者
- 音色
- VOICES
- 警告
- 是
- we
- ,尤其是
- 这
- 而
- WHO
- 更宽
- 中
- 也完全不需要
- 话
- 工作
- 合作
- 将
- 和风网