阿里巴巴集团智能计算研究院的研究人员开发了一款名为 EMO:Emote Portrait Alive 的人工智能工具,可以让肖像变得栩栩如生。
该工具使用户能够将音频和视频添加到静态图像中。使用该工具,人们可以摆弄一幅古老的肖像,比如著名的列奥纳多·达·芬奇的《拉·乔康达》(更广为人知的名字是《蒙娜丽莎》),让她通过头部姿势、动作、面部表情和准确的唇形同步来说话和唱歌。
富有表现力的音频驱动肖像视频生成工具
在他们的报告中,“EMO:Emote Portrait Alive:在弱条件下使用音视频扩散模型生成富有表现力的肖像视频” 研究人员 深入了解他们的新工具、其功能以及如何使用它来获得完美的结果。
借助富有表现力的音频驱动的肖像制作人工智能工具,用户可以创建带有面部表情的声音头像视频。研究人员表示,该工具允许他们“根据输入音频的长度”创建任何持续时间的视频。
研究人员说:“输入单个角色图像和声音音频,例如唱歌,我们的方法可以生成具有表情丰富的面部表情和各种头部姿势的声音化身视频。”
“我们的方法支持各种语言的歌曲,并将不同的肖像风格带入生活。它可以直观地识别音频中的音调变化,从而生成动态、表情丰富的化身。”
也可以参考: OpenAI 声称《纽约时报》“黑掉”了 ChatGPT 以提起版权诉讼
从肖像中说话、唱歌
研究人员表示,人工智能驱动的工具不仅可以处理音乐,还可以容纳不同语言的口语音频。
研究人员表示:“此外,我们的方法能够将过去时代的肖像、绘画以及 3D 模型和人工智能生成的内容制作成动画,为它们注入栩栩如生的动作和真实感。”
但事情并没有就此结束。用户还可以使用电影明星的肖像和图像,以各种风格和语言进行独白或表演。
一些使用 X 平台的人工智能爱好者将其描述为“令人兴奋”。
2. 蒙娜丽莎说莎士比亚 pic.twitter.com/26k29aAz1P
— 崔敏 (@minchoi) 2024 年 2 月 28 日
缩小真实与人工智能之间的界限
EMO 工具的新闻 阿里巴巴 让其他用户认为,随着科技公司不断推出新产品,人工智能与现实之间的界限即将消失。
“人工智能和现实之间的界限比以往任何时候都更薄。” 发布鲁本 在 X 上,而其他人则认为 TikTok 很快就会被创意淹没。
虽然其他人认为这可能会改变创意人员的游戏规则,但 Min Choi 对此也持谨慎态度。
“希望只是为了创造性的事情。这如果落入坏人手中可能会很危险。”
使用工具
研究人员在解释这一过程时强调,EMO 框架有两个阶段,第一个阶段称为帧编码,其中部署 ReferenceNet 从参考图像和运动帧中提取特征。
下一阶段是扩散过程阶段,其中预训练的音频编码器“处理音频嵌入”。为了创建完美的面部图像,用户集成了面部区域掩模和多帧噪声。
“这些机制分别对于保留角色的身份和调节角色的动作至关重要,”部分解释写道。
“此外,时间模块用于操纵时间维度并调整速度运动。”
- :具有
- :是
- :不是
- :在哪里
- 12
- 28
- 3d
- a
- 关于
- 关于它
- 容纳
- 根据
- 精准的
- 加
- AI
- AI供电
- 阿里巴巴
- 阿里巴巴集团
- 活着
- 允许
- 还
- an
- 和
- 赋予生命
- 任何
- 保健
- 围绕
- AS
- At
- 音频
- 头像
- 头像
- BE
- 更好
- 之间
- 都
- 边界
- 带来
- 但是
- by
- CAN
- 能力
- 谨慎
- 换
- 字符
- ChatGPT
- 索赔
- 计算
- 条件
- 内容
- 继续
- 版权
- 可以
- 创建信息图
- 创作
- 创意奖学金
- 广告
- 可信的
- da
- 危险的
- 交付
- 部署
- 描述
- 开发
- 发达
- 不同
- 扩散
- 尺寸
- 消失
- 不同
- 不
- 为期
- 动态
- 边缘
- 嵌入
- 使
- 使
- 编码
- 结束
- 爱好者
- 必要
- EVER
- 解释
- 表达式
- 表现的
- 提取
- 面部
- 著名
- 特征
- 企业
- 姓氏:
- 第一次
- 潦
- 针对
- 骨架
- 止
- 功能
- 游戏
- 改变游戏规则
- 生成
- 发电
- 代
- GitHub上
- 给
- 团队
- 手
- 有
- 头
- 这里
- 高
- 突出
- 创新中心
- How To
- HTTPS
- i
- 身分
- 图片
- 图片
- in
- 输入
- 可行的洞见
- 研究所
- 整合
- 智能化
- IT
- 它的
- JPG
- 只是
- 已知
- 语言
- 长度
- 生活
- 逼真
- 喜欢
- 制成
- 制作
- 面膜
- 最大宽度
- 机制
- 方法
- 分钟
- 模型
- 模型
- 模块
- 运动
- 运动
- 电影
- 音乐
- 全新
- 新产品
- 纽约
- “纽约时报”
- 下页
- 噪声
- 现在
- of
- 老
- on
- 一
- 仅由
- or
- 其他名称
- 其它
- 我们的
- 画
- 部分
- 表演
- 平台
- 柏拉图
- 柏拉图数据智能
- 柏拉图数据
- 播放
- 肖像
- 肖像
- 构成
- 精确的
- 保存
- 过程
- 热销产品
- 承诺
- 阅读
- 真实
- 现实主义
- 现实
- 现实
- 认识
- 参考
- 地区
- 报告
- 研究人员
- 分别
- 导致
- 成果
- 说
- 看到
- 单
- 或很快需要,
- 说
- 阶段
- 实习
- 明星
- 仍
- 这样
- 支持
- 同步。
- 谈论
- 说
- 科技
- 比
- 谢谢
- 这
- 纽约时报
- 其
- 他们
- 那里。
- 事
- 认为
- Free Introduction
- 今年
- 次
- 时
- 至
- 了
- 工具
- true
- 二
- 下
- 肆行
- 使用
- 用户
- 运用
- 利用
- 变化
- 各个
- 速度
- 视频
- 视频
- 声音的
- 弱
- 这
- 而
- WHO
- 将
- 错误
- 错误的手
- X
- 年
- 纽约
- 和风网