NeurIPS 2023：特邀演讲的要点

NeurIPS 2023：特邀演讲的要点

时间戳：19年2023月10日凌晨09:XNUMX

NeurIPS 2023 演讲

使用中途生成

NeurIPS 2023 会议于 10 月 16 日至 XNUMX 日在充满活力的新奥尔良市举行，特别强调了生成式人工智能和大型语言模型 (LLM)。鉴于该领域最近取得的突破性进展，这些主题主导讨论也就不足为奇了。

今年会议的核心主题之一是寻求更高效的人工智能系统。研究人员和开发人员正在积极寻找构建人工智能的方法，不仅比目前的法学硕士学习速度更快，而且在消耗更少的计算资源的同时拥有增强的推理能力。这种追求对于实现通用人工智能 (AGI) 至关重要，这一目标在可预见的未来似乎越来越容易实现。

NeurIPS 2023 的受邀演讲反映了这些动态且快速发展的兴趣。来自人工智能研究各个领域的演讲者分享了他们的最新成果，为了解人工智能前沿发展提供了一个窗口。在本文中，我们深入研究这些演讲，提取并讨论关键要点和经验教训，这对于理解人工智能创新的当前和未来前景至关重要。

NextGenAI：扩展的错觉和生成人工智能的未来 

In 他的谈话，慕尼黑路德维希马克西米利安大学计算机视觉与学习小组负责人 Björn Ommer 分享了他的实验室如何开发稳定扩散、他们从这个过程中学到的一些经验教训以及最近的进展，包括我们如何将扩散模型与流匹配、检索增强和 LoRA 近似等。

扩散模型

关键外包：

  • 在生成式人工智能时代，我们从关注视觉模型中的感知（即对象识别）转向预测缺失的部分（例如，使用扩散模型生成图像和视频）。
  • 20 年来，计算机视觉一直专注于基准研究，这有助于关注最突出的问题。在生成式人工智能中，我们没有任何可以优化的基准，这为每个人朝着自己的方向发展打开了空间。
  • 扩散模型通过基于分数、稳定的训练过程和高效的样本编辑结合了以前的生成模型的优点，但由于马尔可夫链较长，因此价格昂贵。
  • 强似然模型面临的挑战是，大多数比特都涉及人眼几乎无法感知的细节，而编码最重要的语义只需要几个比特。仅靠扩展并不能解决这个问题，因为计算资源需求的增长速度比 GPU 供应的增长速度快 9 倍。
  • 建议的解决方案是结合扩散模型和卷积网络的优点，特别是卷积表示局部细节的效率和扩散模型对于远程上下文的表达能力。
  • Björn Ommer 还建议使用流量匹配方法来从小型潜在扩散模型合成高分辨率图像。
  • 提高图像合成效率的另一种方法是专注于场景合成，同时使用检索增强来填充细节。
  • 最后，他介绍了用于受控随机视频合成的 iPoke 方法。

如果这些深入的内容对您有用， 订阅我们的 AI 邮件列表 当我们发布新材料时被提醒。 

负责任的人工智能的多面性 

In 她的演讲谷歌研究院的研究科学家 Lora Aroyo 强调了传统机器学习方法的一个关键局限性：它们依赖于将数据作为正面或负面示例进行二元分类。她认为，这种过度简单化忽视了现实世界场景和内容固有的复杂主观性。通过各种用例，阿罗约展示了内容的模糊性和人类观点的自然差异如何常常导致不可避免的分歧。她强调将这些分歧视为有意义的信号而不是噪音的重要性。

负责任的人工智能

以下是此次演讲的要点：

  • 人类劳动者之间的分歧可能会富有成效。洛拉·阿罗约（Lora Aroyo）没有将所有回答视为正确或错误，而是引入了“分歧真理”，这是一种通过利用评估者分歧来评估数据可靠性的分布真理方法。
  • 即使对于专家来说，数据质量也很困难，因为专家和大众劳动者一样意见不一。这些分歧可能比单个专家的回答提供更多信息。
    • 在安全评估任务中，专家们对 40% 的例子意见不一。我们需要收集更多这样的例子并利用它们来改进模型和评估指标，而不是试图解决这些分歧。
  • Lora Aroyo 也展示了他们的 安全与多样性 根据数据内容和注释者来检查数据的方法。
    • 该方法生成了一个基准数据集，其中不同人口统计群体的评级者（总共 2.5 万个评级）的 LLM 安全判断存在差异。
    • 对于 20% 的对话，很难确定聊天机器人的响应是安全还是不安全，因为将其标记为安全或不安全的受访者数量大致相同。
  • 评估者和数据的多样性在评估模型中起着至关重要的作用。未能承认广泛的人类观点和内容中存在的模糊性可能会阻碍机器学习性能与现实世界期望的一致性。
  • 80% 的人工智能安全工作已经相当不错，但剩下的 20% 需要加倍努力来解决边缘情况和无限多样性空间中的所有变体。

​一致性统计、自我生成的经验以及为什么年轻人比当前的人工智能聪明得多 

In 她的谈话印第安纳大学伯明顿分校杰出教授 Linda Smith 探讨了婴幼儿学习过程中的数据稀疏性这一主题。她特别关注对象识别和名称学习，深入研究婴儿自我生成经验的统计数据如何为数据稀疏的挑战提供潜在的解决方案。

关键外包：

  • 到三岁时，孩子们就已经具备了在各个领域一次性学习的能力。在四岁生日前不到 16,000 个小时的醒着时间里，他们成功地学习了 1,000 多种物体类别，掌握了母语的语法，并吸收了周围环境的文化和社会细微差别。
  • 琳达·史密斯博士和她的团队发现了人类学习的三个原则，可以让孩子们从如此稀疏的数据中捕捉到如此多的信息：
    • 学习者控制输入，每时每刻都在塑造和构建输入。例如，在生命的最初几个月，婴儿倾向于更多地观察具有简单边缘的物体。
    • 由于婴儿的知识和能力不断发展，因此他们遵循的课程受到高度限制。他们接触到的数据是以极其重要的方式组织的。例如，4个月以下的婴儿看脸的时间最多，每小时大约15分钟，而12个月以上的婴儿主要关注手，每小时观察手的时间约为20分钟。
    • 学习片段由一系列相互关联的经历组成。空间和时间的相关性创造了连贯性，这反过来又促进了对一次性事件的持久记忆的形成。例如，当随机呈现各种玩具时，孩子们通常会关注一些“​​最喜欢”的玩具。他们使用重复的模式来玩这些玩具，这有助于更快地学习物体。
  • 瞬时（工作）记忆比感觉输入持续的时间更长。增强学习过程的属性包括多模态、关联、预测关系和过去记忆的激活。
  • 为了快速学习，您需要生成数据的机制和学习机制之间的联盟。
婴儿学习

草图绘制：核心工具、学习增强和自适应鲁棒性 

Jelani Nelson，加州大学伯克利分校电气工程和计算机科学教授， 引入了数据“草图”的概念 – 数据集的内存压缩表示，仍然可以回答有用的查询。尽管演讲的技术性很强，但它很好地概述了一些基本的绘图工具，包括最新的进展。

​要点：

  • CountSketch 是核心绘图工具，于 2002 年首次推出，旨在解决“重击者”问题，报告给定项目流中最常见项目的一小部分列表。 CountSketch 是第一个用于此目的的已知次线性算法。
  • 重量级的两个非流媒体应用程序包括：
    • 基于内点的方法 (IPM)，为线性规划提供渐近最快的已知算法。
    • HyperAttention 方法解决了法学硕士中使用的长上下文日益复杂所带来的计算挑战。
  • 最近的许多工作都集中在设计对自适应交互具有鲁棒性的草图。主要思想是利用自适应数据分析的见解。

超越缩放面板 

本篇 关于大型语言模型的精彩小组 会议由康奈尔理工大学副教授、Hugging Face 研究员 Alexander Rush 主持。其他参与者包括：

  • Aakanksha Chowdhery – Google DeepMind 研究科学家，研究兴趣包括系统、LLM 预训练和多模态。她是开发 PaLM、Gemini 和 Pathways 的团队的一员。
  • Angela Fan – Meta Generative AI 研究科学家，研究兴趣包括对齐、数据中心和多语言。她参与了Llama-2和Meta AI Assistant的开发。
  • Percy Liang – 斯坦福大学教授，研究创造者、开源和生成代理。他是斯坦福大学基础模型研究中心（CRFM）的主任，也是Together AI的创始人。

讨论集中在四个关键主题：(1) 架构和工程，(2) 数据和对齐，(3) 评估和透明度，以及 (4) 创建者和贡献者。

以下是该小组的一些要点：

  • 训练当前的语言模型本质上并不困难。训练像 Llama-2-7b 这样的模型的主要挑战在于基础设施要求以及多个 GPU、数据中心等之间协调的需要。但是，如果参数数量足够小以允许在单个 GPU 上进行训练，即使是本科生也能做到。
  • 虽然自回归模型通常用于文本生成，扩散模型通常用于生成图像和视频，但已经进行了反转这些方法的实验。具体来说，在 Gemini 项目中，利用自回归模型来生成图像。也有人探索使用扩散模型来生成文本，但这些尚未被证明足够有效。
  • 鉴于用于训练模型的英语数据有限，研究人员正在探索替代方法。一种可能性是结合文本、视频、图像和音频来训练多模态模型，期望从这些替代模态中学到的技能可以转移到文本中。另一种选择是使用合成数据。值得注意的是，合成数据经常混合到真实数据中，但这种整合不是随机的。在线发布的文本通常会经过人工管理和编辑，这可能会为模型训练增加额外的价值。
  • 开放基础模型通常被认为有利于创新，但可能对人工智能安全有害，因为它们可能被恶意行为者利用。然而，梁珀西博士认为，开放模型也对安全做出了积极贡献。他认为，通过易于访问，它们为更多研究人员提供了进行人工智能安全研究并审查模型是否存在潜在漏洞的机会。
  • 与五年前相比，如今，注释数据需要更多注释领域的专业知识。然而，如果人工智能助手未来的表现符合预期，我们将从用户那里收到更多有价值的反馈数据，从而减少对注释者大量数据的依赖。

​基础模型系统和系统基础模型 

In 这个演讲斯坦福大学计算机科学系副教授 Christopher Ré 展示了基础模型如何改变我们构建的系统。他还探讨了如何有效地构建基础模型，借鉴数据库系统研究的见解，并讨论了比 Transformer 更高效的基础模型架构。

数据清理的基础模型

以下是本次演讲的主要内容：

  • 基础模型可以有效解决“1000 次削减导致死亡”的问题，其中每个单独的任务可能相对简单，但任务的广度和多样性带来了重大挑战。数据清理问题就是一个很好的例子，法学硕士现在可以帮助更有效地解决这个问题。
  • 随着加速器变得越来越快，内存常常成为瓶颈。这是数据库研究人员几十年来一直在解决的问题，我们可以采用他们的一些策略。例如，Flash Attention 方法通过阻塞和积极融合来最小化输入输出流：每当我们访问一条信息时，我们都会对其执行尽可能多的操作。
  • 有一种新的架构，植根于信号处理，可能比 Transformer 模型更有效，特别是在处理长序列方面。信号处理提供稳定性和效率，为 S4 等创新模型奠定基础。

数字健康干预中的在线强化学习 

In 她的谈话哈佛大学统计与计算机科学教授 Susan Murphy 分享了他们在开发用于数字健康干预的在线 RL 算法时面临的一些挑战的第一个解决方案。

以下是演讲中的一些要点：

  • Susan Murphy 博士讨论了她一直在从事的两个项目：
    • HeartStep，根据智能手机和可穿戴追踪器的数据建议活动，以及
    • 用于口腔健康指导的 Oralytics，其中干预措施基于从电子牙刷收到的参与数据。
  • 在为人工智能代理制定行为策略时，研究人员必须确保它是自主的，并且可以在更广泛的医疗保健系统中可行地实施。这需要确保个人参与所需的时间是合理的，并且建议的行动在道德上是合理的，在科学上也是合理的。
  • 开发用于数字健康干预的 RL 代理的主要挑战包括处理高噪声水平，因为人们过着自己的生活，即使他们愿意，也可能并不总是能够响应消息，以及管理强烈的、延迟的负面影响。

如您所见，NeurIPS 2023 让我们对人工智能的未来有了启发性的了解。受邀演讲强调了更高效、资源意识型模型的趋势以及对超越传统范式的新颖架构的探索。

喜欢这篇文章吗？ 注册以获取更多AI研究更新。

当我们发布更多像这样的摘要文章时，我们会通知您。

#gform_wrapper_11[data-form-index=”0″].gform-theme,[data-parent-form=”11_0″]{–gform-theme-color-primary: #204ce5;–gform-theme-color-primary-rgb: 32, 76, 229;–gform-theme-color-primary-contrast: #fff;–gform-theme-color-primary-contrast-rgb: 255, 255, 255;–gform-theme-color-primary-darker: #001AB3;–gform-theme-color-primary-lighter: #527EFF;–gform-theme-color-secondary: #fff;–gform-theme-color-secondary-rgb: 255, 255, 255;–gform-theme-color-secondary-contrast: #112337;–gform-theme-color-secondary-contrast-rgb: 17, 35, 55;–gform-theme-color-secondary-darker: #F5F5F5;–gform-theme-color-secondary-lighter: #FFFFFF;–gform-theme-color-outside-control-light: rgba(17, 35, 55, 0.1);–gform-theme-color-outside-control-light-rgb: 17, 35, 55;–gform-theme-color-outside-control-light-darker: rgba(104, 110, 119, 0.35);–gform-theme-color-outside-control-light-lighter: #F5F5F5;–gform-theme-color-outside-control-dark: #585e6a;–gform-theme-color-outside-control-dark-rgb: 88, 94, 106;–gform-theme-color-outside-control-dark-darker: #112337;–gform-theme-color-outside-control-dark-lighter: rgba(17, 35, 55, 0.65);–gform-theme-color-inside-control: #fff;–gform-theme-color-inside-control-rgb: 255, 255, 255;–gform-theme-color-inside-control-contrast: #112337;–gform-theme-color-inside-control-contrast-rgb: 17, 35, 55;–gform-theme-color-inside-control-darker: #F5F5F5;–gform-theme-color-inside-control-lighter: #FFFFFF;–gform-theme-color-inside-control-primary: #204ce5;–gform-theme-color-inside-control-primary-rgb: 32, 76, 229;–gform-theme-color-inside-control-primary-contrast: #fff;–gform-theme-color-inside-control-primary-contrast-rgb: 255, 255, 255;–gform-theme-color-inside-control-primary-darker: #001AB3;–gform-theme-color-inside-control-primary-lighter: #527EFF;–gform-theme-color-inside-control-light: rgba(17, 35, 55, 0.1);–gform-theme-color-inside-control-light-rgb: 17, 35, 55;–gform-theme-color-inside-control-light-darker: rgba(104, 110, 119, 0.35);–gform-theme-color-inside-control-light-lighter: #F5F5F5;–gform-theme-color-inside-control-dark: #585e6a;–gform-theme-color-inside-control-dark-rgb: 88, 94, 106;–gform-theme-color-inside-control-dark-darker: #112337;–gform-theme-color-inside-control-dark-lighter: rgba(17, 35, 55, 0.65);–gform-theme-border-radius: 3px;–gform-theme-font-size-secondary: 14px;–gform-theme-font-size-tertiary: 13px;–gform-theme-icon-control-number: url(“data:image/svg+xml,%3Csvg width=’8′ height=’14’ viewBox=’0 0 8 14′ fill=’none’ xmlns=’http://www.w3.org/2000/svg’%3E%3Cpath fill-rule=’evenodd’ clip-rule=’evenodd’ d=’M4 0C4.26522 5.96046e-08 4.51957 0.105357 4.70711 0.292893L7.70711 3.29289C8.09763 3.68342 8.09763 4.31658 7.70711 4.70711C7.31658 5.09763 6.68342 5.09763 6.29289 4.70711L4 2.41421L1.70711 4.70711C1.31658 5.09763 0.683417 5.09763 0.292893 4.70711C-0.0976311 4.31658 -0.097631 3.68342 0.292893 3.29289L3.29289 0.292893C3.48043 0.105357 3.73478 0 4 0ZM0.292893 9.29289C0.683417 8.90237 1.31658 8.90237 1.70711 9.29289L4 11.5858L6.29289 9.29289C6.68342 8.90237 7.31658 8.90237 7.70711 9.29289C8.09763 9.68342 8.09763 10.3166 7.70711 10.7071L4.70711 13.7071C4.31658 14.0976 3.68342 14.0976 3.29289 13.7071L0.292893 10.7071C-0.0976311 10.3166 -0.0976311 9.68342 0.292893 9.29289Z’ fill=’rgba(17, 35, 55, 0.65)’/%3E%3C/svg%3E”);–gform-theme-icon-control-select: url(“data:image/svg+xml,%3Csvg width=’10’ height=’6′ viewBox=’0 0 10 6′ fill=’none’ xmlns=’http://www.w3.org/2000/svg’%3E%3Cpath fill-rule=’evenodd’ clip-rule=’evenodd’ d=’M0.292893 0.292893C0.683417 -0.097631 1.31658 -0.097631 1.70711 0.292893L5 3.58579L8.29289 0.292893C8.68342 -0.0976311 9.31658 -0.0976311 9.70711 0.292893C10.0976 0.683417 10.0976 1.31658 9.70711 1.70711L5.70711 5.70711C5.31658 6.09763 4.68342 6.09763 4.29289 5.70711L0.292893 1.70711C-0.0976311 1.31658 -0.0976311 0.683418 0.292893 0.292893Z’ fill=’rgba(17, 35, 55, 0.65)’/%3E%3C/svg%3E”);–gform-theme-icon-control-search: url(“data:image/svg+xml,%3Csvg version=’1.1′ xmlns=’http://www.w3.org/2000/svg’ width=’640′ height=’640’%3E%3Cpath d=’M256 128c-70.692 0-128 57.308-128 128 0 70.691 57.308 128 128 128 70.691 0 128-57.309 128-128 0-70.692-57.309-128-128-128zM64 256c0-106.039 85.961-192 192-192s192 85.961 192 192c0 41.466-13.146 79.863-35.498 111.248l154.125 154.125c12.496 12.496 12.496 32.758 0 45.254s-32.758 12.496-45.254 0L367.248 412.502C335.862 434.854 297.467 448 256 448c-106.039 0-192-85.962-192-192z’ fill=’rgba(17, 35, 55, 0.65)’/%3E%3C/svg%3E”);–gform-theme-control-border-color: #686e77;–gform-theme-control-size: var(–gform-theme-control-size-md);–gform-theme-control-label-color-primary: #112337;–gform-theme-control-label-color-secondary: #112337;–gform-theme-control-choice-size: var(–gform-theme-control-choice-size-md);–gform-theme-control-checkbox-check-size: var(–gform-theme-control-checkbox-check-size-md);–gform-theme-control-radio-check-size: var(–gform-theme-control-radio-check-size-md);–gform-theme-control-button-font-size: var(–gform-theme-control-button-font-size-md);–gform-theme-control-button-padding-inline: var(–gform-theme-control-button-padding-inline-md);–gform-theme-control-button-size: var(–gform-theme-control-button-size-md);–gform-theme-control-button-border-color-secondary: #686e77;–gform-theme-control-file-button-background-color-hover: #EBEBEB;–gform-theme-field-page-steps-number-color: rgba(17, 35, 55, 0.8);}

时间戳记：

更多来自 热门