LLaMA 戏剧作为 Meta 的巨型语言模型泄露

由柏拉图重新发布

关注： 0

LLaMA 戏剧性地出现，Meta 的大型语言模型泄露了柏拉图区块链数据智能。垂直搜索。人工智能。

LLaMA 是 Meta 最新的大型语言模型，已在网上泄露并可供下载，尽管明显试图限制仅用于研究目的的访问。

Facebook 所有者公布 XNUMX 月，它以有限的方式发布了该模型，以选择学者、政府类型和公司在恐惧中使用骆驼可能被滥用。但是信息想要免费，或者至少某些人希望它是免费的，而 Meta 的创作无论如何都在网上找到了自己的方式，从洪流泄漏开始。

根据输入提示生成文本段落的句子预测大型语言模型已经稳步发展，从自动完成写作到能够在要求使用自然语言执行任务时能够执行任务的聊天机器人。

专家警告称，这项技术可用于在未来数年内自动制造大量虚假新闻、垃圾邮件、网络钓鱼电子邮件、虚假信息、煽动等。构建这些模型的组织通常将软件保密，置于 API 之后，或者发布有限的版本或演示。

“还需要做更多的研究来解决大型语言模型中的偏见、有毒评论和幻觉的风险，”Meta 说过上个星期。

“与其他模型一样，LLaMA 也面临着这些挑战。作为一个基础模型，LLaMA 被设计成多功能的，可以应用于许多不同的用例，而不是为特定任务设计的微调模型。

“为了保持完整性并防止滥用，我们将根据专注于研究用例的非商业许可发布我们的模型。将根据具体情况授予学术研究人员访问该模型的权限；隶属于政府、民间社会和学术界组织的人员；和世界各地的行业研究实验室。”

入门指南

但是 Meta 控制对 LLaMA 的访问的努力似乎是徒劳的，或者看起来是这样。在与选定的研究人员、工业界和民间社会分享模型后不久，4Chan 上的某个人发布了有关如何通过点对点文件共享获取整个模型的详细信息，并最终有关如何全部下载的说明已发布在 GitHub 上。

与往常一样，从种子下载此类内容时要小心谨慎，以防有人在其中隐藏了恶意内容。我们被告知，这个 65 亿参数的模型占用了大约 220GB 的磁盘空间。

我们注意到，通过 GitHub 提供的 LLaMA 副本似乎是合法的。 Shawn Presser，一个 AI工程师他在微软的代码共享网站上编写了下载说明，并向我们展示了他成功从模型生成文本的屏幕截图。他认为，一名从 Meta 获得该模型访问权限的研究人员泄露了该模型，导致该模型的分布范围可能超出预期。

启动你的阴谋论引擎。

Presser 认为在没有任何警告的情况下自由发布该模型比仅将其限制在获得批准的学者中要好。 “我认为利大于弊，至少十倍。可能接近 100 倍，”他告诉注册.

一般来说，训练和运行最先进的大型语言模型是昂贵的；只有有权访问大量 GPU 和其他基础设施的组织才能构建、调整和测试它们。 Meta 的 AI 研究人员将 LLaMA 建造得更小，使其比当今的商业模型更紧凑，因此无需大量 IT 预算的学者和开发人员也更容易使用它。

Meta 的机器学习专家声称他们的系统优于 OpenAI 的 GPT-3，并且与其他大型语言模型一样好，例如 Google 的 540 亿参数 PaLM 或 DeepMind 的 70 亿参数 Chinchilla。较小的尺寸意味着计算资源较少的科学家应该更容易使用。是的，有大量各种形状和大小的语言模型；不仅仅是 OpenAI 和 Facebook。

LLaMA 仍然需要数百 GB 的存储空间和相当数量的计算来驱动它。启动并运行该模型也不是一件容易的事，除非您习惯于处理此类系统，并且将其重新用于更邪恶的活动还需要进一步的技术专业知识。尽管模型被泄露，Meta 表示将继续仅与选定的研究人员分享 LLaMA。