是什么让 PC 成为 人工智能PC?超越一些 模糊的挥手 鉴于“神经处理单元”和其他功能只能在最新最好的芯片上使用,除了试图推销一些 FOMO 之外,没有人提出一个定义。
虽然英特尔建议应用程序开发人员很快将人工智能注入所有软件,并且个人电脑必须为此做好准备,但目前最重要的工作负载是为大型语言模型提供动力的推理。
因此,任何名副其实的人工智能电脑都必须快速、良好地执行推理。
推理是将提交的提示转换为其响应的过程。这样做需要一台能够处理数千兆字节数据甚至更多矩阵乘法的机器。
虽然这样的计算密集型任务听起来可以很好地扩展台式电脑的能力(ChatGPT 及其同类在巨大的数据中心中运行),但我发现我们已有的许多硬件都可以完成足够的推理工作。任何人都可以在 PC 上运行“足够好”的聊天机器人 - 只要 PC 有足够的 RAM 和中档 GPU。
这意味着 GPU 至少具有 8GB VRAM(而且不是来自英特尔的 GPU,至少目前是这样,因为缺乏驱动程序支持)。这并不太贵——这很好,因为这是赌注。对于 RAM,32GB 比 16GB 更让人满意,而 8GB 根本就不够用。就是这样。这就是您所需要的。
苹果公司通过其 M 系列 SoC 很好地解决了这一问题——可能完全是偶然的。将内存视为“统一”——如果需要的话,全部都是 VRAM——所有具有至少 16GB RAM 的现代 M 系列 Mac 都可以充当 AI PC。
碰巧的是,我在过去十年中购买的四台 PC 都符合这些规格,其中包括一台已有 6700 年历史的顶级怪物,它是作为“VR PC”购买的,配有 Intel 980K CPU 和当时的顶级处理器顶级 Nvidia GTX XNUMX Ti GPU。或多或少符合摩尔定律,它比我收藏的新机器要慢一些,但它在本地运行聊天机器人效果很好。
虽然不是作为 AI PC 购买的,但我最近购买的每台推理速度都与 OpenAI 的 GPT-3.5-Turbo 生成的完成结果相当,无论是在速度还是生成的完成结果质量上,与它们的大表兄弟几乎没有区别。
为了测试这些系统,我给它们提供了 相当复杂的提示,指示它们充当“代理”——通过生成输入到另一个程序的 JSON 文件来解决问题。 (“松散连接的小块”在人工智能时代仍然适用。)这一切......都有效。
事实证明我已经到处都有人工智能电脑了。谁知道?更重要的是,还有一个 很多 人工智能电脑的数量。数千万。这很好——因为我们需要它们。
虽然微软会让我们将每个敏感文档粘贴到 Copilot 中进行分析,从而让雷德蒙德数据中心了解我们最机密的工作流程,但很多文档都太敏感而根本无法共享。
那么那些如此热门甚至不应该存在于联网机器上的文档呢?医疗信息呢?还是机密文件?我们使用的许多内容都带有附加条件,无法自由共享。
法律文件通常属于这一类——最近发布的任务类型 SaulML 法律语言模型 可能会有很大帮助。如果律师或律师助理在本地 PC 上运行该模型,他们可以自由地将文档输入其中,要求其生成仔细阅读,甚至是新的合同条款,而无需担心任何机密信息泄露。许多律师事务所都会奔向这种工具,尖叫着“闭嘴,拿走我客户的钱!“
上周末我制作了该工具的原型 - 将全开源 SaulLM 模型缩小到一定大小,以便它可以在我的 AI PC 上运行。我不是律师,所以无法完全判断其质量。然而,我确实将潜在商业伙伴的合同的大部分内容粘贴到其中,然后问了一些棘手的问题 - 不用担心泄密。
即使律师不喜欢它,我们其他人也面临着无穷无尽、深奥的条款和条件,我们 忽视我们的危险 – 会发现它非常有用。
同样,硬件供应商——他们依靠你废弃三年前购买的在家工作的电脑来获得收入周期——不愿意承认这一点,但你可能已经拥有了一台完美可用的人工智能电脑。只是不是供应商想让你冲出去购买的人工智能电脑。 ®
- :具有
- :是
- :不是
- :在哪里
- $UP
- a
- 关于
- 关于它
- 收购
- 法案
- 充足
- 承认
- 年龄
- 经纪人
- 前
- AI
- 所有类型
- 已经
- an
- 分析
- 和
- 另一个
- 任何
- 任何人
- 应用领域
- 适用
- 保健
- AS
- 问
- At
- 尝试
- 可使用
- BE
- 因为
- 作为
- 超越
- 大
- 都
- 买
- 商业
- 但是
- 购买
- by
- CAN
- 能力
- 产品类别
- 聊天机器人
- ChatGPT
- 机密
- 客户
- 关闭
- CO
- 采集
- 如何
- 购买的订单均
- 可比
- 条件
- 机密
- 合同
- 可以
- 目前
- 切
- 切割
- 周期
- data
- 十
- 定义
- 通过电脑捐款
- 开发
- DID
- 发现
- do
- 文件
- 文件
- 做
- 不
- 向下
- 司机
- 每
- 八
- 无穷
- 巨大
- 更多
- 完全
- 甚至
- 所有的
- 异常
- 秋季
- 恐惧
- 特征
- 美联储
- 档
- 找到最适合您的地方
- 结束
- 企业
- 舰队
- 富友
- 针对
- 四
- 自如
- 频繁
- 止
- 充分
- 生成
- 产生
- 发电
- 得到
- 给予
- 去
- 非常好
- GPU
- 民政事务总署
- 发生
- 快乐
- 硬
- 硬件
- 有
- 有帮助
- 主页
- 热卖
- 但是
- HTTPS
- i
- if
- in
- 包含
- 信息
- 英特尔
- 成
- IT
- 它的
- 工作
- 加盟
- JPG
- JSON
- 法官
- 只是
- 种
- 缺乏
- 语言
- 大
- 名:
- 法律
- 律师事务所
- 律师
- 律师
- 泄漏
- 最少
- 法律咨询
- 减
- 喜欢
- Line
- 生活
- 本地
- 当地
- 占地
- 爱
- 机
- 机
- 制作
- 许多
- 市场
- 矩阵
- 事项
- 手段
- 医生
- 满足
- 内存
- 微软
- 百万
- 模型
- 模型
- 现代
- 时刻
- 更多
- 最先进的
- 许多
- 多
- 乘法
- 必须
- my
- 姓名
- 需求
- 需要
- 神经
- 全新
- 较新
- Nvidia公司
- of
- on
- 一
- 仅由
- 打开
- 开放源码
- OpenAI
- or
- 其他名称
- 我们的
- 输出
- 超过
- 合伙人
- PC
- 个人电脑
- 完美
- 演出
- 件
- 地方
- 柏拉图
- 柏拉图数据智能
- 柏拉图数据
- 大量
- 或者
- 功率
- 存在
- 预防
- 大概
- 市场问题
- 过程
- 处理
- 曲目
- 预期
- 提供
- 泵
- 购买
- 质量
- 有疑问吗?
- 很快
- 内存
- RE
- 阅读
- 准备
- 最近
- 最近
- 发布
- 依靠
- 响应
- REST的
- 收入
- 运行
- 运行
- 运行
- 赶
- s
- 尖叫
- 部分
- 敏感
- 服务
- 共用的,
- 硅
- 只是
- 尺寸
- 小
- So
- 软件
- 解决
- 一些
- 有些
- 或很快需要,
- 极致
- 声音
- 来源
- 眼镜
- 速度
- 赌注
- 仍
- 提交
- 这样
- 提示
- SUPPORT
- 产品
- 表
- 采取
- 任务
- 任务
- HAST
- 条款
- 条款和条件
- test
- 比
- 这
- 其
- 他们
- 然后
- 那里。
- 从而
- 因此
- 博曼
- 他们
- Free Introduction
- 三
- 通过
- 至
- 也有
- 工具
- 对于
- 变换
- 治疗
- 原来
- 统一
- 单位
- us
- 有用
- 广阔
- Ve
- 厂商
- 非常
- 实质上
- vr
- 希望
- we
- 周末
- 井
- 什么是
- 这
- 而
- WHO
- 将
- 也完全不需要
- 韩元
- 工作
- 在家里工作
- 工作流程
- 合作
- 令人担忧
- 值得
- 将
- 年
- 完全
- 您一站式解决方案
- 和风网