这篇文章是与 Q4 Inc. 的 Stanislav Yeshchenko 共同撰写的。
企业转向检索增强生成(RAG)作为构建问答聊天机器人的主流方法。 我们继续看到因可用数据集种类的性质而出现的新挑战。 这些数据集通常是数字和文本数据的混合,有时是结构化、非结构化或半结构化的。
Q4 公司 需要在 AWS 上构建的众多人工智能用例之一中解决其中的一些挑战。 在这篇文章中,我们讨论 Q4 已实现的问答机器人用例、数值和结构化数据集带来的挑战,以及 Q4 如何得出使用 SQL 可能是可行的解决方案的结论。 最后,我们仔细看看 Q4 团队是如何使用的 亚马逊基岩 和 SQLDatabaseChain 来实现基于 RAG 的 SQL 生成解决方案。
用例概述
Q4 Inc. 总部位于多伦多,在纽约和伦敦设有办事处,是一家领先的资本市场准入平台,正在改变发行人、投资者和卖方之间有效联系、沟通和互动的方式。 Q4 平台通过 IR 网站产品、虚拟活动解决方案、参与分析、投资者关系客户关系管理 (CRM)、股东和市场分析、监控和 ESG 工具促进资本市场之间的互动。
在当今快节奏、数据驱动的金融环境中,投资者关系官 (IRO) 在促进公司与其股东、分析师和投资者之间的沟通方面发挥着关键作用。 作为日常职责的一部分,IRO 分析各种数据集,包括 CRM、所有权记录和股票市场数据。 这些数据的汇总用于生成财务报告、设定投资者关系目标以及管理与现有和潜在投资者的沟通。
为了满足对高效和动态数据检索不断增长的需求,Q4 旨在创建一个聊天机器人问答工具,为 IRO 提供一种直观、直接的方法,以用户友好的格式访问他们所需的必要信息。
最终目标是创建一个聊天机器人,能够无缝集成公开可用的数据以及专有的客户特定的第四季度数据,同时保持最高级别的安全性和数据隐私。 至于性能,目标是维持秒级的查询响应时间,以确保最终用户获得积极的体验。
金融市场是一个涉及高风险的受监管行业。 除了其他可能的数据隐私风险外,提供不正确或过时的信息可能会影响投资者和股东的信任。 了解行业和要求后,Q4 将数据隐私和响应准确性作为评估任何解决方案之前将其推向市场的指导原则。
为了进行概念验证,Q4 决定使用财务所有权数据集。 该数据集由代表拥有资产数量的时间序列数据点组成; 投资机构、个人和上市公司之间的交易历史; 以及更多元素。
由于 Q4 希望确保它能够满足我们讨论过的所有功能和非功能要求,因此该项目还需要保持商业可行性。 在决定方法、架构、技术选择和解决方案特定元素的整个过程中都尊重这一点。
实验和挑战
从一开始就很清楚,要理解人类语言问题并生成准确的答案,Q4 需要使用大型语言模型 (LLM)。
以下是该团队进行的一些实验,以及发现的挑战和吸取的经验教训:
- 预训练 – Q4 了解使用自己的数据集预训练法学硕士所带来的复杂性和挑战。 很快我们就发现这种方法需要大量资源,需要执行许多重要的步骤,例如数据预处理、训练和评估。 除了需要付出努力之外,成本也高得令人望而却步。 考虑到时间序列数据集的性质,Q4 还意识到,随着新数据的到来,它必须不断执行增量预训练。这需要一个专门的跨学科团队,具有数据科学、机器学习和领域的专业知识知识。
- 微调 – 使用几个带标签的示例微调预训练的基础模型 (FM)。 这种方法初步取得了一些成功,但在许多情况下,模型幻觉是一个挑战。 该模型难以理解微妙的上下文线索,并返回了错误的结果。
- 带语义搜索的 RAG – 带有语义搜索的传统 RAG 是转向 SQL 生成之前的最后一步。 该团队尝试使用搜索、语义搜索和嵌入来提取上下文。 在嵌入实验期间,将数据集转换为嵌入,存储在向量数据库中,然后与问题的嵌入进行匹配以提取上下文。 然后,使用三个实验中任何一个中检索到的上下文来增强原始提示,作为法学硕士的输入。 这种方法非常适合基于文本的内容,其中数据由带有单词、句子和段落的自然语言组成。 考虑到第四季度数据集的性质(主要是由数字、金融交易、股票报价和日期组成的金融数据),所有三种情况的结果都不是最优的。 即使使用嵌入,从数字生成的嵌入也难以进行相似度排名,并且在许多情况下导致检索到错误的信息。
第四季度的结论:生成 SQL 是前进的道路
考虑到使用传统 RAG 方法所面临的挑战,团队开始考虑 SQL 生成。 这个想法是使用 LLM 首先根据用户问题生成 SQL 语句,以自然语言呈现给 LLM。 然后针对数据库运行生成的查询以获取相关上下文。 上下文最终用于增强摘要步骤的输入提示。
Q4 的假设是,为了在检索步骤(特别是数值数据集)中获得更高的召回率,他们需要首先从用户问题生成 SQL。 人们认为这不仅可以提高准确性,而且可以将给定问题的上下文保留在业务领域内。 为了生成查询并生成准确的 SQL,Q4 需要使 LLM 完全了解其数据集结构的上下文。 这意味着提示需要包含数据库架构、一些示例数据行以及对不易理解的字段的人类可读的字段解释。
根据初步测试,该方法显示出良好的效果。 配备所有必要信息的法学硕士能够生成正确的 SQL,然后针对数据库运行该 SQL 以检索正确的上下文。 在尝试了这个想法之后,Q4 认为 SQL 生成是解决他们自己的特定数据集的上下文提取挑战的出路。
让我们首先描述整体解决方案方法,将其分解为各个组件,然后将各个部分组合在一起。
解决方案概述
LLM 是具有数十亿个参数的大型模型,这些参数是使用来自各种来源的大量数据进行预训练的。 由于训练数据集的广度,法学硕士应具备各个领域的常识。 法学硕士还以其推理能力而闻名,不同模型的推理能力有所不同。 通过使用额外的特定领域预训练数据进一步优化基础模型或使用标记数据进行微调,可以针对特定领域或行业优化这种一般行为。 给定正确的上下文、元数据和说明,只要能够访问正确的特定领域上下文,精心挑选的通用 LLM 就可以生成高质量的 SQL。
在第四季度的用例中,我们首先将客户问题转换为 SQL。 为此,我们将用户问题、数据库模式、一些示例数据库行和详细说明结合起来,作为 LLM 生成 SQL 的提示。 获得 SQL 后,如果认为有必要,我们可以运行验证步骤。 当我们对 SQL 的质量感到满意时,我们对数据库运行查询以检索下一步所需的相关上下文。 现在我们有了相关的上下文,我们可以将用户的原始问题、检索到的上下文以及一组指令发送回 LLM 以生成最终的汇总响应。 最后一步的目标是让法学硕士总结结果并提供上下文和准确的答案,然后可以将其传递给用户。
在流程的每个阶段使用的法学硕士的选择都会极大地影响准确性、成本和性能。 选择一个平台或技术,让您能够在同一用例(针对不同任务的多次 LLM 旅行)或不同用例之间灵活地切换 LLM,有利于优化输出质量、延迟和成本。 我们将在本文后面讨论法学硕士的选择。
解决方案构建块
现在我们已经在高层次上强调了该方法,让我们从解决方案构建块开始深入了解细节。
亚马逊基岩
Amazon Bedrock 是一项完全托管的服务,提供来自领先公司的高性能 FM 选择,包括 AI21 Labs、Anthropic、Cohere、Meta、Stability AI 和 Amazon。 Amazon Bedrock 还提供了构建生成式 AI 应用程序、简化开发流程以及维护隐私和安全所需的广泛工具。 此外,借助 Amazon Bedrock,您可以从各种 FM 选项中进行选择,并且您可以使用自己的数据私下进一步微调模型,以使模型的响应与您的用例要求保持一致。 Amazon Bedrock 完全无服务器,没有底层基础设施来管理通过单个 API 扩展对可用模型的访问。 最后,Amazon Bedrock 支持多项安全和隐私要求,包括 HIPAA 资格和 GDPR 合规性。
在第四季度的解决方案中,我们使用 Amazon Bedrock 作为无服务器、基于 API 的多基础模型构建块。 因为我们打算在同一用例中多次进入 LLM,所以根据任务类型,我们可以选择最适合特定任务的模型,无论是 SQL 生成、验证还是摘要。
浪链
浪链 是一个开源集成和编排框架,具有一组预构建的模块(I/O、检索、链和代理),可用于集成和编排 FM、数据源和工具之间的任务。 该框架有助于构建生成式人工智能应用程序,这些应用程序需要协调多个步骤才能产生所需的输出,而无需从头开始编写代码。 LangChain支持Amazon Bedrock作为多基础模型API。
具体到第四季度的用例,我们使用 LangChain 来协调和编排工作流程中的任务,包括连接到数据源和法学硕士。 这种方法简化了我们的代码,因为我们可以使用现有的 LangChain 模块。
SQL数据库链
SQL数据库链 是一个LangChain链,可以从langchain_experimental导入。 SLDatabaseChain 使用其有效的文本到 SQL 转换和实现,使创建、实现和运行 SQL 查询变得简单。
在我们的用例中,我们在 SQL 生成中使用 SQLDatabaseChain,简化和编排数据库与 LLM 之间的交互。
数据集
只要我们支持 SQL,我们的结构化数据集就可以驻留在 SQL 数据库、数据湖或数据仓库中。 在我们的解决方案中,我们可以使用任何支持 SQL 的数据集类型; 这应该从解决方案中抽象出来,并且不应以任何方式更改解决方案。
实施细则
现在我们已经探索了解决方案方法、解决方案组件、技术和工具的选择,我们可以将各个部分组合在一起。 下图突出显示了端到端解决方案。
让我们看一下实现细节和流程。
生成 SQL 查询
为了简化编码,我们使用现有的框架。 我们使用LangChain作为编排框架。 我们从输入阶段开始,在这里我们接收自然语言的用户问题。
在第一阶段,我们获取此输入并生成等效的 SQL,我们可以针对数据库运行该 SQL 以进行上下文提取。 为了生成 SQL,我们使用 SQLDatabaseChain,它依赖于 Amazon Bedrock 来访问我们所需的 LLM。 借助 Amazon Bedrock,使用单个 API,我们可以访问许多底层 LLM,并可以为我们的每次 LLM 之旅选择合适的一个。 我们首先建立与数据库的连接,并检索所需的表模式以及我们打算使用的表中的一些示例行。
在我们的测试中,我们发现 2-5 行表数据足以为模型提供足够的信息,而不会增加太多不必要的开销。 三行足以提供上下文,而不会因为太多输入而压垮模型。 在我们的用例中,我们从 Anthropic 开始 克劳德V2。 该模型以其先进的推理能力而闻名,并且在提供正确的上下文和指令时能够清晰地表达上下文响应。 作为说明的一部分,我们可以向法学硕士提供更多澄清的细节。 例如,我们可以描述该列 Comp_NAME
代表公司名称。 现在,我们可以通过组合用户问题、数据库模式、我们打算使用的表中的三个示例行以及一组指令来构造提示,以干净的 SQL 格式生成所需的 SQL,无需注释或添加。
所有组合的输入元素被视为模型输入提示。 根据模型的首选语法定制的精心设计的输入提示会极大地影响输出的质量和性能。 选择用于特定任务的模型也很重要,不仅因为它会影响输出质量,还因为它会影响成本和性能。
我们稍后将在本文中讨论模型选择以及提示工程和优化,但值得注意的是,对于查询生成阶段,我们注意到 Claude Instant 能够生成可比较的结果,特别是当用户问题措辞良好且不那么复杂时。 然而,即使用户输入更复杂和间接,Claude V2 也能产生更好的结果。 我们了解到,尽管在某些情况下 克劳德·即时 可能以更好的延迟和价格点提供足够的准确性,我们的查询生成案例更适合 Claude V2。
验证 SQL 查询
我们的下一步是验证 LLM 是否已成功生成正确的查询语法,并且考虑到数据库模式和提供的示例行,查询是否具有上下文意义。 对于此验证步骤,我们可以恢复到 SQLDatabaseChain 中的本机查询验证,或者我们可以运行第二次 LLM 之旅,包括生成的查询和验证指令。
如果我们使用 LLM 进行验证步骤,我们可以使用与之前相同的 LLM (Claude V2) 或更小、性能更高的 LLM 来完成更简单的任务,例如 Claude Instant。 因为我们使用的是 Amazon Bedrock,所以这应该是一个非常简单的调整。 使用相同的 API,我们可以在 API 调用中更改模型名称,API 会负责更改。 值得注意的是,在大多数情况下,较小的法学硕士可以在成本和延迟方面提供更好的效率,并且应该考虑 - 只要您获得所需的准确性。 在我们的例子中,测试证明生成的查询始终准确且语法正确。 知道了这一点,我们就能够跳过此验证步骤并节省延迟和成本。
运行 SQL 查询
现在我们有了经过验证的 SQL 查询,我们可以对数据库运行 SQL 查询并检索相关上下文。 这应该是一个简单的步骤。
我们获取生成的上下文,将其与初始用户问题和一些说明一起提供给我们选择的法学硕士,并要求模型生成上下文和清晰的摘要。 然后,我们将生成的摘要作为初始问题的答案呈现给用户,所有这些都与从我们的数据集中提取的上下文一致。
对于涉及总结步骤的LLM,我们可以使用Titan Text Express或Claude Instant。 他们都会为总结任务提供很好的选择。
应用整合
问答聊天机器人功能是 Q4 的人工智能服务之一。 为了确保模块化和可扩展性,Q4 将 AI 服务构建为微服务,Q4 应用程序可以通过 API 访问这些服务。 这种基于 API 的方法可实现与 Q4 平台生态系统的无缝集成,并有助于将 AI 服务的功能暴露给全套平台应用程序。
人工智能服务的主要目标是提供使用自然语言作为输入从任何公共或专有数据源检索数据的简单功能。 此外,人工智能服务还提供额外的抽象层,以确保满足功能和非功能需求,例如数据隐私和安全性。 下图演示了集成概念。
实施挑战
除了我们之前讨论的结构化数值数据集的性质带来的挑战之外,第四季度还面临着许多其他需要解决的实施挑战。
LLM选择和表现
为任务选择正确的法学硕士至关重要,因为它直接影响输出的质量和性能(往返延迟)。 以下是影响 LLM 选择过程的一些因素:
- 法学硕士类型 – FM 的架构方式和模型预训练的初始数据决定了 LLM 擅长的任务类型以及其擅长程度。 例如,文本法学硕士擅长文本生成和摘要,而文本到图像或图像到文本模型更适合图像分析和生成任务。
- 法学硕士规模 – FM 大小是通过特定模型具有的模型参数数量来衡量的,对于现代法学硕士来说通常以十亿为单位。 通常,模型越大,初始训练或随后微调的成本就越高。 另一方面,一般来说,对于相同的模型架构,模型越大,我们期望它在执行其针对的任务类型时越聪明。
- 法学硕士表现 – 通常,假设您使用相同的计算和 I/O 参数(提示和输出大小),模型越大,生成输出所需的时间就越多。 此外,对于相同的模型大小,性能很大程度上取决于提示的优化程度、I/O 令牌的大小以及提示的清晰度和语法。 精心设计的提示以及优化的 I/O 令牌大小可以缩短模型响应时间。
因此,在优化任务时,请考虑以下最佳实践:
- 选择适合手头任务的模型
- 选择能够产生您所需精度的最小模型尺寸
- 优化您的提示结构,并以模型易于理解的方式尽可能具体地提供说明
- 使用可以提供足够说明和上下文的最小输入提示来产生您正在寻找的准确度级别
- 将输出大小限制为对您有意义并满足您的输出要求的最小大小
考虑到模型选择和性能优化因素,我们开始优化 SQL 生成用例。 经过一些测试,我们注意到,如果我们有正确的上下文和指令,Claude Instant 在具有相同的提示数据的情况下,可以以更好的性能和价格点生成与 Claude V2 相当的 SQL 质量。 当用户输入本质上更直接、更简单时,这是正确的。 对于更复杂的输入,需要 Claude V2 才能产生所需的精度。
在摘要任务上应用相同的逻辑使我们得出结论,与使用更大的模型(例如 Claude V2)相比,使用 Claude Instant 或 Titan Text Express 会在更好的性能点上产生所需的准确性。 正如我们之前讨论的,Titan Text Expressed 还提供了更好的性价比。
编排挑战
我们意识到,在获得用户问题的有意义的输出响应之前,还有很多工作需要协调。 如解决方案概述所示,该过程涉及多个数据库访问和多个相互交织的 LLM 访问。 如果我们要从头开始构建,我们将不得不在无差别的繁重工作上进行大量投资,只是为了准备好基本代码。 我们很快转向使用LangChain作为编排框架,利用开源社区的力量,重用现有模块,而不需要重新发明轮子。
SQL 挑战
我们还意识到,生成 SQL 并不像语义搜索或使用嵌入等上下文提取机制那么简单。 我们需要首先获取数据库模式和一些示例行,以包含在我们对 LLM 的提示中。 还有 SQL 验证阶段,我们需要与数据库和 LLM 进行交互。 SQLDatabaseChain 是显而易见的工具选择。 因为它是 LangChain 的一部分,所以很容易适应,现在我们可以在链的辅助下管理 SQL 生成和验证,从而最大限度地减少我们需要做的工作量。
性能挑战
通过使用 Claude V2,并经过适当的提示工程(我们将在下一节中讨论),我们能够生成高质量的 SQL。 考虑到生成的 SQL 的质量,我们开始研究验证阶段实际增加了多少价值。 进一步分析结果后,很明显,生成的 SQL 的质量始终准确,这使得添加 SQL 验证阶段的成本/收益变得不利。 我们最终消除了 SQL 验证阶段,而没有对输出质量产生负面影响,并缩短了 SQL 验证往返时间。
除了针对摘要步骤优化更具成本和性能效率的 LLM 之外,我们还能够使用 Titan Text Express 来获得更好的性能和成本效率。
进一步的性能优化涉及使用有效的提示工程技术来微调查询生成过程。 重点不是提供大量的标记,而是以模型经过训练可以理解的正确语法以及最少但最佳的指令集提供最少量的输入标记。 我们将在下一节中对此进行更多讨论 - 这是一个重要的主题,不仅适用于此处,而且也适用于其他用例。
快速工程和优化
如果采用正确的即时工程技术,您可以针对各种业务用例在 Amazon Bedrock 上调整 Claude。 克劳德主要充当使用人类/助理格式的会话助理。 克劳德接受过填写助理角色文本的培训。 根据所需的说明和提示完成情况,我们可以使用多种技术来优化 Claude 的提示。
我们从提供有效完成的正确格式的提示模板开始,然后我们可以进一步优化响应,通过使用代表现实世界数据的各种输入集进行提示进行实验。 建议在开发提示模板时获取大量输入。 您还可以使用单独的提示开发数据和测试数据集。
优化克劳德响应的另一种方法是通过添加规则、指令和 有用的优化。 从这些优化中,您可以查看不同类型的完成情况,例如,告诉克劳德提及“我不知道”以防止出现幻觉、逐步思考、使用提示链接、在生成响应时给予“思考”空间,并仔细检查理解性和准确性。
让我们使用查询生成任务并讨论一些用于优化提示的技术。 有一些核心元素使我们的查询生成工作受益:
- 使用正确的人工/助理语法
- 利用XML标签(Claude尊重并理解XML标签)
- 为模型添加清晰的说明,防止出现幻觉
以下通用示例展示了我们如何使用人工/助理语法、应用 XML 标签以及添加指令以将输出限制为 SQL,并指示模型在无法生成相关 SQL 时说“抱歉,我无法提供帮助” 。 XML 标签用于构建说明、附加提示、数据库模式、附加表说明和示例行。
最终的工作解决方案
在解决了概念验证过程中发现的所有挑战后,我们满足了所有解决方案要求。 Q4 对 LLM 生成的 SQL 的质量感到满意。 对于仅需要 WHERE 子句来过滤数据的简单任务,以及需要使用 GROUP BY 和数学函数进行基于上下文的聚合的更复杂的任务来说,都是如此。 整个解决方案的端到端延迟在用例定义的可接受范围内——个位数秒。 这一切都归功于在每个阶段选择最佳的 LLM、正确的提示工程、消除 SQL 验证步骤以及使用高效的 LLM 进行摘要步骤(Titan Text Express 或 Claude Instant)。
值得注意的是,使用 Amazon Bedrock 作为完全托管的服务以及通过同一 API 访问一套 LLM 的能力允许通过更改 API 调用中的模型名称来进行实验和 LLM 之间的无缝切换。 凭借这种灵活性,Q4 能够根据任务的性质(无论是查询生成、验证还是摘要)为每个 LLM 调用选择性能最高的 LLM。
结论
没有一种解决方案适合所有用例。 在 RAG 方法中,输出的质量很大程度上取决于提供正确的上下文。 提取正确的上下文是关键,每个数据集都有其独特的特征。
在这篇文章中,我们证明了对于数值和结构化数据集,使用 SQL 提取用于增强的上下文可以带来更有利的结果。 我们还证明像 LangChain 这样的框架可以最大限度地减少编码工作。 此外,我们还讨论了在同一用例中能够在法学硕士之间切换的需求,以实现最佳的准确性、性能和成本。 最后,我们重点介绍了 Amazon Bedrock,因为它是无服务器的并且拥有各种法学硕士,所以能够以最少的繁重工作提供构建安全、高性能和成本优化的应用程序所需的灵活性。
通过确定对您的业务有价值的用例,开始构建支持 AI 的生成式应用程序。 正如第四季度团队了解到的那样,SQL 生成可以成为构建与数据存储集成的智能应用程序的游戏规则改变者,从而释放收入潜力。
关于作者
塔梅尔·索利曼 是 AWS 的高级解决方案架构师。 他帮助独立软件供应商 (ISV) 客户在 AWS 上进行创新、构建和扩展。 他在咨询、培训和专业服务方面拥有二十多年的行业经验。 他是一位多专利发明人,拥有三项授权专利,他的经验涵盖多个技术领域,包括电信、网络、应用程序集成、人工智能/机器学习和云部署。 他专注于 AWS 网络,并对机器学习、人工智能和生成式人工智能充满热情。
玛尼哈努加 是生成式 AI 专家的技术主管、《AWS 上的应用机器学习和高性能计算》一书的作者,也是女性制造业教育基金会董事会的成员。 她领导计算机视觉、自然语言处理和生成人工智能等多个领域的机器学习 (ML) 项目。 她帮助客户大规模构建、训练和部署大型机器学习模型。 她在 re:Invent、Women in Manufacturing West、YouTube 网络研讨会和 GHC 23 等内部和外部会议上发表演讲。在空闲时间,她喜欢沿着海滩长距离跑步。
斯坦尼斯拉夫·叶先科 是 Q4 Inc. 的软件架构师。他在软件开发和系统架构方面拥有十多年的行业经验。 他的多元化背景涵盖技术主管和高级全栈开发人员等职务,这使他为推动 Q4 平台的创新做出了贡献。 斯坦尼斯拉夫致力于推动技术创新和制定该领域的战略解决方案。
- SEO 支持的内容和 PR 分发。 今天得到放大。
- PlatoData.Network 垂直生成人工智能。 赋予自己力量。 访问这里。
- 柏拉图爱流。 Web3 智能。 知识放大。 访问这里。
- 柏拉图ESG。 碳, 清洁科技, 能源, 环境, 太阳能, 废物管理。 访问这里。
- 柏拉图健康。 生物技术和临床试验情报。 访问这里。
- Sumber: https://aws.amazon.com/blogs/machine-learning/how-q4-inc-used-amazon-bedrock-rag-and-sqldatabasechain-to-address-numerical-and-structured-dataset-challenges-building-their-qa-chatbot/
- :具有
- :是
- :不是
- :在哪里
- $UP
- 100
- 118
- 125
- 15%
- 23
- 7
- a
- 能力
- 对,能力--
- Able
- 抽象化
- 丰富
- 可接受
- ACCESS
- 无障碍
- 账号管理
- 精准的
- 横过
- 行为
- 通
- 适应
- 添加
- 添加
- 增加
- 额外
- 另外
- 增加
- 地址
- 解决
- 调整
- 高级
- 前进
- 优点
- 后
- 驳
- 中介代理
- 骨料
- AI
- 人工智能服务
- 人工智能用例
- AI / ML
- 针对
- 对齐
- 对齐的
- 所有类型
- 让
- 允许
- 沿
- 还
- 尽管
- am
- Amazon
- 亚马逊网络服务
- 量
- 量
- an
- 分析
- 分析师
- 分析
- 分析
- 分析
- 和
- 另一个
- 回答
- 答案
- 人类的
- 任何
- 什么
- API
- APIs
- 相应
- 应用领域
- 应用领域
- 应用的
- 的途径
- 架构
- 保健
- AS
- 问
- 办公室文员:
- 助理
- 协助
- 品种
- At
- 增加
- 增强
- 作者
- 可使用
- 察觉
- AWS
- 背部
- 背景
- 基于
- 基本包
- BE
- 海滩
- 成为
- 因为
- 很
- before
- 开始
- 行为
- 作为
- 相信
- 有利
- 最佳
- 最佳实践
- 更好
- 之间
- 十亿美元
- 阻止
- 吹氣梢
- 板
- 董事会
- 书
- 博特
- 都
- 宽度
- 午休
- 广阔
- 建立
- 建筑物
- 建立
- 建
- 商业
- 但是
- by
- 呼叫
- 来了
- CAN
- 可以得到
- 能力
- 能力
- 资本
- 资本市场
- 关心
- 案件
- 例
- 链
- 链
- 挑战
- 挑战
- 挑战建设
- 更改
- 换
- 改变
- 特点
- 聊天机器人
- 聊天机器人
- 选择
- 选择
- 明晰
- 清洁
- 清除
- 接近
- 云端技术
- 码
- 编码
- 柱
- 结合
- 结合
- 如何
- 注释
- 商业
- 通信
- 沟通
- 社体的一部分
- 公司
- 公司
- 可比
- 完成
- 复杂
- 复杂
- 符合
- 组件
- 理解
- 计算
- 一台
- 计算机视觉
- 计算
- 概念
- 总结
- 总结
- 结论
- 进行
- 会议
- 分享链接
- 连接
- 地都
- 考虑
- 考虑
- 考虑
- 始终如一
- 组成
- 由
- 建设
- 咨询
- 内容
- 上下文
- 上下文
- 继续
- 一直
- 捐款
- 常规
- 听起来像对话
- 转换
- 转换
- 协调
- 核心
- 正确
- 价格
- 可以
- 创建信息图
- 危急
- 客户关系管理
- 关键
- 顾客
- 合作伙伴
- 每天
- data
- 数据湖
- 数据点
- 数据隐私
- 数据隐私与安全
- 数据科学
- 数据驱动
- 数据库
- 数据集
- 重要日期
- 十
- 几十年
- 决定
- 决定
- 专用
- 认为
- 定义
- 需求
- 证明
- 演示
- 依靠
- 部署
- 部署
- 描述
- 描述
- 期望
- 详细
- 详情
- 确定
- 开发商
- 发展
- 研发支持
- 不同
- 直接
- 直接
- 团队介绍
- 讨论
- 讨论
- 潜水
- 不同
- do
- 域
- 域名
- 别
- 仔细检查
- 向下
- 驾驶
- 两
- ,我们将参加
- 动态
- 每
- 此前
- 易
- 生态系统
- 教育
- 有效
- 效率
- 高效
- 有效
- 努力
- 工作的影响。
- 或
- 分子
- 合格
- 消除
- 新兴经济体的新市场。
- 就业
- 使
- 结束
- 端至端
- 截至
- 从事
- 订婚
- 工程师
- 更多
- 确保
- 配备
- ESG
- 特别
- 建立
- 评估
- 评估
- 甚至
- 事件
- 所有的
- 例子
- 例子
- 现有
- 期望
- 预期
- 昂贵
- 体验
- 实验
- 实验
- 技术专家
- 专门知识
- 探讨
- 特快
- 表示
- 延长
- 外部
- 提取
- 萃取
- 面临
- 功能有助于
- 因素
- 快节奏
- 有利
- 可行
- 少数
- 部分
- 字段
- 填
- 过滤
- 最后
- 终于
- 金融
- 财务数据
- (名字)
- 高度灵活
- 流
- 专注焦点
- 遵循
- 以下
- 针对
- 格式
- 向前
- 培养
- 发现
- 基金会
- FRAME
- 骨架
- 框架
- 自由的
- 止
- ,
- 全栈
- 充分
- 实用
- 功能
- 进一步
- 游戏
- 改变游戏规则
- 《通用数据保护条例》(GDPR)
- 符合GDPR标准
- 面向
- 其他咨询
- 生成
- 产生
- 产生
- 发电
- 代
- 生成的
- 生成式人工智能
- 得到
- 越来越
- 给
- 特定
- 给
- 给予
- Go
- 目标
- 理想中
- 非常好
- 授予
- 大
- 团队
- 成长
- 民政事务总署
- 手
- 快乐
- 有
- 有
- he
- 总部设
- 重
- 举重
- 帮助
- 帮助
- 这里
- 相关信息
- 高
- 高绩效
- 高品质
- 更高
- 最高
- 突出
- 亮点
- 高度
- 提示
- 他的
- 历史
- 兜帽
- 创新中心
- 但是
- HTTPS
- 人
- 人类可读
- i
- 主意
- 确定
- 确定
- if
- 图片
- 影响力故事
- 影响
- 影响
- 影响
- 实施
- 履行
- 实现
- 实施
- 启示
- 重要
- 改善
- in
- 其他
- 公司
- 包括
- 包含
- 增加
- 增量
- 独立
- 个人
- 行业中的应用:
- 信息
- 基础设施
- 初始
- 原来
- 创新
- 創新
- 输入
- 输入
- 即食类
- 机构
- 说明
- 整合
- 积分
- 打算
- 相互作用
- 互动
- 内部
- 交织
- 成
- 直观的
- 投资
- 投资者
- 投资者
- 参与
- 发行人
- ISV
- IT
- 它的
- 旅程
- JPG
- 只是
- 保持
- 键
- 会心
- 知识
- 已知
- 实验室
- 湖泊
- 景观
- 语言
- 大
- 大
- (姓氏)
- 最后
- 潜伏
- 后来
- 层
- 铅
- 领导
- 信息
- 知道
- 学习
- 最少
- 导致
- 教训
- 经验教训
- Level
- 翻新
- 喜欢
- 喜欢
- LLM
- 逻辑
- 伦敦
- 长
- 看
- 寻找
- 占地
- 机
- 机器学习
- 制成
- 主要
- 主要
- 主流
- 保持
- 维护
- 使
- 制作
- 管理
- 管理
- 颠覆性技术
- 制造业
- 许多
- 市场
- 市场分析
- 市场数据
- 市场
- 匹配
- 数学的
- 可能..
- 有意义的
- 意思
- 机制
- 满足
- 会员
- 一半
- 元
- 元数据
- 方法
- 研究方法
- 微服务
- 最小
- 最小化
- 混合
- ML
- 模型
- 模型
- 现代
- 模块
- 更多
- 最先进的
- 大多
- 移动
- 许多
- 多
- 多
- 姓名
- 本地人
- 自然
- 自然语言处理
- 自然
- 必要
- 需求
- 打印车票
- 负
- 工业网络
- 全新
- 纽约
- 下页
- 没有
- 注意
- 注意
- 现在
- 数
- 数字
- 目标
- 明显
- of
- 折扣
- 最多线路
- 优惠精选
- 人员
- 办公室
- 经常
- on
- 一
- 仅由
- 打开
- 开放源码
- 最佳
- 优化
- 优化
- 优化
- 追求项目的积极优化
- 附加选项
- or
- 编排
- 管弦乐编曲
- 秩序
- 原版的
- 其他名称
- 我们的
- 产量
- 超过
- 最划算
- 简介
- 压倒性
- 己
- 拥有
- 所有权
- 参数
- 部分
- 特别
- 通过
- 情
- 专利
- 专利
- 径
- 演出
- 性能
- 执行
- 挑
- 件
- 平台
- 柏拉图
- 柏拉图数据智能
- 柏拉图数据
- 播放
- 点
- 点
- 积极
- 可能
- 帖子
- 潜力
- 功率
- 权力
- 做法
- 首选
- 当下
- 呈现
- 防止
- 车资
- 原则
- 隐私
- 隐私和安全
- 过程
- 处理
- 生产
- 生成
- 核心产品
- 所以专业
- 深刻的
- 项目
- 项目
- 提示
- 证明
- 概念验证
- 正确
- 所有权
- 证明
- 提供
- 提供
- 提供
- 优
- 国家
- 上市公司
- 公然
- 目的
- 放
- Q&A
- 质量
- 查询
- 题
- 很快
- 报价
- 排行
- 宁
- RE
- 准备
- 真实的世界
- 实现
- 接收
- 建议
- 记录
- 引用
- 监管
- 关系
- 关系
- 相应
- 业务报告
- 代表
- 代表
- 代表
- 要求
- 必须
- 岗位要求
- 资源
- 尊敬的
- 尊重
- 响应
- 回复
- 限制
- 成果
- 收入
- 还原
- 回顾
- 右
- 风险
- 角色
- 角色
- Room
- 圆
- 定位、竞价/采购和分析/优化数字媒体采购,但算法只不过是解决问题的操作和规则。
- 运行
- 运行
- 同
- 满意
- 对满意
- 保存
- 对工资盗窃
- 可扩展性
- 鳞片
- 科学
- 划伤
- 无缝的
- 无缝
- 搜索
- 其次
- 秒
- 部分
- 安全
- 保安
- 看到
- 选择
- 卖家
- 提交
- 前辈
- 感
- 分开
- 系列
- 无服务器
- 服务
- 特色服务
- 集
- 套数
- 几个
- 成型
- 股东
- 股东
- 她
- 应该
- 显示
- 如图
- 作品
- 显著
- 简易
- 简单
- 简
- 简化
- 简化
- 单
- 尺寸
- 尺寸
- 小
- 智能
- 聪明
- 软件
- 软件开发
- 方案,
- 解决方案
- 一些
- 极致
- 来源
- 来源
- 张力
- 跨度
- 说
- 专家
- 专业
- 具体的
- 特别是
- 稳定性
- 堆
- 阶段
- 赌注
- 站
- 看台
- 开始
- 开始
- 开始
- 个人陈述
- 留
- 步
- 步骤
- 库存
- 股市
- 存储
- 商店
- 简单的
- 善用
- 结构体
- 结构化
- 后来
- 成功
- 顺利
- 这样
- 足够
- 合适的
- 套房
- 总结
- 概要
- SUPPORT
- 支持
- 监控
- Switch 开关
- 句法
- 系统
- 表
- 量身定制
- 采取
- 拍摄
- 需要
- 服用
- 任务
- 任务
- 团队
- 科技
- 文案
- 技术
- 专业技术
- 电信
- 告诉
- 模板
- test
- 测试
- 测试
- 文本
- 比
- 谢谢
- 这
- 资本
- 其
- 然后
- 那里。
- 博曼
- 他们
- 思维
- Free Introduction
- 三
- 通过
- 始终
- 次
- 时间序列
- 时
- 泰坦
- 至
- 今天的
- 一起
- 象征
- 令牌
- 也有
- 工具
- 工具
- 主题
- 多伦多
- 向
- 培训
- 熟练
- 产品培训
- 交易
- 交易
- 转型
- 旅
- true
- 信任
- 转
- 二
- 类型
- 类型
- 一般
- 无法
- 下
- 相关
- 理解
- 理解
- 理解
- 了解
- 独特
- 解锁
- 不必要
- us
- 使用
- 用例
- 用过的
- 用户
- 用户友好
- 运用
- 利用
- 有效
- 验证
- 折扣值
- 各种
- 各个
- 供应商
- 企业验证
- 专利
- 确认
- 非常
- 可行
- 查看
- 在线会议
- 愿景
- 走
- 通缉
- 是
- 方法..
- we
- 卷筒纸
- Web服务
- 在线研讨会
- 您的网站
- 井
- 去
- 为
- 西部
- 什么是
- 轮
- ,尤其是
- 而
- 这
- 而
- 将
- 中
- 也完全不需要
- 女性
- 话
- 工作
- 工作
- 工作流程
- 加工
- 价值
- 将
- 写
- 写代码
- XML
- 但
- 纽约
- 完全
- 您一站式解决方案
- YouTube的
- 和风网