银行业看不见的支柱：深入探讨匹配与对账

银行业看不见的支柱：深入探讨匹配与对账

时间戳：1年2023月5日凌晨34:XNUMX
银行业看不见的支柱：深入探讨匹配和对账柏拉图区块链数据智能。垂直搜索。人工智能。

去年，我庆祝了进入 IT 领域二十年，特别是在金融服务领域。 在此期间，我见证了银行业和技术领域的显着变革。 金融科技公司的出现及其以客户为中心的方法，以及敏捷方法、微服务和云计算等软件工程的重大进步，重塑了格局。 然而，有趣的是，这些年来许多金融服务公司的后台业务一直保持相对稳定，仍在努力应对 手动编码、重复性任务以及对 Excel 的严重依赖.

金融服务领域的一个特别手动但自动化的流程是 匹配与调节。 该过程以多种形式出现，即从识别和解决主从集成中的差异（通常由于集成问题或间隙而发生）到使用外部源数据纠正或删除操作系统的重复项和半自动更新。

尽管有可用的 完善的软件 （例如 FIS IntelliMatch、Calypso 确认匹配、Misys CMS、Temenos T24 确认匹配...​）用于特定的对账任务，例如付款和交易确认匹配（通常基于 SWIFT 消息）， 大多数匹配任务通常依赖于自定义或手动解决方案，包括 Excel 甚至纸质方法。 很多时候，自动化也是不相关的，因为匹配通常涉及一次性行为，例如营销活动、数据清理、与合作伙伴的协调……​

了解更好的和解需要 剖析它的组成部分，即

  • 它始于 收集和转换不同的数据集以进行比较。 这包括恢复 2 个数据集，这些数据集可以以不同的格式、不同的结构、不同的范围以及不同的名称或枚举来交付。 数据需要进行转换以使它们具有可比性并加载到相同的工具（例如数据库或Excel）中，以便可以轻松地进行比较。

  • 下一步是定义一个 精准匹配算法。 这可以是一个简单的唯一键，但它也可以是多个属性的组合（复合键）、分层规则（即首先匹配键 1，如果不匹配则尝试键 2…​）或模糊规则（如果键数据集 1 的密钥类似于数据集 2 的密钥（它是匹配的）。 定义此匹配算法可能非常复杂，但对于自动匹配并达到良好输出质量的能力至关重要。

  • 一旦定义了匹配算法，我们就输入 比较阶段。 对于小型数据集，这可以非常简单地完成，但对于非常大的数据集，可能需要各种性能优化（如索引、分段、并行性......），以便在合理的时间内执行比较。

  • 最后， 已发现的差异必须转化为可操作的产出，例如报告、与同事或第三方的沟通或纠正措施（例如生成文件、消息或 SQL 语句来修复差异）。

金融服务匹配的复杂性是多种多样的。 让我们探索一下 一些典型的用例 在金融服务领域：

  • 大多数银行都有 证券主文件，描述所有在银行处于有利地位或可以交易的证券。 该文件需要与许多应用程序集成，但也需要由多个数据源提供，例如 Telekurs、路透社、彭博社、穆迪......这意味着证券需要唯一匹配。 不幸的是，没有一个唯一的标识符来描述所有证券。 公开交易的工具具有共同商定的 ISIN 代码，但私人和场外交易产品（例如大多数衍生品）通常没有。 因此，银行发明了内部标识符，使用虚假的 ISIN 代码（通常以“X”开头）或使用复合密钥来唯一地标识该工具（例如，对于衍生品，这可以是基础证券的代码、执行价格、期权类型和截止日期）。

  • 在零售银行业务中，显然有必要 唯一地识别并匹配特定的自然人。 然而，即使在比利时这样的发达国家，这也是说起来容易做起来难。 比利时的每个人都有一个国家登记号码，因此这似乎是匹配密钥的明显选择。 不幸的是，比利时法律将该号码的使用限制在特定的用例中。 此外，该标识符对于外国人来说并不存在，并且可能会随着时间的推移而发生变化（例如，外国居民首先收到一个临时的国民登记号码，该号码可以更改为最终的号码，稍后再收到另一个号码，或者如果性别发生变化，国民登记号码也会发生变化）。 另一种选择是使用身份证号码，但这对于外国人来说也不同，每10年就会改变一次。 因此，许多银行使用更复杂的规则，例如根据名字、姓氏和出生日期进行匹配，但显然这也会带来各种问题，例如姓名重复、拼写差异和错误、姓名中使用特殊字符等。名字...​

  • 一个非常相似的问题是 匹配一家公司或更具体地说是一家商店。 在比利时，每家公司都有一个公司编号，类似于增值税号（没有“BE”前缀），但这又是非常全国性的，1个增值税号可以有多个地点（例如多个商店）。 存在“分支编号”（荷兰语为“vestigingsnummer”）的概念，但这个概念并不是很为人所知并且很少使用。 类似的还有 LEI 代码（法律实体标识符），它是 20 个字母和代码的组合代码，可在全球范围内唯一标识一家公司。 不幸的是，只有大公司才会要求 LEI 代码，因此对于小公司来说，这并不是一个真正的选择。
    同样，通常会进行更复杂的匹配，例如增值税号、邮政编码和门牌号的组合，但显然这远非理想。 在寻找唯一且众所周知的标识符时，Google ID 的使用也越来越多，但对商业公司的依赖也可能带来巨大的运营风险。

  • 另一个有趣的案例是 VISA 卡支付中授权和清算消息的匹配。 通常，唯一标识符应该与两条消息匹配，但由于各种异常情况（例如离线授权或增量授权），这并不总是正确的。 因此，需要更复杂的规则，不仅要考虑多个标识符，还要考虑其他匹配标准，例如收单方 ID、商户 ID、终端 ID、PAN（卡号）、时间戳和/或金额。
    这种匹配也适用于其他支付用例，例如将预授权完成与其之前的预授权进行匹配，或者将退款与之前的购买进行匹配。

  • 几乎涉及所有业务的财务用例是 发票和付款匹配。 当公司开具发票时，它需要能够看到发票何时可以被视为已付款。 这对于会计很重要，而且还可以查看是否应该发出未付发票的提醒。
    为了将付款与发票唯一匹配，在比利时，付款指令中通常使用结构化注释。 这个带有校验位的唯一代码提供了唯一的匹配参考。 不幸的是，客户经常忘记添加结构化注释或使用错误的注释（例如复制/粘贴以前的发票）。 这意味着公司需要有后备匹配规则，以防非结构化评论丢失或错误。 通常，付款金额、付款日期、交易对手的 IBAN 和/或交易对手名称的组合可以提供匹配这些发票的替代方式。

正如您所看到的，匹配绝非易事，但了解基本步骤有助于更好地匹配。 与此同时，尽管有其局限性，Excel 仍然是一个强大的（手动）匹配工具。 因此一个 快速提醒所有想要在 Excel 中进行匹配的人:

  • 使用 VLOOKUP 进行匹配。 然而，VLOOKUP 有一定的局限性，例如，如果没有匹配项，它会给出错误，并且您只能在第一列上搜索。 一个强大的替代方法是使用 XLOOKUP，没有这些限制。

  • 如果你需要一个 复合搜索键，在搜索数据集中添加一列，使用复合搜索键（即连接不同的属性，例如用“#”作为分隔符），然后使用 VLOOKUP/XLOOKUP 搜索这个新列。

  • 有 注意点 使用 VLOOKUP 时：

    • 不要忘记添加“false”作为函数 VLOOKUP 的最后一个参数以确保精确匹配。

    • 确保数据格式相同。 例如，数字“123”和文本“123”将不匹配，因此首先将它们转换为相同的格式非常重要。 以 0 开头的标识符同上。 Excel 通常会将它们转换为数字，从而删除前导 0，并且不会产生匹配项。

    • 不要在 Excel 中使用超过 100.000 行的数据集。 较大的数据集会给 Excel 的性能和稳定性带来问题。
      如果您在大型数据集上使用 VLOOKUP，将计算模式设置为“手动”也可能很有趣，否则每次对数据进行微小更改时，Excel 都会重新计算所有 VLOOKUP。

    • VLOOKUP 将列号作为第三个参数返回。 添加或删除列时，此数字不会动态调整，因此请记住在添加或删除列时进行调整。

    • 如果您只想匹配，可以使用公式“=IF(ISERROR(VLOOKUP( , ,1,假),“不匹配”,“匹配”)”

这些技巧可以帮助 加快您的手动匹配速度，但显然真正的自动化总是更好。

金融服务的匹配是 多方面的挑战，但了解其基本步骤是改善结果的关键。 虽然 Excel 等工具提供了临时解决方案，但未来在于智能自动化，它可以显着简化这些流程。 对于那些寻求更深入地研究匹配复杂性或自动化的人来说，利用先进的工具和平台（包括 ChatGPT 等人工智能驱动的解决方案）可以提供见解和实用的解决方案。

查看我所有的博客 https://bankloch.blogspot.com/

时间戳记：

更多来自 芬泰达