今年6月8日,以色列小公司 Upriver 获得了首轮融资1400万美元。创始人、总裁 Ido Bronstein 曾为以色列军方情报部门提供数据工程服务。有意思的是,虽然 AI 是这家公司的核心技术之一,但其并未标榜自己是 AI 公司。不仅如此,他今年4月8日在公司官网上发题为“知识工程师的崛起”的博客文,称要真正发挥 AI 对企业的作用,关键在知识工程(knowledge engineering),而不是数据工程,尽管他本人和其公司均以数据工程见长。文章讲述为何 95% 的 AI 投资会因缺少知识工程而失败,并探讨新一代知识工程师的形象。
AI 本应改变一切。但对大多数公司,它并未做到。这并非因为模型不够完善,而是因为对业务的理解,即对业务实际运作方式的了解支离破碎、模糊零散,且最需要这些信息的系统难以获取。这不是数据问题,而是知识问题。而解决这个问题需要一个被业界彻底遗忘的角色:知识工程师。
什么是知识工程师?
知识工程师负责捕捉、构建和定义企业的实际运作方式,以便机器能够理解、推理并采取行动。这包括:
定义核心业务概念:“客户”、“收入”和“产品”在企业中的实际含义,
实现跨系统含义的标准化:协调不同工具对同一事物的表示方式,
对关系、规则和逻辑进行编码: 数据如何流动、转换和连接,
创建机器可读的企业结构表示:一种结构化的理解,而不仅仅是原始数据。
知识工程师将零散的数据转化为结构化的理解。如果没有这种理解,即使是最强大的 AI 也只能靠猜测。要想让机器有智能,就需要赋予它结构化的知识。AI的先驱之一爱德华·费根鲍姆几十年前就对此进行了定义:“知识工程是通过从人类专家那里提取知识并将其编码到知识库中来构建专家系统的过程”。
知识工程与数据工程
这两个角色密切相关,但解决的问题却截然不同。数据工程关注的是:数据管道(data pipeline)是否运行正常?数据是否及时更新?数据的关联是否正确?知识工程关注的是:系统是否理解数据的含义?它能否推理?在从未遇到过的情况下,能否正确处理数据?数据工程关注的是数据如何从 A 点流向 B 点。知识工程关注的是数据到达 B 点后的意义和重要性。两者都重要。但在过去的二十年里,我们只投入了其中一项。而这正是AI在大多数企业中无法发挥作用的原因。
如今,我们拥有功能强大的系统,它们能够理解、推理和行动。大语言模型和 AI 智能体可以处理信息、推理,并在各种工具和环境中执行复杂的任务。但是,如果没有正确的企业知识,这种能力就无法转化为实际成果。这就像把一辆校车交给一位一级方程式赛车手,让他驾驶,却不告诉他要接哪些孩子、接到哪里,或者当孩子们在车厢后部打架时该怎么应对。赛车手能力很强,但却注定会失败。
每个企业都依赖于人们凭直觉就能理解的概念:“收入”意味着什么、谁算“客户”、流程如何运行, 即使每个系统对这些概念的定义可能有所不同。构建这些知识的能力才是释放 AI 在企业中真正价值的关键。如果没有这种能力,即使是最先进的系统也会产生不一致、不可靠的结果。而这正是企业目前面临的困境。
美国麻省理工学院最近的一份报告称 95% 的企业在 AI 方面的投资没有获得任何回报,他们将这种差距称为“AI 鸿沟”。这不是模型的问题,而是知识的问题。瓶颈不再是智能,而是理解。少数在 AI 领域取得成功的企业,是那些已经找到方法,将企业内部的知识,包括实体、关系、规则和文化背景打包成 AI 可以实际处理的信息的企业。而其它企业则只是将原始数据输入到强大的模型中,然后疑惑为什么输出结果不一致。