解读 · 符号、逻辑与知识表示
什么是符号系统?
符号、改写符号的规则,以及由此而来的推理。物理符号系统假说、形式系统的数学、表示知识的主要方式、经典的反对意见,以及符号系统至今仍然不可替代的地方。
符号系统(symbolic system)是这样一种系统:它把知识表示为离散的符号,并把符号组合成有结构的表达式;它通过应用明确的规则来创建、变换和比较这些表达式,从而进行推理。由于每个符号、每条规则都可以被阅读,它得出的每个结论都能沿着产生它的确切步骤和前提被追溯回去。
符号系统把它所知道的东西存成由符号构成的表达式,例如 parent(ann, bill)、一条规则 IF bird(x) THEN has_feathers(x),或一条图中的边 阿司匹林 → 抑制 → COX-1,再按规则从旧表达式算出新表达式。纽厄尔与西蒙的物理符号系统假说(1976)主张:这样的系统具备实现一般智能行为的必要且充分的手段。逻辑为此提供理论:一个形式系统包含字母表、合式公式、公理和推理规则,其中的每一个推导都可以被机械地检验。这种设计换来了精确、可检视和可重放;代价是脆弱性、知识获取瓶颈,以及符号接地问题。今天,符号层被用在最能发挥其长处的地方:决定什么是被允许的,以及什么算作事实。
1. 什么是符号系统?
“符号系统”一词在符号学、人类学和数学等多个领域都有使用。在人工智能与认知科学中,它有特定的含义。一个符号系统由三部分组成:
- 符号。代表某种东西的离散记号:一个个体(
ann)、一种关系(parent)、一个类别(Person)、一个数、一个动作。 - 表达式。按固定的组合规则由符号搭建起来的结构:
parent(ann, bill)、、规则表中的一行、图中的一个三元组。 - 过程。接收表达式并产生新表达式的操作:代入、匹配、规则应用、搜索。
它的决定性特征是:这些过程作用于表达式的形式。一条从 和上面那个全称命题推出 的规则,并不需要知道人是什么。它只需要匹配形状,并用一个常量替换一个变量。正是这一点让符号推理是机械的、可检验的;而正如 §7 所示,它也是符号推理最著名弱点的根源。
符号系统是寻常的基础设施:数据库的查询规划器、编译器的类型检查器、规则引擎、Prolog 程序、OWL 推理机、SAT 求解器,以及 Coq、Isabelle、Lean 这样的证明助手。符号 AI 是建立在这些系统之上的人工智能分支;关于这个领域的整体介绍,见什么是符号 AI?;关于它的发展历程,见符号 AI 的历史。
2. 物理符号系统假说
艾伦·纽厄尔(Allen Newell)与赫伯特·西蒙(Herbert A. Simon)获得了 1975 年的 ACM 图灵奖。他们的获奖演讲于 1976 年以《作为经验探究的计算机科学:符号与搜索》(Computer Science as Empirical Inquiry: Symbols and Search)为题发表在《Communications of the ACM》上,给出了这一思想的经典表述 [1]。
按照他们的定义,物理符号系统由一组称为符号的实体构成;符号是物理模式,可以作为另一类实体——表达式(或称符号结构)——的组成部分出现。在任一时刻,系统都持有一批这样的结构,并包含作用于表达式、产生其他表达式的过程:创建、修改、复制和销毁的过程。另外两个概念赋予了符号力量:
- 指称。“如果给定一个表达式,系统就能影响某个对象本身,或以依赖于该对象的方式行事,那么这个表达式就指称该对象。”
- 解释。“如果一个表达式指称一个过程,并且给定该表达式时系统能够执行这个过程,那么系统就能解释这个表达式。”
假说本身只有一句话:
必要是指:任何表现出一般智能的系统,经过分析都会被证明是一个物理符号系统。充分是指:任何足够大的物理符号系统,都可以被组织起来表现出一般智能。同一篇演讲还提出了第二个主张,即启发式搜索假说:“问题的解被表示为符号结构。物理符号系统通过搜索来运用其解决问题的智能——也就是说,不断生成并逐步修改符号结构,直到产生一个解结构为止。”
纽厄尔与西蒙把它作为一个经验性假说提出,要像自然规律那样接受检验,而不是作为一条定理。他们与克利夫·肖(Cliff Shaw)一起构建的程序——逻辑理论家(Logic Theorist,1956)和通用问题求解器(General Problem Solver)——被作为证据。这一假说从一开始就受到挑战:来自联结主义;来自基于行为的机器人学,后者主张有用的行为根本不需要一个中央符号模型 [2];也来自 §7 中的哲学反对意见。如今已很少有研究者为其强形式辩护。本文所依赖的是一个更窄、也更容易辩护的主张:当答案必须精确、有依据且可复现时,显式的符号操作是合适的工具。
3. 形式系统:符号的数学
符号系统不一定是一种逻辑,但它的各项性质在逻辑中表现得最为清晰。以下定义都是标准定义。
可推导性是一个纯粹的句法概念。检验一个给定序列是否构成推导,只需把它从头到尾过一遍,每一步都是一个可判定的检验。这正是“符号结论可以被检验”这一说法的数学核心。
在实践中最要紧的是可靠性:一个可靠的系统绝不会从真前提推出假结论。完备性则说明,任何在所有模型中都为真的东西都不会遥不可及。命题逻辑和一阶逻辑的标准证明系统两者兼备;对一阶逻辑而言,完备性就是哥德尔 1930 年的完备性定理 [3]。
3.1 一个简短的推导
最常用的规则是肯定前件式(modus ponens):由 和 ,推出 。
取 ,则 :
| 行 | 公式 | 依据 |
|---|---|---|
| 1 | Γ 中的假设 | |
| 2 | Γ 中的假设 | |
| 3 | 肯定前件式,由 1 和 2 | |
| 4 | Γ 中的假设 | |
| 5 | 肯定前件式,由 3 和 4 |
3.2 归结
自动推理大多使用另一条规则。1965 年,J. A. 罗宾逊(J. A. Robinson)提出了归结(resolution)——一条作用于子句(文字的析取)的单一推理规则,并同时给出了让它适用于一阶逻辑的合一算法 [4]。在命题情形下,对子句 、 和文字 :
在一阶情形下,互补的文字只需可合一即可:若 是 与 的最一般合一子,则
归结通过反驳来工作:要证明 ,就加入 ,并推导出空子句 ,即一个矛盾。把上面的例子写成子句形式:、、,再加上被否定的目标 。对 归结得到 ;对 归结得到 ;对 归结得到 。归结连同因子化(合并同一子句中可合一的文字)对一阶逻辑是可靠的,并且是反驳完备的:只要一个子句集不可满足,就存在某个归结步骤序列能推导出空子句。Prolog 和大多数经典定理证明器都以它为基础。
3.3 局限:可判定性与哥德尔
完备性并不意味着问题总能得到回答。有两个局限是精确的,值得准确表述。
- 不可判定性。命题逻辑的有效性是可判定的:含 个变元的真值表共有 行。一阶逻辑的有效性则不是。丘奇与图灵在 1936 年各自独立证明了不存在判定它的算法 [5] [6]。它是半可判定的:由于一阶逻辑是完备的,证明搜索总能为任何有效公式找到证明;但面对一个无效公式时,它可能永远运行下去。
- 不完全性。哥德尔 1931 年的定理讨论的是另一种意义上的完备性 [7]。
哥德尔 1931 年对 (1) 的证明假设了一个稍强的条件,即 ω-一致性;罗瑟(Rosser)在 1936 年证明了普通的一致性就已足够 [8]。该定理说明,这样的理论不是否定完全的:有些语句在其中既不能被证明,也不能被否证。这与定义 4 中的完备性不同,一阶逻辑具有后者。这个定理并不是说符号推理会失败,也不是说证明不可靠。它说的是:没有任何单一的、一致的、能被有效公理化且强到足以表达算术的理论,能够解决所有算术问题。许多实际使用的系统,例如命题逻辑和 OWL 背后的描述逻辑,都太弱,不在该定理的适用范围内,而且它们的推理问题是可判定的。
4. 知识表示
知识表示是 AI 中负责决定系统使用哪些符号、这些符号意味着什么的那一部分。下面每一种方案,都是在表达能力与推理的成本和可靠性之间做取舍。
- 命题逻辑与一阶逻辑。把事实和一般性陈述写成公式;通过证明进行推理,如 §3 所述。一阶逻辑的表达力足以精确陈述大多数事情,但也强到使推理在一般情况下不可判定。
- 产生式规则。把知识写成条件—动作对:
IF工作记忆匹配某个模式,THEN添加、删除或修改事实。1970 至 80 年代的专家系统大多基于规则,而福吉(Forgy)的 Rete 算法(1982)让“大量规则对大量事实”的匹配变得高效 [9]。 - 语义网络。概念是节点,关系是带标签的连线,属性沿着 is-a 连线继承。奎利恩(Quillian)1968 年的语义记忆模型是其经典出处 [10]。
- 框架。明斯基(Minsky)在 1974 年提出框架,即“一种用于表示刻板情境的数据结构”,带有槽位、默认值和附加过程 [11]。一个餐馆框架预期会有菜单、服务员和账单;缺失的槽位由默认值填充,直到有证据推翻它们。
- 描述逻辑与 OWL。为类别与关系而设计的一阶逻辑可判定片段 [12]。描述逻辑可以陈述下面这样的定义,推理机则能检查一致性并计算出类层级。W3C 的 Web 本体语言 OWL(2004;OWL 2 于 2009 年发布)就建立在描述逻辑之上 [13]。
- 知识图谱。把事实写成主语—谓语—宾语三元组,它们合在一起构成一张有向、带标签的图。W3C 的数据模型 RDF 把 RDF 图定义为这类三元组的集合 [14]。“知识图谱”一词由谷歌在 2012 年推广开来;霍根(Hogan)等人对这一领域做了综述 [15]。
左边:一个描述逻辑定义(父母恰好就是至少有一个孩子、且该孩子是人的人)。右边:用单个三元组表达的同类知识。已知这个三元组以及 和 ,推理机无需被告知,就会把 归类为 。
| 方案 | 知识单元 | 典型推理 | 长处 | 短处 |
|---|---|---|---|---|
| 一阶逻辑 | 公式 | 证明、归结 | 精确,表达力很强 | 一般不可判定;难以编写 |
| 产生式规则 | IF—THEN 规则 | 前向链接 | 单条规则易读 | 规模变大后规则间的相互作用难以预见 |
| 语义网络 | 节点与带标签的连线 | 继承、沿连线扩散 | 直观、可视 | 早期版本缺乏形式语义 |
| 框架 | 带槽位和默认值的框架 | 槽位填充、默认继承 | 能刻画刻板印象与预期 | 默认值使推理变为非单调 |
| 描述逻辑 / OWL | 类与属性公理 | 分类、一致性检查 | 可判定,有形式语义,W3C 标准 | 表达力有限;开放世界假设常出人意料 |
| 知识图谱 | 主语—谓语—宾语三元组 | 图查询、遍历、规则 | 可扩展到数十亿条事实;易于合并 | 模式漂移;质量取决于来源 |
5. 符号推理的几种类型
5.1 演绎、归纳与溯因
美国哲学家查尔斯·桑德斯·皮尔士(Charles Sanders Peirce)区分了三种推理形式 [16]。用他自己的例子:规则是“这个袋子里的豆子都是白的”,情形是“这些豆子来自这个袋子”,结果是“这些豆子是白的”:
- 演绎从规则和情形走向结果。如果前提为真,结论必然为真。三者中只有它是保真的,也正是 §3 所形式化的内容。
- 归纳从情形和结果走向规则:从这个袋子里观察到的每一颗豆子都是白的,所以所有豆子都是白的。即使每个前提都为真,结论也可能为假。
- 溯因从结果和规则走向情形:这些豆子是白的,而这个袋子里的豆子是白的,所以它们也许来自这个袋子。它是向一个能够解释观察的假设进行推理。皮尔士最著名的表述是:“观察到令人惊讶的事实 C;但如果 A 为真,C 就理所当然;因此,有理由怀疑 A 为真。” [16]
溯因作为证明在逻辑上是无效的,但作为搜索策略很有用。诊断、故障排查和科学假设的提出,都是溯因性的。严谨的系统会让这一区别始终可见:溯因得出的假设是待检验的候选,而不是事实。
5.2 前向链接与后向链接
前向链接由数据驱动。它从已知事实出发,触发所有条件被匹配的规则,加入结论,并不断重复,直到不再产生新东西。后向链接由目标驱动。它从一个问题出发,找出结论与目标相匹配的规则,把这些规则的条件变成子目标,递归进行,直到落到已知事实上。Prolog 就是这样工作的。只要规则可靠,两者都是可靠的;区别在于它们推导出哪些事实。
5.3 合一
合一是寻找一个使两个表达式完全相同的代换。一般规则正是借此应用到具体情形上的。例如:
而 与 不能合一,因为 不可能同时是 和 。罗宾逊 1965 年的论文给出了第一个合一算法,并证明了只要存在合一子,就存在最一般合一子 [4]。
5.4 约束求解
约束满足问题由变量、每个变量的取值域,以及限制哪些组合被允许的约束构成:排课表、寄存器分配、电路验证、数独。求解器把搜索与传播结合起来,传播会剪除不可能的取值。布尔可满足性(SAT)是其核心情形;库克(Cook)在 1971 年证明了它是 NP 完全的 [17],然而现代 SAT 与 SMT 求解器却能常规地判定变量数量极其庞大的工业实例。当求解器给出不可满足的结论时,许多求解器还能输出一份可由独立检查器验证的证明。
5.5 规划
规划是搜索一个动作序列,把初始状态变为满足目标的状态。来自 SRI 的 STRIPS(菲克斯与尼尔森,1971)确立了经典的表示方式:每个算子都有前提条件表、添加表和删除表 [18]。同样的结构延续到了规划竞赛所用的语言 PDDL 中。计划本身就是一个符号对象,因此可以在任何东西运行之前对它进行验证。
6. 符号系统擅长什么
- 组合性。复杂表达式的意义由其组成部分的意义及其组合方式决定。一个理解
parent、ancestor以及连接二者的规则的系统,能够处理它从未见过的、任意深度的家谱。 - 系统性。福多与派利夏恩(Fodor & Pylyshyn,1988)认为人类思维具有系统性:能想到“安把比尔介绍给克莱尔”的人,也能想到“比尔把克莱尔介绍给安” [19]。符号系统天然具有这一性质,因为同一条规则适用于处在相同角色上的任何符号。神经网络能否在不实现一个符号系统的情况下达到这一点,至今仍有争论。
- 精确。一个符号答案要么被推导出来,要么没有。在一个可靠的推导中,不存在“86% 正确”的事实。当没有任何推导能得出答案时,诚实的输出是未知。
- 可检视。每一条规则、每一个事实都可以被人阅读、质疑、修正或删除。解释不是事后重构出来的;推导本身就是解释。
- 确定性与可重放。同样的前提和规则每次都给出同样的结论。一个决策可以在几个月后被精确重放、审计,并与新的规则集做差异比对,准确看出改变了什么。
正因为这些性质,凡是错误必须在事后被解释清楚的地方,符号方法依然是默认选择:编译器、数据库、硬件验证,以及 §9 中讨论的安全层。
7. 经典的反对意见,如实道来
- 符号接地问题。哈纳德(Harnad,1990)问道:怎样才能让“一个形式符号系统的语义解释成为该系统内在的东西,而不只是寄生于我们头脑中的意义” [20]。他的类比是只靠一本汉汉词典学中文:每个符号都只由其他符号来定义。单靠一个符号系统,无法从
cat走到真实的猫。哈纳德提出的答案是混合式的:用非符号方法习得的感知类别,为最基本的符号接地。 - 中文屋。塞尔(Searle,1980)设想一个不懂中文的人被锁在一个房间里,手里有一本操作汉字的规则书,他给出的回答让屋外说流利中文的人无法与母语者区分 [21]。他的结论是:运行程序(即句法)本身不足以构成理解,理解需要语义。这一论证至今仍有争议,而且它针对的是关于“理解”的主张,而不是符号系统能否算出正确答案。
- 框架问题。麦卡锡与海斯(McCarthy & Hayes,1969)发现,用逻辑描述一个动作的效果时,还必须陈述该动作不改变的一切 [22]。给一块积木上漆不会移动它,也不会改变别的积木,而把这一切都写出来是不可行的。后继状态公理以及 STRIPS 假设(凡不在添加表或删除表中的东西都保持不变)等技术解决了这个技术问题;但更广泛的问题——任何系统如何决定什么是相关的——依然困难。
- 脆弱性与知识获取瓶颈。规则库的好坏取决于人写下的规则。一旦超出作者预料到的情形,它不会优雅地退化,而是直接失败,或者什么也说不出来。专家系统的构建和维护代价高昂,因为每条规则都必须从人类专家那里提取出来。正是这一点,而不是任何定理,使统计学习在感知和语言上取代了符号 AI。
- 组合爆炸。搜索空间随问题规模呈指数增长。英国的莱特希尔报告(Lighthill report,1973)把这一点列为早期 AI 方法无法从玩具问题扩展开来的核心原因 [23]。启发式、巧妙的编码和可判定片段在许多真实领域驯服了它,但无法在一般情况下做到,正如 §3.3 和 SAT 的 NP 完全性所表明的那样。
这些反对意见没有一条是说符号系统会从前提算出错误答案。它们说的是:前提必须有来处,符号本身没有意义,而搜索可能代价高昂。这就是为什么大多数现代设计都把符号层与习得的组件配对使用:习得的部分负责感知和提议,符号部分负责接纳和证明。两者的各种结合方式,见神经符号 AI。
8. 类型化遍历:路径就是理由
知识图谱支持一种容易被忽视的推理形式:遍历。在类型化图中,每条边都有一个命名的关系类型,而关系可以被声明为传递的(part_of)、另一关系的逆(parent_of / child_of)或函数性的(至多一个值,如 date_of_birth)。查询沿着问题所允许类型的边行走:
对“ 与 有关吗?”的回答,会附带连接二者的路径。检验这个回答就是检验 条边,所需时间与 成正比。这就是路径就是理由的含义:相似度搜索能说出两样东西彼此接近,却说不出为什么;遍历则确切说明是哪些已断言的事实把它们连接起来。由于遍历只组合已断言的边,它不可能返回一个不在这些边的闭包之中的关系;一个函数性关系若出现两个不同的值,会被检测为矛盾,而不是被平均掉。我们的论文《在符号系统中遍历数据》把这些性质表述为定理,并给出了可复现的验证 [24]。
图 1. 遍历只通过组合已断言的边来推导事实,因此推导与解释是同一个对象。
同样的思想可以再上升一层。当多个模型、工具和服务被串联起来时,有些性质只能在整条链上检验:下游使用的每一条事实都来自被接纳的来源;一个组件的拒绝不会被另一个组件悄悄绕过。任何单个模型都无法在一条它只是其中一环的链上强制执行不变式。我们的论文《编排缺口》论证:这类链级不变式需要一个位于模型之外的符号层,在那里它们可以被精确表述、被确定性地检验 [25]。符号流介绍了基于这一原则构建的流水线。
9. 符号系统作为失效安全模型的地板
失效安全模型是这样一种 AI 模型:当它失败时,失败会把它推向受控的安全状态;证据缺失时它弃权,它的学习可以收窄它的行为,却永远不能扩大它被授权做的事。这需要系统中有一个部分:它的答案是精确的,它的规则可以被阅读,而且学习者无法改写它。这些正是 §6 中的性质,也正因如此,失效安全模型天然的地板是符号性的。
- 精确带来失效时关闭。符号检查要么接纳一条事实,要么不接纳。当没有任何东西接纳它时,答案是未知,而不是猜测。
- 可检视带来可问责的拒绝。一次拒绝可以指明产生它的规则,人可以阅读并质疑这条规则。
- 确定性带来可重放。任何决策都可以在日后以相同结果重新运行和审计。
- 分离带来有界的学习。如果什么被允许是先由符号层算出来的,那么一个只在被允许选项中做选择的学习者,无论怎样训练,都无法增加一项许可。
Perslis Research 的 Peel 就是这样构建的。据我们所知,它是第一个失效安全模型;确切的主张与最接近的更早工作,见什么是失效安全模型?。Peel 中的知识是有类型、有来源的卡片;学习是可读的计数;做决定的回路中没有神经网络。语言模型可以提议;只有地板能接纳一条事实。Peel 是研究原型,并非经过认证的安全系统。关于 Perslis 如何更广泛地使用符号 AI,见Perslis 的符号 AI;关于符号地板与基于置信度打分的分类器的实例对比,见地板与分类器。
10. 常见问题
- AI 中的符号系统是什么?
- AI 中的符号系统把知识表示为离散的符号,并把符号组合成有结构的表达式,例如逻辑公式、规则或图中的三元组;它通过应用明确的规则来创建和变换这些表达式,从而进行推理。由于符号和规则都是可读的,每个结论都能追溯到产生它的前提和步骤。
- 什么是物理符号系统假说?
- 这是艾伦·纽厄尔与赫伯特·西蒙在其 1975 年图灵奖演讲(1976 年发表)中提出的主张:物理符号系统具有实现一般智能行为的必要且充分的手段。必要是指任何具有一般智能的系统都会被证明是一个符号系统;充分是指一个足够大的符号系统可以被组织起来具有一般智能。它是一个经验性假说,至今仍有争议。
- 什么是符号推理?
- 符号推理是按照作用于表达式形式的明确规则,从已有表达式推导出新表达式。它包括保真的演绎、从情形中概括的归纳,以及提出解释性假设的溯因,还包括前向与后向链接、合一、约束求解和规划等技术。
- 什么是符号接地问题?
- 它由斯蒂万·哈纳德在 1990 年提出,问的是:形式系统中的符号怎样才能对系统自身有意义,而不仅仅对解释它的人有意义。如果每个符号都只由其他符号来定义,就像词典那样,那么没有任何东西把它们与世界连接起来。提出的解决方案是把基本符号扎根于感知或行动之中。
- 知识图谱是符号性的吗?
- 是的。知识图谱把事实存储为带命名关系的主语—谓语—宾语三元组,可以按明确的规则对它进行查询、遍历和推理。知识图谱嵌入把图映射为向量,是建立在它之上的亚符号层。
- 可靠性与完备性有什么区别?
- 如果一个证明系统能推导出的一切,在其前提为真的每个解释中都为真,它就是可靠的,记作:若 Γ ⊢ φ 则 Γ ⊨ φ。如果一切被如此蕴涵的东西都能被推导出来,它就是完备的:若 Γ ⊨ φ 则 Γ ⊢ φ。一阶逻辑有同时满足两者的证明系统。
- 哥德尔不完全性定理是否意味着符号 AI 行不通?
- 不是。它说的是:任何一致的、公理可由算法列举、并包含一定量初等算术的形式理论,都包含它既不能证明也不能否证的语句,并且无法证明自身的一致性。它限制的是单个理论能解决什么;它并不使可靠的推导变得不可靠,而且许多实用的符号系统是可判定的。
- 符号系统在 AI 安全中如何使用?
- 由于符号检查精确、可读且确定,它们可以独立于任何习得的模型,决定一个 AI 系统被允许做什么、可以把哪些事实当作真。在失效安全模型中,符号地板负责接纳事实与许可,学习者只能在地板允许的范围内做选择。
11. 参考文献
- A. Newell, H. A. Simon. Computer Science as Empirical Inquiry: Symbols and Search. Communications of the ACM 19(3):113–126, 1976. doi:10.1145/360018.360022.
- R. A. Brooks. Intelligence without representation. Artificial Intelligence 47(1–3):139–159, 1991.
- K. Gödel. Die Vollständigkeit der Axiome des logischen Funktionenkalküls. Monatshefte für Mathematik und Physik 37:349–360, 1930.
- J. A. Robinson. A Machine-Oriented Logic Based on the Resolution Principle. Journal of the ACM 12(1):23–41, 1965. doi:10.1145/321250.321253.
- A. Church. A Note on the Entscheidungsproblem. Journal of Symbolic Logic 1(1):40–41, 1936.
- A. M. Turing. On Computable Numbers, with an Application to the Entscheidungsproblem. Proceedings of the London Mathematical Society s2-42:230–265, 1936.
- K. Gödel. Über formal unentscheidbare Sätze der Principia Mathematica und verwandter Systeme I. Monatshefte für Mathematik und Physik 38:173–198, 1931. doi:10.1007/BF01700692.
- J. B. Rosser. Extensions of some theorems of Gödel and Church. Journal of Symbolic Logic 1(3):87–91, 1936.
- C. L. Forgy. Rete: A Fast Algorithm for the Many Pattern/Many Object Pattern Match Problem. Artificial Intelligence 19(1):17–37, 1982.
- M. R. Quillian. Semantic Memory. In M. Minsky (ed.), Semantic Information Processing. MIT Press, 1968.
- M. Minsky. A Framework for Representing Knowledge. MIT AI Laboratory Memo 306, 1974.
- F. Baader, D. Calvanese, D. L. McGuinness, D. Nardi, P. F. Patel-Schneider (eds.). The Description Logic Handbook: Theory, Implementation, and Applications. Cambridge University Press, 2003.
- W3C OWL Working Group. OWL 2 Web Ontology Language Document Overview. W3C Recommendation, 27 October 2009(2012 年第二版)。第一版 OWL 于 2004 年 2 月 10 日成为 W3C 推荐标准。
- R. Cyganiak, D. Wood, M. Lanthaler (eds.). RDF 1.1 Concepts and Abstract Syntax. W3C Recommendation, 25 February 2014.
- A. Hogan et al. Knowledge Graphs. ACM Computing Surveys 54(4), Article 71, 2021. doi:10.1145/3447772. arXiv:2003.02320.
- C. S. Peirce. Deduction, Induction, and Hypothesis. Popular Science Monthly 13:470–482, 1878;以及 Collected Papers of Charles Sanders Peirce, Vol. 5: Pragmatism and Pragmaticism, ed. C. Hartshorne and P. Weiss, §5.189. Harvard University Press, 1934.
- S. A. Cook. The Complexity of Theorem-Proving Procedures. Proceedings of the 3rd Annual ACM Symposium on Theory of Computing (STOC), 151–158, 1971.
- R. E. Fikes, N. J. Nilsson. STRIPS: A New Approach to the Application of Theorem Proving to Problem Solving. Artificial Intelligence 2(3–4):189–208, 1971.
- J. A. Fodor, Z. W. Pylyshyn. Connectionism and Cognitive Architecture: A Critical Analysis. Cognition 28(1–2):3–71, 1988.
- S. Harnad. The Symbol Grounding Problem. Physica D 42:335–346, 1990. doi:10.1016/0167-2789(90)90087-6.
- J. R. Searle. Minds, Brains, and Programs. Behavioral and Brain Sciences 3(3):417–424, 1980. doi:10.1017/S0140525X00005756.
- J. McCarthy, P. J. Hayes. Some Philosophical Problems from the Standpoint of Artificial Intelligence. In B. Meltzer, D. Michie (eds.), Machine Intelligence 4, 463–502. Edinburgh University Press, 1969.
- J. Lighthill. Artificial Intelligence: A General Survey. In Artificial Intelligence: a paper symposium. Science Research Council, London, 1973.
- Perslis Research. Traversing Data in Symbolic Systems: Typed-Relation Traversal as a First-Class Retrieval Primitive. 2026. research.perslis.com/traversal
- Perslis Research. The Orchestration Gap: Why Model-Level Alignment Cannot Survive Multi-Model Runtimes. 2026. research.perslis.com/orchestration-gap