2.22 通过概率规划归纳的人类层次概念学习

尽管人工智能和机器学习取得了显著的进步，但是机器系统始终还未能触及人类概念性知识的两个方面。首先，对于大多数自然和人工的类别，人们可以仅从一个或少量的一些样例中学得一个新概念，而标准的机器学习算法则需要几十或上百的样例来达到类似的能力。例如，人们可能只需要看到一种新型两轮车的一个样例（见图 1A），就可以掌握这个新概念的范畴，甚至连孩子们都可以利用“单次学习”形成有意义的泛化能力。相反，很多领先的机器学习算法却恰恰对数据需求极高，特别值得一提的就是目前在物体和语音识别基准集上性能达到新高度的“深度学习”模型。其次，即使对于简单的概念（见图 1B），人们也可以比机器学得更加丰富的表达用于各种用途，包括创造新样例（见图 1B ii），将物体解析为部件及关系（见图1B iii），以及基于现有的类别创造新的抽象类别（见图 1B iv）。相反，即使是***的机器分类算法也不能实现这些额外的功能，这些功能往往很少被研究或者通常需要特定的算法来实现。因此我们面临的一个核心挑战就是如何来解释人类层次概念学习的这两个方面，即人们是如何通过一个或很少的样例学得新概念？以及人类是如何学得这些抽象、丰富而且灵活的表达？如果把两者结合在一起，则提出了一个更大的挑战：如何能从如此稀疏的数据中成功地学得丰富的表达？对于任何一个学习理论而言，为了达到某种好的泛化指标（通常指新旧样例上的性能差别），拟合的模型越复杂只会需要更多而不是更少的数据。然而，人类却似乎可以极为机智地掌控这种权衡，使得从稀疏的数据中仍然可以学得丰富的概念实现很好的泛化。

本文介绍了一套贝叶斯规划学习（BPL）框架，它能够从单个样例学得一大类视觉概念，并且达到几乎和人类一样的泛化能力。在这里，概念被表示为简单的概率规划——概率生成模型，常用某种抽象描述语言下的结构化过程来刻画。此框架整合了三个核心原则——组合性、因果性和学会学习——这些原则在过去的几十年间对认知科学和机器学习都分别产生过很深的影响。通过规划，丰富的概念就可以从很多简单的基元“组合”而成。这种概率语义通过（不同于其他概率模型的）过程化的方式，自然地捕捉到从类别产生样例这个过程中所蕴含的抽象的“因果”结构，从而能处理噪声以及支持创造性的泛化。学习的过程是通过在某种贝叶斯准则下不断地构建最能解释当前观测的规划来进行的，模型通过构建层次化先验使得先前在相关概念上的经验能够帮助简化对新概念的学习，从而实现“学会学习”。这些先验代表了一种学得的归纳性偏向，是对某个领域下概念类型和不同概念实例所共同遵从的核心规则与变异维度的抽象。简言之，BPL 可以通过已有的规划构建新的规划，捕捉到实际生成过程中不同尺度上的因果性和组合性性质。

除了构建上面描述的方法，我们还直接在五个挑战性的概念学习任务（见图 1B）上直接比较了人类、BPL 和其他计算方法的性能。这些任务采用了来自 Omniglot 数据集的简单的视觉概念，Omniglot 数据集（见图 2）是我们从 50 个书写系统中采集到的 1 623 个手写字符的多种样例。我们同时收集了字符的图片以及笔画，细节可见在线补充材料中的 S1 章节。手写字符对于比较人类和机器学习提供了相对平等的基础：它们既是认知自然的，又经常被用来作为基准集比较不同的学习算法。机器学习算法通常是在对每个类别成百上千的样例学习之后再进行评价，然而这里我们对新样例的分类、解析（见图 1B ii）和生成（见图 1B iii）这些任务的评价却用了最具挑战的方式，即仅仅通过对新概念的一个样例的学习。此外还通过让人类和计算模型产生新概念（见图 1B iv）的方式，研究它们在创造性任务上的性能。我们将 BPL 模型和三个深度学习模型、一个经典的模式识别算法，以及BPL 模型的多个残缺版本进行对比——与残缺版本的对比可以分析每个模型要素的单独作用。另外对比了作为当前领先的物体识别算法代表的深度卷积网络的两个变种，以及一个层次深度模型（HD），该模型为我们更多的生成任务所需并且专用于单次学习。