笔趣阁

手机浏览器扫描二维码访问

第三章 神经网络萃取隐蔽相关性（第4页）

增量学习和连续学习

目前的机器学习算法都是“离线训练”，先用一大堆数据训练模型，训练完测试好就拿去做识别用，在识别过程中，这个模型是固定的。如果发现了新的情况，有了新的训练数据，就要把新数据和原来的老数据合在一起重新训练这个模型，训练完还要重新测试才能使用。许多互联网巨头每个月都要训练几十万个模型，目前的计算量主要在训练上。增量学习就是当有新数据时，只用新数据训练原来的模型，使机器在原有的识别功能之上增加新的识别功能。连续学习就是能够边识别边学习。这两种学习算法都还在研究的早期阶段。

生成对抗网络

监督学习的最大问题之一就是需要大量人工标注的数据。在很多情况下，要么没有数据，要么标注的工作量太大。生成对抗网络（GenerativeAdversarialNetwork，GAN）解决了这个问题。因此GAN成为目前最炙手可热的非监督学习算法之一。

GAN减少深度学习训练所需的数据量的方法是：从少量的已有数据出发去创造出更多的新的标注数据——多数情况下是图像数据。

图3.13是GAN的示意图，图中有两个深度神经网络：G和D，其中G是生成网络，D是鉴别网络。生成网络的任务是根据一组真实、有限的数据（例如一组图片）生成更多类似但不同的数据。然后把这些生成的数据和真实数据混在一起喂给鉴别网络。鉴别网络的任务是使用很少的真实数据训练后，分出哪些是真实数据哪些是生成数据。如果生成网络生成的数据能被鉴别网络认出来不是真实数据，就说明生成网络模仿得不够真实，需要继续调整网络参数，目的是让鉴别网络分不出来。如果鉴别网络分不出来真假，就说明鉴别网络不够好，需要继续调整参数分出真伪。这样“道高一尺，魔高一丈”地持续对抗下去，两个网络就越来越好：生成网络模仿得越来越真，鉴别网络越来越“火眼金睛”。当两个网络打得难解难分时，生成网络生成出来的数据就和真实数据无法分辨。当缺乏足够多的真实数据时这些生成数据就可以用于神经网络的训练了。

图3.13生成对抗网络

可以把这个过程想象为一个警察和假币伪造者之间的比拼，伪造者想把假币做得像真的，警察希望看到任何钞票时都能鉴别出真伪。两个对抗网络也在彼此学习，也就是说，当一个网络努力去鉴别假币时，另一个网络就能把假币做得越来越真。

另一个例子是生成对抗网络可以模仿名画。经过训练之后的最终结果是，一个网络可以像凡·高、毕加索一样作画，另一个网络能以你闻所未闻的洞察力鉴别画作。这对于医疗等领域来说非常重要，在这些领域中，由于隐私的需要，可用的数据非常有限。GAN可以填补缺失的数据，自行制作完全“臆造”的病患数据，而这些数据在用于训练AI时和真实数据同样有效。深度生成模型有广泛的应用，包括密度估计、图像降噪（从低分辨率或高噪音的图像中生成高品质图像）、图像修复（从部分残缺的图像中恢复完整图像）、数据压缩、场景理解、表征学习、3D场景搭建、半监督分类或分级控制等。

相比判别模型（例如CNN），生成模型更厉害的原因如下：

（1）能够从数据中识别并表现出隐藏的结构，例如三维物体的旋转、光强、亮度或形状等概念。

（2）能够想象世界“可以是什么样”，而不是仅仅展现世界“已经是什么样”。

（3）通过拟合并生成近似真实的场景，可以预见未来。

迁移学习

迁移学习的一个例子是当一个神经网络学会了中文翻译成日文，再让它学德文翻译成英文时就比从头训练要花的时间少得多。这里面的道理在于语言的结构有很多相似的地方，一旦掌握了这些结构，学习下一个就快了。这和人的技能学习类似。可以想象，只要两种任务的结构有相似之处，就可以用迁移学习的方法。

学习如何学习

学习如何学习也叫“元学习”。目前所有的神经网络都是为了一个单一任务而被设计和训练的。换一个不同的任务，例如从识别图片换成学下棋，原来的机器就完全不工作了。目前的所谓“元学习”并非让机器和人一样掌握举一反三的能力，而是让同一个机器适应更多种类的工作。一个办法是训练时用多个种类的任务来训练。另一个办法是把机器分为两个层次：学习任务的机器和观察学习过程的机器。如果后者能够领悟出不同任务之间的相关性，就可以更快地学习新任务。

神经网络可以有许多不同的结构，例如不同的层数、不同的连接方式，等等。把这些结构看成一个可能的空间，让机器自己在这个空间中寻找对给定问题的最佳结构。

深度学习的局限性

上面介绍了一些目前最热的神经网络，例如卷积神经网络、循环神经网络、强化学习、生成对抗网络等，它们有很多神奇的地方，在实际中也得到了相当广泛的应用。但神经网络也好，深度学习也好，都不是万能的，它们有其自身的局限性。

神经网络的一个局限性是，需要依赖特定领域的先验知识，也就是需要特定场景下的训练，说白了就是神经网络只会教什么学什么，不会举一反三。神经网络的这个局限性，是因为神经网络的学习本质上就是对相关性的记忆，也就是说神经网络将训练数据中相关性最高的因素作为判断标准。打比方说，如果一直用各个品种的白色狗来训练神经网络，让它学会“这是狗”的判断，神经网络会发现这些狗最大的相关性就是白色，从而得出结论：白色=狗。在这种情况下，让这个神经网络看见一只白猫，甚至一只白兔子，它仍然会判断为狗。机器学习的这种呆板行为，用专业术语描述叫“过度拟合”。如果想让神经网络变得更聪明，就必须用各种颜色、各个品种、是否穿衣服等各种场景下的狗来训练神经网络，如此它才有可能发现不同的狗之间更多的相关性，从而识别出更多的狗。人类则不同，一个两三岁智力发育正常的孩子，在看过几只狗之后，就能认出这世上几乎所有的狗了。无须大量标注数据和特殊场景的训练，只需要少量的数据，人脑就可以自己想清楚这个过程。在这方面，目前的神经网络和人脑相比，还有很大的差距。

再如前面提到的汽车和猫的例子，如果一直用正常的汽车来训练这个神经网络，那么当神经网络突然看到图3.14的时候，很有可能无法把它认作汽车，而觉得它更像猫。

这个问题在自动驾驶领域显得尤为突出，由于道路交通状况的复杂性，各种交通指示标志的多样性，想把所有的道路交通场景都训练到显然是不可能的。2016年特斯拉第一起自动驾驶致死的事故也和这个原因有关。

图3.14机器学习会把这辆汽车当成猫

神经网络的另一个局限性是无法解释结果为什么是这样，因为人类无法理解暗知识，所以更无法解释。对于神经网络这个“满是旋钮的黑盒子”，每个旋钮为什么旋转到那个位置，而不是多一点或者少一点，都是无法解释的。这个不可解释性在许多涉及安全和公共政策的领域都是很大的问题。例如，医疗涉及人的健康和生命，医生的诊断需要根据极为严谨的医学逻辑，因此医疗对于人工智能的可解释性要求远高于其他行业，极少有医院或医生敢把无法解释的诊断结果用在患者身上。然而由于神经网络自身不具备医学逻辑，其输出的结果也缺乏医学上的解释性，因此目前人工智能在医学上的应用，无论是影像识别还是辅助诊断，都需要专业医生的复核，距离取代医生还有较大的距离。

人工智能之所以有上述两个局限性，主要是因为目前的神经网络只有相关性的学习能力，没有因果推理能力，更无法把一步一步推理的过程表现出来。因此，想要克服这两个局限性，我们需要有因果推理能力的人工智能。要实现这件事情，人工智能需要做的，不仅是识别场景，还需要将识别出来的场景和它具体的功能以及想做的事情结合起来，从而实现合理的逻辑推理。

让我们看看人脑是如何理解一个场景的。当人进入一个新的房间时，会很自然地对这个房间的大小，里面各个物品的大小、位置等有一个大致的认识。之后，人脑会把识别出的场景和物品，与其功能一一匹配，例如，床是用来躺的，而且是一张双人床可以躺两个人，椅子是用来坐的，杯子是用来喝水的，等等。然而值得注意的是，上述的几何重建和功能推理，其精度是和具体任务相结合的。例如，人一开始看到杯子，会匹配它喝水的功能，并看到它放在桌子上，判断距离自己两三米远，这个距离判断是非常不精确的。然而当人真的需要喝水时，喝水成为一个任务，人在走过去拿杯子的过程中，不断地、更加精确地判断自己和杯子的距离，直到非常精确地拿到杯子。这个过程就是一个典型的任务驱动的场景识别和功能推理。

此外，人类对于功能的推理，并非会拘泥于具体的物体，而是能抽象出这个物体和功能有关的物理特性，从而匹配其功能。仍然以喝水为例，如果房间里没有杯子，但是有一个瓢、一个盘子、一根擀面杖，人会很自然地选择瓢作为喝水的工具（如果连瓢都没有则可能选择盘子），因为瓢可以作为容器的物理特点和杯子是一致的。而且，选择了瓢之后，人拿瓢的动作，喝水的动作，都会和拿杯子不一样，这同样是由杯子和瓢不同的物理特性决定的。由此可见，人对于物体的功能推理，是会根据任务的要求，抽象其物理特性，从而推理它的功能并完成任务，因此人工智能的场景识别和功能匹配，是需要基于场景和物体的物理特性来完成的，而不仅仅是识别和标定具体功能。

这种基于任务驱动的因果推理和当前的神经网络的对比如下。（见表3.1）

表3.1神经网络和任务驱动的对比

资料来源：朱松纯，《正本清源》，2016年11月刊登于《视觉求索》。

目前在这个方面探索的代表人物是加州大学洛杉矶校区（UCLA）的图灵奖获得者朱迪亚·珀尔（JudeaPearl）教授以及他的同事朱松纯教授。他们认为可以建立一个基于常识之上的“概率决策图”，也叫“概率语法图”。这个模型把人类的常识和世界模型都包含进来，又采用贝叶斯原理，可以像人类一样不需要许多数据就能学会，在处理许多问题上效率远高于神经网络。在高科技领域，硅谷一家由斯坦福大学教授威德罗的弟子创办的人工智能公司Vicarious得到了著名风险投资人蒂尔（PeterThiel）、特斯拉创始人马斯克、脸书创始人扎克伯格（MarkZuckberg）和亚马逊创始人贝佐斯（JeffBezos）的投资。他们也是采用了概率决策图的方法。虽然目前他们是少数派，但也许若干年后会异军突起，就像神经网络坐了50年“冷板凳”今天突然一飞冲天一样。