【猎云网（微信号：ilieyun）】4月17日报道 （编译：蔡妙娴）
编者注：本文作者Will Knight是麻省理工学院技术评论的高级编辑。主要涉及机器智能、机器人和自动化领域，也感兴趣于大多数方面的电子计算。
去年，一辆自动驾驶汽车驶入新泽西州蒙茅斯县。这辆实验汽车出自芯片制造商英伟达之手，从外观看，它和谷歌、特斯拉或通用的其他自动驾驶汽车并没有多大差别。
但它的内在可大不一样。这辆车不需要工程师或编程人员的任何指令；相反，它依赖一套算法，通过观看人类司机来自学如何开车。
能让一辆汽车做到这个程度，确实是非常大的进步。
但与此同时，这也让人心有不安，谁知道这车到底是怎样做决定的呢。根据驾驶程序，这辆车的传感器所收集的信息会直接进入一个巨大的人工神经网络，进行处理数据，然后发送指令，是转动方向盘啦，还是刹车啦，还是其他动作等等。看上去，这辆车能够模仿人类司机的应对措施。
但是，如果有一天，它做了让人意想不到的事情——比方说撞树了，或者停在绿灯前面不走了——这怎么办？按照目前的情况，我们可能不太能轻易找出背后的原因。这套系统实在复杂，哪怕是开发它的工程师都很难独立出每个动作背后的原因。而且你也没法让工程师设计一个能解释所有动作的系统。
汽车“神秘”的思维模式，也就是人工智能技术的一大潜在问题。英伟达汽车所使用的人工智能技术，也叫做深度学习。近几年，这一技术在解决问题上显示出了强大的能力，而在图像捕捉、语音识别和翻译等方面，人工智能已经被广泛使用。现在有人开始想象用人工智能来诊断致命疾病、进行商业决策等。
但是，这样的事情是不会发生的——或者说不应当发生，除非我们找到某些方式，让技术开发人员能够进一步理解人工智能的思维，同时也为用户负责。如果贸然普及这一技术，我们将无法预测什么时候发生灾难——而且，这是一定会发生的。这也是英伟达汽车至今仍在实验阶段的原因。
很早之前我们就开始用数学模型来帮助决策，比方说谁能申请到假释，谁能获得贷款，谁能得到某份工作。如果你能接触到这些数学模型，那你或许能理解它们的决策模式。但现在，银行、军队、雇主等开始寻求更为复杂的机器学习方法，好实现整个决策过程的自动化。
深度学习是决策方式中最常见的技术，代表着与从前完全不同的计算机编程方式。致力于研究机器学习技术应用的麻省理工教授Tommi Jaakkola说：“这个问题现在已经与我们息息相关，未来还会更加普遍。不管是做投资决定、疾病诊断决定，还是军事决定，你都不希望完全依赖一个黑箱模型吧。”
对于质询人工智能系统的决策原因是否应立为一项法律，这个问题已经引起广泛讨论。从2018年夏天开始，欧盟或许会要求各个公司对自动系统的决策作出解释。但是，这一规定或许根本没法实现，即便是看起来相对简单的系统——比方说使用深度学习来投放广告或推荐歌曲的应用和网站。提供这些服务的计算机已经自己重新编程，而它们的编程方式我们没办法理解。哪怕是开发这些应用的工程师，也无法全面解释它们的行为。
这就引起了反对者的质疑。没错，我们人类也不总能解释自己的思维过程，但是我们能根据直觉信任他人，评估他人。而面对一个思维和决策过程与人类完全不同的机器，直觉还能奏效吗？
我们从未发明过连开发人员自己都不能理解的机器，那我们如何还能期待和这些不可预测的机器沟通和友好相处呢？
带着这些问题，我踏上了寻找答案的旅程。从谷歌到苹果，我走遍了那些开发人工智能算法的公司，甚至还和当代最知名的哲学家们进行了一次交谈。
2015年，纽约西奈山医院的一组研究人员受到启发，开始用深度学习技术来分析医院里的大量病历数据。这些数据可分为上百项，包括病人的检测结果、看诊记录等等。研究人员将这一分析系统命名为Deep Patient，开发完成后，他们用70万份病患数据对其进行了训练。结果证明，在测试新数据时，Deep Patient显示出了超高的疾病预测率。在没有专家指导的情况下，Deep Patient发现了医院数据中隐藏的模型，而这些模型预示着对方是否将患上某些疾病。当然，在根据病历预测疾病方面，还有很多其他方法，但西奈山医院研究团队的主管Joel Dudley说，“这种办法更好。”
但与此同时，Deep Patient也让医生们有些摸不着头脑。举个例子，Deep Patient非常擅长预测精神疾病，比方说精神分裂症。从医的人都知道，精神分裂症对于人类医生来说是极难诊断的，Dudley搞不清Deep Patient是怎样识别出来的。直到今天他也不知道。
如果诸如Deep Patient这样的系统真的要帮助医生，那它最好提供预测的基本理论，否则如何让人相信它的准确性。“我们可以创建这些模型，”Dudley苦笑着说，“却不知道它们是怎样运作的。”
人工智能并非生来如此。对于人工智能应当如何理解和解释，主要存在两大派别。
许多人认为应当根据一定的规则和逻辑来制造机器，使其内部运作公开透明，方便所有想要检验某些代码的人。也有人认为，智能只有借助生物灵感——也就是观察、体验人类活动，才能更顺利地发展。这也就意味着，我们要把计算机编程的任务交给机器本身。
现在的机器学习是这样的：编程人员编写指令来解决某个问题，程序根据样本数据和预期目标来生成自己的算法。之后，机器学习技术会沿着后一条道路——也就是自己编写程序——来升级为当今最强大的人工智能系统。
最初，上述模式的实际用例非常有限。上世纪60和70年代，机器学习技术大多数还在行业边缘徘徊。但很快，许多行业开始计算化，大数据催生了新的兴趣点，更强大的机器学习技术随之诞生，尤其是人工神经网络。到90年代，神经网络已经可以实现手写字符的数字化。
不过，人工智能真正的崛起时期，还要数过去10年。在几次开发方式转变和改良之后，超大型——或者说“深度”——神经网络在自动感知方面显示出了卓越进步。深度学习也就是今天人工智能爆发的基础，它赋予了计算机无穷的能力，比方说几近人类级别的语音识别功能。由于语音识别系统太过复杂，此前编程人员迟迟无法开发成功。而如今，这一系统已经在医药、金融、制造等多个行业得到运用。
即使是对计算机科学家来说，机器学习技术的运作也是晦涩不明的，远不如人工编程易于理解。但这并不意味着未来所有的人工智能技术都是不可知的，只是从本质上来说，深度学习就好比一个看不见内部的黑盒子。
你无法直接探到神经网络内部，观察它是如何运作的。神经网络的推理基于数千个模拟神经元，分布于数十个或数百个复杂的互联层上。第一层的每个神经元负责接收数据输入，比如图片的像素强度，之后这些神经元会对数据进行计算，生成新的信号发送到下一层，逐次类推，直到得到最后的结果。此外，反向传播能够保证该神经网络生成期望结果。
深度网络的多层结构也让其能够从多个抽象层次识别物体。举例来说，在一个设计来识别小狗的系统中，低层神经元负责识别线条或颜色等简单目标，高层神经元负责识别毛发或眼睛等负责目标，而在最顶端的神经元则能认出这是一只狗。粗略地说，这种方法也能用于机器的自我学习，比如识别语言中的发音，文本中的字母、单词或驾驶中转动方向盘的动作。
几年以前，研究人员开始设计一些策略，试图了解这些系统内部都发生了什么。2015年，谷歌研究人员对一套以深度学习为基础的图像识别算法进行了修改，把物体识别功能变成了生成或修改功能。只要反向运行这一算法，他们就能知道这些程序是如何识别小鸟、大楼等物体的。很快，这项代号为Deep Dream的反向研究项目结果出炉，程序根据云朵和植物，绘制了一群荒诞恐怖、形似外星人的动物图片，在森林和山谷之间，还有在幻觉中才会出现的宝塔。
Deep Dream绘制的图片证明，深度学习或许不是完全不可理解的。虽然它们可以识别出鸟嘴、语言等熟悉的视觉特征，但和人类的认知能力相比还是有很大差距的。比如我们都知道忽略图片中的人工制品，但深度学习网络不懂这些。谷歌研究人员指出，当算法准备绘制一幅哑铃图片时，它会自动加上人的手臂，因为系统认为手臂是哑铃的一部分。
针对上述问题，科学家已经借用神经科学和认知科学的知识，进行了进一步改良。比方说怀俄明大学助理教授Jeff Clune带领了一支团队，用和上述图片类似的幻觉图像对深度神经网络进行了测试。2015年，Clune团队研究证明，某些图片会欺骗这一系统，让其识别出根本不存在的物体。这是因为这些图片抓住了系统搜索的模式特点。
我们需要的，不是一孔之见，而是对人工智能思维模式的全面探索，但这并不容易。深度神经网络计算的相互作用对高层模式识别和决策至关重要，但这些计算结果背后，是大量的数学函数和变量。“如果你的神经网络规模很小，那你可能还能理解它的运作。”Jaakkola说，“但是一旦规模扩大到上百层，每一层有上千个神经元单位时，你就很难理解了。”
在Jaakkola隔壁办公室的，是麻省理工教授Regina Barzilay，她决心要把机器学习技术运用到医药行业。43岁那年，Barzilay被诊断出乳腺癌，让她大为震惊。然而更让她惊愕的是，最前沿的统计和机器学习法居然没有运用到致癌研究或病患治疗上。Barzilay说，人工智能有巨大的潜力革新医药行业，但想要挖掘出这些潜力，必然得在病历分析的基础上再进一步。Barzilay希望将来能用上更多原始数据，比方说图像数据、病理学数据等等。
去年，在结束癌症治疗后，Barzilay开始带领学生，和马萨诸塞综合医院的医生共同研发一套系统，用于分析病理学报告，找出研究人员想要研究的特殊的临床特征。但是，Barzilay知道，这套系统是没法解释自己的推理过程的。于是，她和Kaakkola以及一名学生一起，给系统增加了一个步骤：选取、标注文本中代表某种病理模式的段落。与此同时，Barzilay还在和学生编写深度学习算法，试图在乳房X光照片中找到乳腺癌的早期症状，并呈现出分析结果背后的原因。
正如人类行为不能完全得到解释一样，人工智能或许也不知道自己为什么做这个决定。Clune说：“即使某个人言辞凿凿地告诉你他某个行为背后的原因，这个原因很可能也是片面的，人工智能同样适用这个道理。它可能有自己的直觉、潜意识，或者就是神神秘秘的。”
如果真的是这样，那么到将来某个时期，我们可能只能选择相信人工智能的判断，要么就彻底不用它。同样，人工智能的判断还要结合社会智能。人类社会建立在预期行为契约之上，我们需要人工智能系统尊重社会规范，融入社会规范。如果我们打算制造机器人坦克和其他杀人机器，那么它们的决策过程必须符合道德判断的标准。
对此，塔夫茨大学著名哲学家和认知科学家Daniel Denneyy说：“问题是，我们应当采纳什么样的标准来要求人工智能系统？或者说我们自己？如果人工智能系统在解释自身行为上不如人类，那就不要信任它们了。”
