大数据和GPU计算是深度学习的两个核心要素，但是否会，成也大数据败也大数据？有不少研究学者表示出了担忧，Hinton在胶囊网络研究中就提出了这一问题，对深度学习过分依赖大量的标注样本表示担忧。
深度网络越复杂，需要的训练数据和计算资源就越多。Google动则数百亿参数的深度学习网络，需要几百GPU训练数周时间，对一般的机构来讲是难以想象的，要运行这样的智能系统面临巨大的成本压力。
再者，如AlphaGo这样的AI系统，需要海量的棋谱样本进行训练，在很多传统领域也没有这个大数据样本条件，所以才有了升级版的自我博弈式随机生成海量棋谱。另外就是效率，人的学习基于很小样本就足够了，教会幼儿认识一个苹果就只需要一个苹果，而不是需要数千、数万张各种各样苹果的图片，深度学习要真正实现智能，如何突破大数据效率瓶颈，也是需要进一步研究的内容。
最后就是大型深度神经网络的调参问题，即使是Google宣称的，基于AutoML（自动机器学习）管道可以自动找到最优深度网络配置，但却依赖非常昂贵的计算资源进行超参数搜索、调优和测试。深度学习面临的大数据、大模型和大计算资源挑战，还需要研究人员的进一步努力。
总之，深度学习之路任重道远，充满了希望和挑战。就像人类造出飞机实现翱翔天空的梦想，飞机并不是飞鸟的完全复制版，同样深度智能可以借鉴人脑智能，但肯定也不会是人脑的复制。基于符号派AI的知识系统和大数据驱动的深度学习、强化学习等如何融合发展，将是通往强人工智能的关键架构。
一般来讲，深度学习被认为是机器学习工具箱中的一类模型，深度学习属于机器学习的一个分支。但Kaparthy对深度学习却有另一种解读，他认为深度学习代表了软件2.0，软件1.0是我们最熟悉的信息系统开发方式，基于高级程序设计语言，如Python、C++等，由程序员编写的计算机指令组成，程序员通过编写每行代码，来实现一些预期的行为。相比而言，软件2.0不需要太多手工编写的计算机指令来实现，基于海量的神经网络权重（典型的深度神经网络权重参数可能有数百万）学习就可以解决很多问题。
软件2.0只需要设定一个预期的程序目标，来用于目标空间的搜索，当然这个搜索过程需要大量的计算资源支持。
显然这类智能系统与传统的软件系统有很大差异，虽然其核心都需要计算和存储资源的支持，更重要的是基于深度学习的软件2.0系统具有能够从数据中进行归纳学习的能力，而这种能力不是基于传统的手动编程来实现的，而是直接基于深度架构的神经网络来实现的。IT从业者特别是数据科学家需要重视这个提法。可能需要一段时间，软件2.0才能真正走向成熟，但其代表的趋势和对传统软件工业的挑战值得深思。
