采集了很多数据,如何来分析和利用这些数据,找到与自身业务融合的应用场景以解决实际问题?如何务实推进工业大数据的实施与落地?
近年来,随着企业所拥有的数据日益丰富,以及数据驱动意识的不断提升,越来越多的制造企业加强了大数据应用探索,并已有一些成功的应用实例。然而,对于很多制造企业而言,在推进工业大数据的应用过程中仍面临着以下难题:采集了很多数据,如何来分析和利用这些数据,找到与自身业务融合的应用场景以解决实际问题?如何务实推进工业大数据的实施与落地?本文将围绕着以上问题进行讨论和分析,希望为企业开展工业大数据的实施与应用提供启示与借鉴。
在本文撰写过程中,笔者采访了坤湛科技智能制造总经理胡立舜,美林数据副总裁于洋,并得到了两位专家的指导,在此表示衷心的感谢!
01
合适的场景
是工业大数据落地的关键
当前,工业大数据在制造企业已形成加速产品创新、生产工艺优化、生产流程优化、质量监测、能耗管理、设备故障预测、销量预测、供应链优化、智能化服务、个性化定制等典型应用场景,不仅帮助企业优化了现有业务,如指导产品设计、监控与优化生产过程、推动精准营销、优化供应链管理、快速服务响应等,还促进了企业的转型升级,为产品、服务和商业模式的创新提供了有力支撑。
工业大数据典型应用场景(来源:《工业大数据白皮书(2019版)》)
以上应用场景与突出价值为制造企业推动工业大数据提供了参考,并加快了其大数据探索的决心。但是,工业大数据能否落地,不在于技术的先进性,关键是企业能否找到与自身业务融合的应用场景。
然而,工业大数据应用具有非常强的个性化特征,不同企业基于不同的产品、制造工艺、数据基础、应用需求等,便会产生不同的应用方式和层次;同时,工业大数据的门槛较高,应用场景的效果产出需要企业具备一定的行业知识和数据应用能力与经验,且当前缺少统一、规范化的工具、标准和流程来支撑。因此,如何找到合适的场景和融合方式成为了众多制造企业推进工业大数据应用的首要难题。
在笔者看来,企业应用工业大数据的核心目标是创造价值,合适的应用场景一定是能为企业持续带来价值的,是拥有比较理想的投入产出比的。
基于此,企业在明确自身核心需求与痛点的基础上,可以从以下三个方面着手确定应用场景的选择是否合适。
◉业务价值较高。
数据驱动价值已成为企业共识,但并非所有的数据,都值得去深入开展分析挖掘,如一些变化维度低的“死”数据,根本没有分析价值;也不应为了一些微不足道的性能指标提升而投入大量资源去应用大数据技术。
建议企业可以从那些采样频率高、变化维度多的数据或者高价值、关键的设备/工序等着手,探究业务应用场景,并基于已有的历史数据资产,来估算潜在价值高低。
比如,某重汽动力部机加单元有100多台机加设备,收集了大量的设备运行使用数据,并计划通过大数据技术提高设备的运维质效。通过初步分析,该机加设备运行故障频次较少,但机加生产过程所需的刀具却是易耗品,需频繁更换,且刀具在加工过程中出现一定程度磨损时,会影响产品的整体加工质量。
针对这一突出性问题,该工厂详细评估了刀具的损耗率和因刀具问题导致的产品不良率影响,有效估算了智能刀具管理场景应用大数据分析的潜在价值。最后,通过与产品技术服务商、高校研究团队的有效协作,构建了刀具状态在线监测、使用寿命评估等分析应用,提高了产品良率和刀具使用效率与价值。因此,具备较高的业务应用价值,是大数据技术应用的首要条件。
◉复制性强。
如果项目选定的大数据应用场景,只适用于单个或少数的产品,不具备较强的复制性或推广空间,很可能会因为项目边界成本高难以持续。建议企业选择复制性强的应用场景和应用模式。如上例中,无论是100台还是更多的机加设备,基于统一的技术架构和模型,采集各设备运行的数据,就能实现同样的场景扩展应用,大大降低项目成本。
◉数据可支撑。
由于大数据分析应用类项目,在早期对业务场景、影响因素的认识很难完备,现有数据资产可否支撑、实际分析结论与假设是否相符等均有待随着实施深化来验证。这些不确定性需要在后面的阶段,通过强化数据资产(如增加数据采集点、加大现有数据采集频率/维度等),多次迭代数据模型,并从多个维度去论证建模思路合理性,才有可能形成相对完备的问题理解与目标达成。
02八步实施法
助推工业大数据项目有序推进
企业在确定了工业大数据应用主要方向的前提下,具体的实施可参考如下步骤,该步骤基于CRISP-DM(Cross-Industry Standard Process for Data Mining,跨行业数据挖掘应用标准流程)并补充了新的内涵。
1、业务理解
从业务角度理解项目目标,并将其转化为一个可解且可达成的数据分析问题,包括厘清关键因素,确定分析问题的范围和目标等。工业数据分析需要将专业领域的知识和数据模型有机融合,才能得到有价值的分析结果。而数据分析师通常对工业过程缺乏深入了解,业务人员则对数据分析的技术方法与思路了解不深。因此,业务理解的过程需要企业的业务专家和数据分析师通力合作。
2、数据理解与数据的可采集性分析
在理解业务的基础上,准确建立数据和业务间的关联关系,包括需要哪些数据、这些数据是从哪儿来,是生产设备、智能产品、复杂装备等产生的工业物联网数据,还是来自ERP、MES、SCM等的信息化数据,还是设备在运行过程中所处的环境数据等?是否需要线上、线下相结合的数据等。同时,确定制造企业当前的历史数据存量和可获取的数据增量,即在不增加采集点、采集频率、采集维度等的情况下,可以采集到的数据有哪些。
这一阶段需要数据分析师根据经验对数据颗粒度、数据质与量和数据间的关联关系等进行初步判断论证,确定当前的数据是否满足业务场景的要求。
3、数据准备
对所需的数据进行数据加工与治理,包括原始数据抽取、多数据源融合、数据清洗与质量提升等。一般需要企业成立专项数据治理组织,通过数据集成和定期运维等方式保证业务系统和线下数据准确与完整,包括剔除掉那些假的、错的、偏差大的、缺失的、不合理的、暂时性的脏数据等。数据准备与预处理环节不仅由数据分析师组成,还包括懂行业know-how的专家,对于一些不合理、不符合物理规律的数据,如燃气燃煤加热设备在极短时间内出现温度数据的急剧变化是不合理的,数据分析师很难发现,需要结合行业专家的经验认知判断。
4、特征提取
特征提取即借助统计学方法对数据进行转换、映射、分析,找到数据中的规律,并进行特征提取,即最大限度地从原始数据中提取特征以供算法和模型使用。这一步非常重要,只有对数据特征有了清晰的认识,企业才能更好地完成拓扑数据结构的搭建,开展数据建模。部分企业由于缺乏对数据的深入探索和理解,一有了原始数据就直接着手构建大数据模型,结果失败率非常高。
值得注意的是,针对一些特定领域问题,特征提取应充分利用行业已有的专业知识,不要将时间过多浪费在该领域早已熟知的行业规律发现上。
5、小数据验证
如果说在实施工业大数据项目前,是通过历史数据估算场景价值点,来初步判断应用场景是否合适。那么,到了具体的应用落地实施阶段,则需要依赖现有的预处理数据,对业务场景的价值进行更具体的计算,得出一个可量化的值,从而来验证数据分析的价值。
6、数据建模
基于业务知识和合适的算法及建模工具,输出数据分析模型。当前,机器学习、数据挖掘等分析理论、技术发展较成熟,也有很多明确的指导原则和丰富的算法和建模工具,可以帮助企业优选出合适的算法模型。因此,真正的数据建模过程在项目实施过程中花费的时间并不是最多。但值得一提的是,算法不是越复杂越先进越好,应用可解释、较简单的算法去解决业务实际问题更值得被关注。
7、模型的验证和评估
模型的验证是对分析模型从数据和技术的角度进行充分检验评估,确认数据分析的结果或模型是否满足具体工业应用场景的使用需求;任何模型都有一定的适用前提,模型的评估即是从业务的角度审视模型在什么范围内有效,有效程度是什么,在什么情形下不适用,需要分场景去验证和评估。
8、模型上线与迭代
模型的上线是将模型以便于企业使用的方式和要求重新固化,形成便于模型服务调用的形式,如可重复使用的数据挖掘程序、模型服务程序等。同时,模型在运行过程中,还应对模型进行持续的修正、迭代和完善。
如前文所述,与一般的信息化项目不同,工业大数据项目的实施是一个循环迭代、螺旋上升的过程。因此,以上8个步骤会存在多处循环和反复迭代,如在建模阶段,假如现有的特征无法满足模型的开发或者存在过拟合的问题,则需要返回到数据准备,甚至会出现业务理解的修正调整。另外,即使企业基于现有数据完成模型的上线后,还需进一步评估,是否需要增加现有数据量,是增加数据的采集频率,还是增加额外数据采集点,进一步迭代模型,如此反复,从而不断优化模型,得到更可靠的分析结果。
03实施案例-水泥生产结缘大数据
开启“智控”新时代
某水泥企业拥有两条日采5000吨水泥的熟料生产线,每条产线每年的耗电量达到约8千万度,耗煤约20万吨标煤,能耗消耗巨大。该企业希望通过大数据优化能耗实现节能减排,降本增效。
通过初步分析,该企业水泥产线在工业场景中工艺机理相对标准化,主要包括“两磨一烧”环节,但每一条生产线设备、物料、操作人员习惯不同,导致每条窑的工况都不一样,控制参数也没有通用标准。因此,聚焦“两磨一烧”的工艺优化,通过自动化的生产控制来实现节能降耗,成为了该企业尝试的解题思路。
该企业首先结合工艺专家的专业经验获取了现有的400多组采样点的数据,包括来源于生产系统、控制系统、设备管理系统、能源系统等的质检数据、DCS数据、荧光分析仪数据、环境数据等,并对历史数据进行清洗和预处理,剔除噪音数据和无效数据,补充不完整数据或缺失数据;然后,对所收集到的多维度数据进行特征提取与数据拓扑结构搭建,并针对生料磨、水泥磨、回转窑3个关键设备的“两磨一烧”工艺,建立了生料电耗优化控制模型、回转窑能耗优化控制模型、熟料质量预测模型;待模型建立后,对生料磨及熟料烧成流程进行工艺参数推荐,并将推荐参数放在生产线上试验,确定模型的适用范围,对其准确率与效果进行验证,包括能耗降低了多少、质量提升了多少等,再根据反馈优化工艺参数,迭代算法模型;待算法模型上线后,参数返回控制系统,自动控制生产线,避免了人为等因素带来的能源消耗不同,达到节能减排稳定质量的效果。
据了解,在完成第一轮的模型上线后,该企业在第二轮的迭代中,又增加了10多个采集点,对算法模型进行循环迭代,如此反复。最终,该企业实现了约3%~5%的能耗优化。
04多措并举
让大数据创造大价值
工业大数据实施路径为企业提供了方法指引,但工业大数据项目的实施落地并不是一蹴而就,现阶段仍存在着部分项目投资大产出低、项目周期长、人才缺乏、分析结果可靠性差、应用融合不深入等问题。那么,制造企业如何才能更有效地推进工业大数据应用、更充分挖掘数据价值呢?
1、自上而下形成完善的管理制度与体系
推进工业大数据项目,需要企业从战略层面高度关注和重视,从上往下形成完善的管理制度与体系。首先,工业大数据是持久性的项目,需要企业做好打持久战的准备,且在项目前期投资回报率难以量化,短期效益不明显的情况下,获得高层领导的支持与参与就显得非常关键。其次,工业大数据解决的是企业级的应用需求,涉及多部门跨业务的数据融合与工作配合,某个业务目标的实现需通过整个企业乃至供应链上多上相关方的大范围协同,因此需要获得从管理层到业务部门自上而下的支持,并应形成完善的管理制度与保障体系,以保证项目的有序推进。
2、定义明确的项目目标,切忌贪大求全
企业在实施工业大数据之前,必须根据企业自身的需求,确定解决什么问题,能为企业带来哪些价值。同时,在一个项目周期内应制定可衡量的实现目标。与一般的信息化项目不同,如硬件项目价值比较直观,MES、ERP等信息化项目,已有较深的积累,可以明确确定交付边界和交付周期,工业大数据项目是一个持续迭代的过程,所以项目周期和项目的边界有时会显得较为模糊。但如果在一定的项目周期内,企业没有明确的主攻方向并向业务板块呈现价值,项目将难逃厄运。
另外,建议企业不要一开始就贪大求全,甚至花费巨资去构建企业级大数据平台。可以从总体架构要合理、小型价值先推行的思路出发,给予合理规划与论证分析,并从启动小的项目开始,选择企业所亟待解决的问题入手,再逐步延伸到更多的应用场景。将技术探索、人才储备、应用落地等基础打好后,再考虑打造和完善体系化的大数据应用平台建设。
3、将重心放在业务知识认知、数据治理上
从某种角度来说,工业大数据不是技术而是业务,项目的落地从工业大数据技术起步,但同时必须与企业的业务流程、工业机理等有机结合。包括通过充分利用业务知识,企业可以了解数据的来源与采集方式,判断其是否可信,把握分析项目的主要矛盾;在数据量不够的情况下,通过“方法降维”,从有限的数据中分析出足够可靠的结果;以业务经验指导特征提取,提高算法的求解效率,提高模型的可解释性;更全面客观评估模型的适用范围等。
另外,相比大数据量,工业领域更注重数据的完整性和高质量。数据质量的高低直接决定了数据模型的准确性、数据分析的可靠性。此外,数据治理不仅在数据准备阶段,为保证模型的持续优化,还需要不断提高数据质量,并定期对数据进行维护。
4、与其花巨额解决数据采集的充分性数据分析不如从现有数据资产出发
对于制造企业来说,总期望所有的重要因子数据都能被全量采集,但这是不可能的。一方面,如果不融入领域认识去“消减”因子数量,通常是无法提供“足够”的历史数据去覆盖所有组合情形。另外,数据采集成本不低,并且还受制于当前的技术水平以及安全/环境等因素。因此,数据准备阶段企业先盘点现有数据,而不是一开始就投入大量的资金开展数据采集,更不是在业务需求、应用场景尚不明确的情况下,就盲目开展各类数据采集与治理,不仅成本高,而且很多数据可能并不是未来数据分析应用所需要的。
5、需要行业专家战略合作伙伴的多方协作
当前,工业大数据项目还没有完全可照搬的模板,技术与应用场景的深度融合还处在不断探索、试错的阶段,需要企业与来源于高校、科研院所等的行业专家,以及工业大数据解决方案提供商通力合作。
例如,工业大数据分析厂商的优势在算法、数据洞察力以及丰富的实践经验,而行业专家对行业know-how有较深的理解与积累,高校擅长理论算法与机理的深入研究,通过企业、行业专家和厂商配合组队的模式,可以帮助企业更高效地找到合适的融合性落地方案,提高场景化数据建模与分析效率,得到高质量的分析结果。
6、加强复合型人才培养
工业大数据实施落地难,人才缺乏也是很重要的原因,特别是既懂IT,又熟悉业务,还具有一定数学功底的复合型人才。另外,据了解在部分大数据项目结束后,技术实施方撤离,企业由于缺乏数据的管理维护、数据模型的迭代完善能力,导致数据的质量每况愈下,模型失去生命力,使得项目无法得到延续。因此,企业需要加强面向新一代信息技术的复合型人才培养,以承接模型上线后对其进行持续优化迭代的能力,并为产业级的大数据应用推广储备人才。
总之,大数据本身并不是目的,如何通过大数据解决企业生产、运营中的问题,为企业创造价值,实现提质降本增效才是推进工业大数据的核心目标。工业大数据的落地离不开方法指引,也离不开场景选择、业务逻辑的深入理解,更离不开高质量的数据保障、大数据技术与业务流程的融合、算法模型的持续迭代和专业的战略合作伙伴与人才支撑。
-参考文献-
【1】工业大数据白皮书(2019版)
https://vip.e-works.net.cn/pdfdocumentdetail.aspx?id=753
【2】工业大数据如何落地,听听一线分析师怎么说
http://www.cbdio.com/BigData/2016-01/06/content_4440425.htm
【3】工业大数据分析实践:基于CRISP-DM方法论的再认识
https://zhuanlan.zhihu.com/p/32014381
【4】工业大数据分析技术在实践应用中的思路与方法
https://www.sohu.com/a/430609315_100125745
【5】工业大数据项目实施落地的几个潜在挑战
https://zhuanlan.zhihu.com/p/46904146
【6】为什么多数大数据项目都以失败而告终
http://www.woshipm.com/it/37218.html