大数据的来源

AIDT智能商混
物联网设备每时每刻都在采集数据,设备数量和数据量都在与日俱增,包括功能设备创建或生成的数据,例如智能电表、智能温度控制器、工厂机器和连接互联网的家用电器。

在下一代的革命中,无论是工业4.0(国内叫中国制造2025)还是物联网(甚至是一个全新的协议与标准),随着数据科学与云计算能力(甚至是基于区块链的分布式计算技术)的发展,唯独数据是所有系统的核心。

2345截图20211028093243.png

万物互联、万物数据化之后,基于数据的个性化、智能化将是一次全新的革命,将超越100多年前开始的自动化生产线的工业3.0,给人类社会整体的生产力提升带来一次根本性的突破,实现从0到1的巨大变化。正是在这个意义上,这是一场商业模式的范式革命。商业的未来、知识的未来、文明的未来,本质上就是人的未来。而基于数据智能的智能商业,就是未来的起点。大数据的第一要务就是需要有数据。

2345截图20211028093243.png

关于数据来源,普遍认为互联网及物联网是产生并承载大数据的基地。互联网公司是天生的大数据公司,在搜索、社交、媒体、交易等各自的核心业务领域,积累并持续产生海量数据。能够上网的智能手机和平板电脑越来越普遍,这些移动设备上的App都能够追踪和沟通无数事件,从App内的交易数据(如搜索产品的记录事件)到个人信息资料或状态报告事件(如地点变更,即报告一个新的地理编码)。非结构数据广泛存在于电子邮件、文档、图片、音频、视频以及通过博客、维基,尤其是社交媒体产生的数据流中。这些数据为使用文本分析功能进行分析提供了丰富的数据源泉,还包括电子商务购物数据、交易行为数据、Web服务器记录的网页点击流数据日志。

2345截图20211028093243.png

物联网设备每时每刻都在采集数据,设备数量和数据量都在与日俱增,包括功能设备创建或生成的数据,例如智能电表、智能温度控制器、工厂机器和连接互联网的家用电器。这些设备可以配置为与互联网络中的其他节点通信,还可以自动向中央服务器传输数据,这样就可以对数据进行分析。机器和传感器数据是来自物联网(IoT)所产生的主要例子。

2345截图20211028093243.png

这两类数据资源作为大数据金矿,正在不断产生各类应用。比如,来自物联网的数据可以用于构建分析模型,实现连续监测(如当传感器值表示有问题时进行识别)和预测(如警示技术人员在真正出问题之前检查设备)。国外出现了这类数据资源应用的不少经典案例。还有一些企业,在业务中也积累了许多数据,如房地产交易、大宗商品价格、特定群体消费信息等。从严格意义上说,这些数据资源还算不上大数据,但对商业应用而言,却是最易获得和比较容易加工处理的数据资源,也是当前在国内比较常见的应用资源。

2345截图20211028093243.png

在国内还有一类是政府部门掌握的数据资源,普遍认为质量好、价值高,但开放程度差。许多官方统计数据通过灰色渠道流通出来,经过加工成为各种数据产品。《大数据纲要》把公共数据互联开放共享作为努力方向,认为大数据技术可以实现这个目标。实际上,长期以来,政府部门间的信息数据相互封闭割裂是治理问题而不是技术问题。面向社会的公共数据开放愿望虽十分美好,但恐怕一段时间内可望而不可即。

2345截图20211028093243.png

对于某一个行业的大数据场景,一是要看这个应用场景是否真有数据支撑,数据资源是否可持续,来源渠道是否可控,数据安全和隐私保护方面是否有隐患;二是要看这个应用场景的数据资源质量如何,是“富矿”还是“贫矿”,能否保障这个应用场景的实效。对于来自自身业务的数据资源,具有较好的可控性,数据质量一般也有保证,但数据覆盖范围可能有限,需要借助其他资源渠道;对于从互联网抓取的数据,技术能力是关键,既要有能力获得足够大的量,又要有能力筛选出有用的内容;对于从第三方获取的数据,需要特别关注数据交易的稳定性。数据从哪里来是分析大数据应用的起点,如果一个应用没有可靠的数据来源,再好、再高超的数据分析技术都是无本之木。我们经常看到,许多应用并没有可靠的数据来源,或者数据来源不具备可持续性,只是借助大数据风口套取资金。这是很可悲的。

THEEND

最新评论(评论仅代表用户观点)

更多
暂无评论