什么是Data Lake?
它是指使用大型二进制对象或文件这样的自然格式储存数据的系统。它通常把所有的企业数据统一存储,既包括源系统中的原始副本,也包括转换后的数据,比如那些用于报表,可视化,数据分析和机器学习的数据。数据湖可以包括关系数据库的结构化数据、半结构化的数据,非结构化数据和二进制数据。
简而言之,Data Lake是一种大数据架构方法,可以将非结构化和半结构化数据存储在单个存储库中。
整理
当企业对数据进行分析时,他们只知道使用现有数据可以实现业务目标。当他们利用可用数据做出决策时,将无法实现可持续性,这将可能会出现一些问题。
为了解决这个问题,采用Data Lake架构可以为公司带来好处,在Data Lake中,您可以存储各种数据。例如–您最近建立了一个数据集,旨在使用新型模式提供见解,以供会计部门优化费用,或者您已使用可视化仪表板创建了流分析,以监控网站的实时流量。
访问大量数据
来自传感器,日志,社交媒体,网络活动或广告等所有来源的数据,甚至是内部日志,所有数据都可以转储到Data Lake中,并且可应用到多种途径中去。
当所有业务部门的数据都处于通用转储时,Data Lake可以很轻松地访问数据孤岛之外的数据,并利用它来获得传统分析方法无法实现的见解。甚至跨多个部门收集到的数据也可以生成数据集,从而有益于公司运营。
Data Lakes不会让您的数据丢失
在数据时代采用可持续的数据整合方式应成为企业的首要任务,因此可以为未来几十年奠定基础。它可以满足最先进工具的需求,以使组织成为完全由数据驱动的组织。
使用Data lake的一些案例:许多公司使用诸如Google Cloud Storage和Amazon S3之类的云存储服务或诸如Apache Hadoop之类的分布式文件系统。Data lake(Hadoop 1.0)面向批次处理(MapReduce)的功能有限,并且是唯一与之关联的处理范例。
慢慢地Data lake的概念引起了学术界的关注。
另外,Data Lake并不会很快消失,实际上它们是数据现代化的未来。