大数据时代到来,如何从数据中提取、挖掘对业务发展有价值的信息,为业务决策提供有力依据,推动精益化化的企业管理。商业分析师通常会使用各种数据分析工具,例如Excel、Tableau和PowerBI等对数据进行分析。OLAP就经常被用于对接这类工具,向这些工具提供记录。
为何SSAS如此流行
传统的OLAP引擎有很多,Oracle、SAP、IBM和Microsoft均有自己的OLAP引擎,其中Microsoft SQL Server Analysis Services(SSAS)是世界上应用最广泛的OLAP引擎之一,众多各位耳熟能详的大型企业均是SSAS的深度用户。SSAS的成功与它的如下特性密不可分的:
与Excel深度集成
Excel作为全世界最广泛使用的商业分析工具,SSAS能与Excel深度集成。用户可以使用Excel对接SSAS多维数据集,灵活快捷的对数据进行切片、筛选、上卷和下钻等操作,深入分析数据,直到他找到所需的商业洞察。
支持MDX语言
SSAS可以使用MDX(多维表达式)支持高级的商业智能需求,例如常用的YTD、QTD和MTD等计算指标均能轻松支持。并且MDX相比SQL能够更简单且更广泛的支持各种商业智能需求。
能与主流的BI集成
例如PowerBI、Tableau等,都可以与SSAS轻松集成,SSAS接收前端BI发送的查询需求,在自身引擎中计算,将聚合后的值返回前端BI,以提升前端BI的查询体验。
大数据时代SSAS面临的挑战
虽然SSAS具备许多特性,使其成为许多传统商业智能方案的理想选择,但身处大数据时代,它面临着越来越多的挑战。并且随着数据量爆炸式的增长,这些挑战显得尤为严峻。
数据量及维度数量的限制
通常情况下SSAS使用的是MOLAP模式,MOLAP将OLAP分析所用到的多维数据物理上存储为多维数组的形式,形成“立方体”的结构。这种方式在较小数据量时,性能优势较大。但当面对大型数据集时,由此产生的维度爆炸问题,将使MOLAP架构难以维持。例如对于一个包含1亿名客户,100万个产品SKU,2年每日订单数据,其中包含了来自100个不同国家的1,000个不同的客户,由此创建的多维数据集的理论单元个数是7,300,000,000,000,000,000,000个。对于一个中大型企业,这种情况处处可见。
当心你的OLAP Cube出现维度爆炸
扩展的局限性
若现有的SSAS处理能力无法满足需求,需要增强其处理能力时,用户就必须为运行SSAS的机器增加更多的CPU或者内存。同时如果需要存储更多的数据,则需要扩展本地或者SAN存储。这样就限制了系统的可扩展性。
费用昂贵
如上文提及SSAS扩展时,仅能通过增加设备配置实现。对于高配置的一体机已经是一笔不小的费用,同时SSAS的License是根据设备的内核数量收费,企业版每个内核官方定价高达14,256美元。
使用SSAS遭遇瓶颈时你的感受
不能解决痛点的方案都是耍流氓
进入数字化转型时代,数据爆炸式增长,SSAS的弊端日渐明显,越来越多的企业开始寻找替代SSAS的技术。在Hadoop 技术日臻完善的今天,一个理想的BI/OLAP分析架构应该保留所有SSAS分析功能,并且能够利用 Hadoop技术的横向可扩展性解决 SSAS 面临的所有痛点,这样的OLAP on Hadoop分析架构应该能够做到:
提供了横向扩展能力
Hadoop分布式文件系统(HDFS)的一大特点就是可以通过向集群增加服务器来扩展存储和处理能力,一个理想的OLAP on Hadoop方案,也继承了这一强大的特性。这种方案极大的提升了系统的扩展性,降低了扩展系统能力的难度。
打破了数据量和维度数量的上限
如上文提及,由于Hadoop具备横向扩展的能力,数据存储已不在成为瓶颈,只要集群足够,数据量已不再存在上限。由于SSAS需要按照多维数据集中的所有维度进行聚合,所以不可避免的存在维度爆炸的问题,而理想的OLAP技术应允许用户自定义聚合维度,有效的避免维度爆炸的问题,打破了维度数量的上限。
更高的性价比
OLAP on Hadoop的方案,构建集群并不需要高配置的一体机,硬件成本大大降低。这种特性在收费基于集群和时间的云平台上尤为明显,用户可在需要大量资源时扩大集群,在空闲时缩小集群,释放多余资源,做到最大程度的资源和费用的节约。
大数据时代的明智之选
如上文所说,强大的分析能力,也是SSAS被广泛应用深受用户欢迎的主要原因。Kyligence提供了多种比肩SSAS分析能力的特性:
支持完整的语义信息定义功能
语义信息是商业分析的重要组成部分,包含了业务的分析思路,维度、度量、层级结构和维度用法等都是最常用的业务概念。Kyligence支持了可计算度量、层级结构等完整的语义信息定义功能。
在Kyligence产品中编辑可计算度量
在Kyligence产品中编辑层级结构
支持多种接口模式
Kyligence提供多种接口模式,包括SQL、MDX和RestAPI。可与多种BI工具集成,例如Excel、PowerBI、Tableau、MicroStrategy、Qlik、Cognos、BO和OBIEE等,均能获得极佳的体验。同时多种接口可以支持分析师灵活调用,使用TensorFlow、Jupiter和AzureNotebooks调用,用于机器学习。
比肩SSAS的Excel集成体验
Kyligence使用MDX接口对接Excel,提供了比肩SSAS的Excel使用体验,能够实现用Excel的透视表直连进行拖拽分析。
使用Excel直连大数据进行透视表分析
OLAP on Hadoop
现在Kyligence正在与数十家企业合作,帮助众多企业从传统商业智能基础架构迁移到Hadoop架构。其中一些客户还与Kyligence深度合作,通过迁移SSAS来解决自身面临的挑战:
某欧美金融行业的龙头企业,其在全球50多个国家设有办事处。随着企业扩张,数据量爆炸式增长,由于SSAS的扩展性有限,IT需要花费大量精力维护众多多维数据集,仍不能满足业务分析需要的数据广度,且IT采购成本高昂。借助Kyligence大数据平台,该企业大大提高了数据平台扩展性,降低IT运维和投资成本,拓展了业务分析的广度和深度,实现快速响应业务决策。
顺畅的分析体验给用户带来的感受
总结
本文让我们清晰的看到SSAS具备的很多优点,让其成为了广泛流行的OLAP引擎,但是它也存在着扩展能力有限,承载数据量有限等各种问题,难以胜任大数据时代的挑战。现在,Kyligence不仅具备了SSAS众多优秀的特性,也克服了传统SSAS的规模限制,成为了一个传统架构迁移大数据架构的极佳选择。