在大数据时代，人们可以获得与分析更多的数据，甚至是与之相关的所有数据，而不再依赖于采样，从而可以带来更全面的认识，可以更清楚地发现样本无法揭示的细节信息。越来越多的人都在学习大数据相关的技术，而今天我们就一起来了解一下，大数据环境下的数据分析基础知识。
一、数据分析的定义
数据分析就是用合适的方法来发挥出数据的大价值，这是一门结合了统计学，高等数学，工程学，商业决策等知识的技能，其中高等数学，工程学和统计学这些都是硬技能，而商业决策是属于软技能，数据分析师就是具备这些技能的岗位。数据分析师也有所侧重点，有的人是商业出身，偏向于商业领域，有的人是统计学出身，偏向于统计领域，有的人是工程学出身，更偏向于it领域。企业在进行招聘的时候，他们会根据自己的需求选择合适的数据分析师。
显然，我是工程领域出身，我们的课程是偏向于it领域的，适合往it领域发展的程序员入门学习，或者商业领域，统计学领域的数据分析师补充自己。
二、数据分析的产生
在如今的互联网企业的发展中，流量的增长是一个永恒不变的话题。我们知道拉一个新用户的成本要远高于维护一个老客户的成本。既然这样，如果我们能够让老客户产生价值，推出合适的营销策略或者老带新类似这样的方案，就能够用更少的成本产生更大的价值，这也就是数据分析师存在的理由。
三、数据分析的发展
早期的数据分析是使用excel，即使现在也有很多商业领域的数据分析人员依旧在使用。除此之外，还有一些数据分析商用的软件，比如tableau，spss等等。所使用的方式是先从服务器导出数据到软件当中去，然后通过一个功能函数进行数据的处理，比如excel中可以使用vlookup函数来进行纵向查找，后再进行可视化的处理。显然，早起的数据分析更侧重于呈现结果，然后根据结果对企业的发展作出预测。
具体的过程如下所示：
分析现状-通过可视化的现状来直观描述企业经营发展中的情况
发现问题-从呈现结果中预测可能问题的原因
收集加工-使用更多的数据来验证问题的产生源头
分析策略-结合业务场景分析用户或者商品的现状
提出方案-根据商业逻辑和分析结果提出有效解决方案
我们能够预见的是，早期数据量比较少，一般都是以G为单位，类似于excel，tableau和spss这样的软件，所能够处理的数据量是有限的，当数据量达到T，TB甚至更大的量级是，这是无法处理的。这就需要it领域的知识来处理这些海量的数据，比如使用MySQL，hlive，hbase等等。
四、数据分析VS数据挖掘
除了数据分析之外，你一定还听说过数据挖掘，那么他们之间有什么异同呢?先现在的大多数企业已经模糊了对数据分析与数据挖掘的区别，但是他们还是有所差异，具体如下：
数据分析更多采用统计学的知识，对源数据进行描述性和探索性分析，从结果中发现价值信息来评估和修正现状。数据挖掘不仅仅用到统计学的知识，还要用到机器学习的知识，这里会涉及到模型的概念。数据挖掘具有更深的层次，来发现未知的规律和价值。
从侧重点上来说，相比较而言，数据分析更多依赖于业务知识，数据挖掘更多侧重于技术的实现，对于业务的要求稍微有所降低。
从数据量上来说，数据挖掘往往需要更大数据量，而数据量越大，对于技术的要求也就越高。
从技术上来说，数据挖掘对于技术的要求更高，需要比较强的编程能力，数学能力和机器学习的能力。
从结果上来说，数据分析更多侧重的是结果的呈现，需要结合业务知识来进行解读。而数据挖掘的结果是一个模型，通过这个模型来分析整个数据的规律，一次来实现对于未来的预测，比如判断用户的特点，用户适合什么样的营销活动。显然，数据挖掘比数据分析要更深一个层次。
大数据分析平台表示大数据时代的思维方式要求从自然思维转向智能思维，不断提升机器或系统的社会计算能力和智能化水平，从而获得具有洞察力和新价值的东西，甚至类似于人类的“智慧”。
