1、大数据发展概述
当今是一个数据爆发增长的时代。移动互联网、移动终端和数据传感器的出现，使数据以超出人们想象的速度快速增长。据调查机构估测，数据数量一直在快速增加，这个速度不仅是指数据流的增长，而且还包括全新的数据种类的增多。目前数据容量增长的速度，已经大大超过了硬件技术的发展速度，并正在引发数据存储和处理的危机。据统计，2013年全球产生的数据达到3.5泽字节，到2020年产生的数量将增至44泽字节。
“大数据”一词来自于未来学家托夫勒于1980年所著的《第三次浪潮》。最早开始对大数据进行应用探索的是2005年雅虎公司的Hadoop项目。Hadoop其最初只是用来解决网页搜索问题的一个项目，后被Apache Software Foundation公司引入并成为开源应用。Hadoop是由多个软件产品组成的一个生态系统，这些软件产品共同实现全面功能和灵活的大数据分析。
世界上许多国家都已经认识到了大数据所蕴含的重要战略意义，纷纷开始在国家层面进行战略部署，以迎接大数据技术革命正在带来的新的机遇和挑战。以美国为代表的发达国家在推进大数据上已经形成了从发展战略、法律框架到行动计划的完整布局。
2、全球各国大数据的发展现状
美国在《大数据研究和发展倡议》中，提出将通过收集庞大而复杂的数字资料，从中获得知识和洞见，以提升能力。并协助加速在科学、工程上发现的步伐，强化美国国土安全，转变教育和学习模式。根据这一计划，美国希望利用大数据技术实现在多个领域的突破，包括科研教学、环境保护、工程技术、国土安全、生物医药等。其中具体的研发计划涉及了美国国家科学基金会、国家卫生研究院、国防部、能源部、国防部高级研究局、地质勘探局等6个联邦部门和机构。
拥有世界第二多人口的印度，近两年也持续运用大数据，期许打造出一个更便利、更亲民的智慧城市。印度全国软件与服务企业协会(Nasscom)预计，印度大数据行业规模在三年内将快速增长，是当前规模的六倍，同时还是全球大数据行业平均增长速度的两倍。对于印度的整个IT行业来说，大数据时代的到来会创造更多更新的机遇。
英国政府2012年时计划在未来两年内，在大数据和节能计算研究上投资1.89亿英镑，以带动企业在该领域的投资。大数据被英国看作是自己的优势所在，且英国认为已在政府层面为大数据做好了准备。
法国政府在2013年投入近1150万欧元，用于7个大数据市场研发项目。目的在于“通过发展创新性解决方案，并将其用于实践，来促进法国在大数据领域的发展。”法国政府在《数字化路线图》中列出了五项将大力支持的战略性高新技术，大数据就是其中一项。
日本在2012新一轮IT振兴计划中，将发展大数据作为国家战略层面提出，重点关注大数据应用技术，如社会化媒体等智能技术的开发、新医疗技术的开发、以及交通拥堵治理等公共领域的应用。
新加坡政府在大数据发展过程中充当了关键角色，抓住了大数据发展的五大关键要素：基础设施、产业链、人才、技术和立法，弥补了企业的短板。新加坡政府很早就提出支持新加坡企业采用大数据技术，利用大数据提升政府服务水平。
此外，澳大利亚、加拿大、新西兰、德国和印度等国也在大数据领域进行了研究部署，还纷纷推出本国的公共数据开放网站，以使更多的人可以使用大数据资源，并从中获得利益。目前，全球至少拥有大大小小的数据开放网站50余个。
2.1欧盟大数据的发展
目前，欧盟及其成员国已经明确制定大数据发展战略，数据价值链不同阶段产生的价值将成为未来知识经济的核心，利用好数据可以为运输、健康或制造业等传统行业带来新的机遇。
欧盟在大数据方面的活动主要涉及四方面内容：研究数据价值链战略因素；资助“大数据”和“开放数据”领域的研究和创新活动；实施开放数据政策；促进公共资助科研实验成果和数据的使用及再利用。
（1）数据价值链战略计划
欧盟委员会正在研究制定数据价值链战略计划，以实现数据的最大价值，重点是通过一个以数据为核心的连贯性欧盟生态体系，让数据价值链的不同阶段产生价值。数据价值链的概念为数据的生命周期，从数据产生、验证以及进一步加工后，以新的创新产品和服务形式出现的利用和再利用。
数据价值链战略计划遵循的主要原则是：高质量数据的广泛获得性，包括公共资助数据
的免费获得；作为数字化单一市场一部分，欧盟内数据的自由流动；寻求个人潜在隐私问题与其数据再利用潜力之间的适当平衡，同时赋予公民以其希望形式使用自己数据的权利。
这一计划的重点是培育一个连贯的欧洲数据生态系统，促进围绕数据的研究和创新工作，采纳数据服务及产品，采取具体行动，改善数据价值提取的框架条件，包括基础能力、基础设备、标准以及有利的政策和法规环境。目前正在单一战略框架下制定一系列重点行动，解决数据价值链中与价值创造相关的大量交叉问题。
数据价值链战略计划包括开放数据、云计算、高性能计算和科学知识开放获取四大战略。
·数据开放战略
欧盟认为，为加强创新潜力，应尽可能的以最好的方式使用资源，这些创新资源就是数据，开放数据将成为新的就业和经济增长的重要工具。为了应对这一变革，2010年11月欧盟通信委员会向欧洲议会提交了“开放数据：创新、增长和透明治理的引擎”的报告，报告以开放数据为核心，制定了应对大数据挑战的战略。
·云计算战略
2012年9月，欧委会通过公布了“释放欧洲云计算服务潜力”战略，战略计划通过两年时间，把欧盟打造成云计算服务的强势集团，为2014-2020年期间的欧盟云起飞（夯实基础。欧盟云计算战略及三大关键行动分别为：规范和简化的云计算标准；云计算安全和公平的合同条款及条件；建设欧盟云计算伙伴关系，驱动创新和增长。其它的具体行动举措还包括：数据保护、网络安全、信任举措、云计算互操作性、宽带部署、在线服务、公共行业首先参与云计算和国际对话与合作等。目前欧盟已成立6个战略实施工作小组，具体涉及云标准协调、服务标准协议、认证计划、行为守则、专家研究小组和云伙伴关系。
·高性能计算战略
在欧盟第七框架计划和“地平线2020”计划下的研究和创新支持可扩展的高性能计算系统。小型“数据中心式开箱”可以单独部署或集中在嵌入式系统在汽车或电话交换机，或者可以在大规模地聚集成为一个云服务器——如处理单元（GPU）或者高性能计算（HPC）系统。
·科学知识开放获取
科学知识开放获取的目标是提高欧盟层面和成员国层面政府资助的科学研究的影响力，2012-2013年，欧盟委员会投入4500万欧元建设支持开放共享和科学信息长期保存的基础设施，并与各个相关利益团体就开放共享和数字信息保存工作进行对话，同时建议各成员国：制定本国的公共资助科研论文开放共享政策，探索科学数据开放共享和科学信息长期保存，支持相应的基础设施建设。2012年7月17日，欧盟委员会发布开放共享政策，宣布欧盟Horizon2020计划所资助科研论文全部实行开放共享。2013年12月25日，欧盟委员会宣布启动试点，开放公共资助研究数据，2014-2015年，参与开放研究数据试点的关键领域的项目将获得约30亿欧元的经费。
（2）资助“大数据”和“开放数据”领域的研究和创新活动
欧盟委员会在资助“大数据”和“开放数据”领域的研究和创新活动外，还启动“连接欧洲设施”（CEF）计划，采取权益和债务证券及补助相结合的形式促进数字基础设施的建设。在2014年1月的信息和网络日上，欧盟委员会确定了“地平线2020”连接欧洲设施计划的2014-2015年工作内容。
（3）实施开放数据政策
开放数据政策一方面制定公共信息再利用的法规和国家执行规则以及欧盟委员会自身数据再利用规则；另一方面支持公共部门信息开放活动，此外还搭建开放数据平台。
（4）促进公共资助科研实验成果和数据的使用及再利用
促进公共资助科研试验成果和数据的使用和再使用也称科学知识开放获取。
2.2亚洲大数据的发展
整体来说，相比欧洲，亚洲大数据发展相对落后，在大数据发展过程中，更多的还是探索及学习阶段。目前，亚洲的很多大数据公司都在海外市场进行了相关市场探索。未来，亚洲市场将有望成为大数据业务的主战场，因为世界总人口的60%都居住在亚洲，且亚洲上网人数在不断上升。
3、全球大数据的市场与应用
3.1全球大数据交易现状
对于海量并且瞬息万变的大数据来说，存储已然不是最终目标，如何从数据中获得包括商业价值在内的红利，才是其真正的意义所在。全球各个行业的数据存储量，每年都在以50%多的速度暴增。由于缺乏规范的数据共享和交易渠道，不同行业间很难形成数据互利共享，数据交易平台乃至交易所也就成为了迫切需求。
美国Factual公司成立于2008年，不仅向大公司提供数据，同时也面向规模较小的软件开发商，每一条信息都有17到40条的相关描述。按浮动价格向公司和独立软件开发商出售数据，小规模的数据提供是免费的，大型客户需要支付的费用则会达到成百上千万美元。包括Facebook、CitySearch、AT&T及其他一些公司都会使用Factual来获取相关信息。
2013年4月，富士通公司也宣布建立自己的“大数据”交易市场“Dataplaza”，并将交易中介服务培育为主力业务之一，计划在2016年之前将参与企业增加至千家左右。
对于数据安全方面的问题，大数据交易平台也已经有所准备。通过数据脱敏技术，对数据源的属性进行描述和标注，如果涉及到敏感数据的调用，将进行实时的数据清洗、技术屏蔽、审核处理，最终提供给需求方的数据也将在完成安全测试之后，再行提供。即使调用成功，也会在使用次数用尽或使用期限到期之后，对权限进行收回。这一系列流程，不仅避免了用户敏感数据的流出，也照顾到了开发者在线交易的便捷性。
3.2全球大数据市场规模
近两年来，大数据发展浪潮席卷全球。随着社会的进步和信息通信技术的发展，信息系统在各行业、各领域快速拓展。这些系统采集、处理、积累的数据越来越多，数据量增速越来越快，以至用“海量、爆炸性增长”等词汇已无法形容数据的增长速度。
2014年，全球大数据市场规模达到约285亿美元，实现53.23%的增长，比2013年57.63%的增速略有回落，但快速增长态势不变，且呈现出应用成为新增长动力、竞争态势愈加激烈、融资并购成为市场热点、产业生态不断优化和基础设施建设更加合理等特点。
2015年，全球大数据总体加速发展趋势不变，全球大数据市场规模将达到421亿美元，预计2020年全球大数据市场规模将达到1263.21亿美元，同比增长17.51%。
大数据成为全球IT支出新的增长点。数据显示，2014年数据中心系统支出达1430亿美元，比2013年增长2.30%。预计2015年大企业对与大数据有关的项目的平均开支将达到1800万美元，目前，70%的大企业和56%的中小企业已经部署或者正在计划部署与大数据有关的项目和计划。
3.3全球大数据市场结构及应用领域
2014年，全球大数据市场结构从垄断竞争向完全竞争格局演化。企业数量迅速增多，产品和服务的差异度增大，技术门槛逐步降低，市场竞争越发激烈。
全球大数据市场中，行业解决方案、计算分析服务、存储服务、数据库服务和大数据应用为市场份额排名最靠前的细分市场，分别占据35.40%、17.30%、14.70%、12.50%和7.90%的市场份额。云服务的市场份额为6.30%，基础软件占据3.90%的市场份额，网络服务仅占据了2.00%的市场份额。
4、大数据发展趋势
（1）成为重要战略资源
在未来一段时间内，大数据将成为企业、社会和国家层面重要的战略资源。大数据将不断成为各类机构，尤其是企业的重要资产，成为提升机构和公司竞争力的有力武器。企业将更加钟情于用户数据，充分利用客户与其在线产品或服务交互产生的数据，并从中获取价值。此外，在市场影响方面，大数据也将扮演重要角色——影响着广告、产品推销和消费者行为。
（2）数据隐私标准将出台
大数据将面临隐私保护的重大挑战，现有的隐私保护法规和技术手段难以适应大数据环境，个人隐私越来越难以保护，有可能会出现有偿隐私服务，数据“面罩”将会流行。预计各国都将会有一系列关于数据隐私的标准和条例出台。
（3）与云计算深度融合
大数据处理离不开云计算技术，云计算为大数据提供弹性可扩展的基础设施支撑环境以及数据服务的高效模式，大数据则为云计算提供了新的商业价值。总体而言，云计算、物联网、移动互联网等新兴计算形态，既是产生大数据的地方，也是需要大数据分析方法的领域。
（4）分析方法发生变革
大数据分析将出现一系列重大变革。就像计算机和互联网一样，大数据可能是新一波的技术革命。基于大数据的数据挖掘、机器学习和人工智能可能会改变小数据里的很多算法和基础理论，这方面很可能会产生理论级别的突破。
（5）网络安全问题凸显
大数据的安全令人担忧，大数据的保护越来越重要。大数据的不断增加，对数据存储的物理安全性要求会越来越高，从而对数据的多副本与容灾机制提出更高的要求。网络和数字化生活使得犯罪分子更容易获得关于人的信息，也有了更多不易被追踪和防范的犯罪手段，可能会出现更高明的骗局。
（6）以数据为中心的解决方案与应用的兴起
世界已经不再将应用作为独有的优势，相反，数据则能够带来在B2B和B2C领域内确立独特优势的关键点。在数据管理中，以数据为中心的模式将会取代传统以应用为中心的模式。
