技术革新大趋势!一文带你读懂大数据分布式存储

黑马程序员视频库
大型网站常常需要处理海量数据,单台计算机往往无法提供足够的内存空间,可以对这些数据进行分布式存储。比如Apache HadoopHDFS。

随着信息时代的发展,大数据已经成为当今技术革新的一大发展趋势。在大数据时代,数据呈指数级增长,催生了多种分布式存储工具,并在组织中承担了愈发重要的职责。

分布式系统就是为了处理更多数据而存在的,本文为大家总结整理了一篇关于分布式系统的学习笔记,超多干货,下面一起来看看吧~

常用分布式方案

1.分布式应用和服务

将应用和服务进行分层和分割,然后将应用和服务模块进行分布式部署。这样做不仅可以提高并发访问能力、减少数据库连接和资源消耗,还能使不同应用复用共同的服务,使业务易于扩展。比如:分布式服务框架Dubbo。

2.分布式静态资源

对网站的静态资源如JS、CSS、图片等资源进行分布式部署可以减轻应用服务器的负载压力,提高访问速度。比如:CDN。

3.分布式数据和存储

大型网站常常需要处理海量数据,单台计算机往往无法提供足够的内存空间,可以对这些数据进行分布式存储。比如Apache HadoopHDFS。

4.分布式计算

随着计算技术的发展,有些应用需要非常巨大的计算能力才能完成,如果采用集中式计算,需要耗费相当长的时间来完成。分布式计算将该应用分解成许多小的部分,分配给多台计算机进行处理。这样可以节约整体计算时间,大大提高计算效率。比如Apache HadoopMapReduce。

分布式和集群的对比

1.分布式:

是指在多台不同的服务器中部署不同的服务模块,通过远程调用协同工作,对外提供服务。

2.集群:

是指在多台不同的服务器中部署相同应用或服务模块,构成一个集群,通过负载均衡设备对外提供服务。

以上就是分布式系统的学习笔记,大家都看懂了吗?如果还没有过瘾,想要了解更多,今晚来听黑马程序员《大数据时代的分布式存储》呀!

THEEND

最新评论(评论仅代表用户观点)

更多
暂无评论