上海思询信息科技有限公司是一家顾问型科技公司,致力于通过开源、开放的理念协助企业打造自主可控的基础架构平台。我们对于开源技术精益求精,并把团队的项目经验通过专业服务和构建新产品的方式传播开来。遵循开源理念,基于业务视角向用户提供云计算解决方案、分布式存储解决方案、监控可视化解决方案等。
1、项目建设背景介绍
***(因与客户签订了保密协议,故用*号代替客户名称)集团是国内A股市场最大的汽车上市公司,积极推进新能源汽车、互联网汽车的商业化。自2015年开始向“互联网”模式的转型,推进在新能源动力系统、智能驾驶、软件工程、智能互联、人机交互、云&大数据以及支撑各领域的先进材料等领域内的技术创新和产业链布局,同步以市场需求为导向,为自主品牌持续提供差异化的前瞻技术产业化应用成果。打造“跑在互联网上的汽车”(Car on the Internet),为中国互联网汽车提供整体解决方案。
制造行业云数据中心的启用能更好地为***集团下属企业降本增效,集团每个企业都需要有自己的机房和数据中心,自己的数据处理和维护团队,每家企业在建立数据中心时需要预留的冗余空间和硬件,以及各家企业在自主开发和维护的很多具有共通性质的应用。通过建立云数据中心,不仅可以高效进行基础数据的存储和计算,减少存储和运算成本,还可以通过各种通用应用的开发、管理和维护,让企业可以共享这些应用。同时通过云数据中心的建设能更快实现技术标准,推动下属企业间更高层次上协同。
2、项目实施方案
总体架构-基于开源、自主可控(OpenStack)
***集团综合考虑并评估了自主可控、稳定安全、技术先进、广泛兼容等要素之后,经过充分的技术验证,最终选择采用基于OpenStack框架的技术栈整体解决方案:1)OpenStack开源的技术架构,符合***集团制造业行业云自主可控的要求;2)OpenStack作为私有云的主流技术之一拥有完整的基础架构资源框架;3)OpenStack积极分享、开放的社区模式,也利于持续赋能技术团队,打造业务和技术兼备的综合型人才。
OpenStack架构
由于集团下属企业分布在全国各地,因此核心数据中心需要满足多地接入和服务使用的场景,同时考虑到容灾的问题,集团云数据中心采用两地三中心的设计架构。对应的Openstack也采用了多区域设计,多区域架构不但便于运维管理和控制故障域,同时便于开展之后的区域滚动升级和应用跨区域高可用部署。
两地三中心 示意图
OpenStack技术栈
计算资源池-虚拟化KVM
KVM是行业内采用最为广泛的虚拟化软件之一,它具有非常好的性能和稳定性。***集团数据中心通过KVM虚拟化平台可以将底层异构的物理服务器构建成一个统一的计算资源池,同时OpenStack可以将这些计算资源池进行逻辑分组和属性设置,底层计算、网络、存储组成的资源池通过JITStack云管理平台承接上层计算密集型应用、内存密集型应用、IO密集型应用。
JITStack云管理平台 示意图
存储资源池-分布式存储Ceph
***集团核心数据中心建设基于x86服务器的分布式存储系统,连接着下属所有企业数据中心,每个存储服务器都参与读写IO交互,随着节点增加整个存储系统不但容量增加并且性能也能提升。通过将数据中心中的磁盘文件数据被切片后分布在不同节点上,并可以设置副本数保证企业数据可靠性。
分布式存储Ceph 示意图
与传统的存储架构使用RAID模式来保证数据的可靠性不同,分布式存储采用了多副本备份机制。在存储数据之前,分布式存储对数据进行了分片,分片后的数据按照一定的规则保存在集群节点上。为了保证多个数据副本之间的一致性,分布式存储通常采用的是一个副本写入,多个副本读取的强一致性技术,使用镜像、条带、分布式校验等方式满足集团对于可靠性不同的需求。在读取数据失败的时候,系统可以通过从其他副本读取数据,重新写入该副本进行恢复,从而保证副本的总数固定;当数据长时间处于不一致状态时,系统会自动数据重建恢复,同时租户可设定数据恢复的带宽规则,最小化对业务的影响。
得益于合理的分布式架构,分布式存储可预估并且弹性扩展计算、存储容量和性能。分布式存储的水平扩展有以下几个特性:
1) 节点扩展后,旧数据会自动迁移到新节点,实现负载均衡,避免单点过热的情况出现;
2) 水平扩展只需要将新节点和原有集群连接到同一网络,整个过程不会对业务造成影响;
3) 当节点被添加到集群,集群系统的整体容量和性能也随之线性扩展,此后新节点的资源就会被管理平台接管,被用于分配或者回收。
网络资源池- VPC多租户网络
JITStack云管理平台支持创建共享的虚拟路由来支持跨VPC的云主机访问,或者统一对接外部其他网络。每个租户可以创建自己的VPC网络,每个VPC支持创建独立虚拟路由来接入外部网络。
建立VPC多租户网络架构,集团每个租户可以创建自己的VPC多租户网络,由企业核心路由器创建管理网络和业务网络,管理网络经过vRouter建立虚拟监控网络管理各个虚拟主机的后台应用,业务网络部分经过vRouter和部分直接访问各个虚拟主机的前端应用,并且可实现多租户VPC的集中管理。
VPC多租户网络 示意图
4、制造行业云对集团战略的价值
***集团行业云的定位就是作为集团的技术中台,向下联接用户、智能终端、车辆、物联设备等,向上为智能网联汽车、智慧出行、智能制造服务。
通过云计算的汇聚功能,对业务数据进行计算和存储,再传递到业务应用层,如数据湖、人工智能算法,以及包括用户中心、物料中心、订单中心、生产中心在内的业务中台,推动业务更快速、高效地发展。
目前,制造行业云正在逐步覆盖***集团总部、下属企业,以及整车、零部件、后市场、金融等业务。随着云中心规模的快速扩大,围绕着“新四化”等创新业务的数据价值挖掘、打造数据应用闭环等工作也在有条不紊地快速进行中。