智慧蓉城实时数据一体化采集支撑平台建设项目

智慧蓉城实时数据一体化采集支撑平台包括实时数据采集子系统、实时数据计算子系统、实时数据中枢子系统以及统一的实时数据采集支撑门户子系统组成,该平台从不同数据库类型的数据源端进行结构化、半结构化以及非结构化数据的实时采集并推送给实时数据计算子系统,该子系统对实时数据进行按需治理后推送至实时数据中枢子系统,中枢子系统以数据主题的形式对外发布数据,需求端在经平台授权认证后完成数据的获取,从而完成数据从源端到需求端的按需采集,计算治理和实时推送供给。

数据实时采集以增量形式展开,实时数据采集子系统以读取业务系统库日志方式捕获增量数据,对原业务系统几乎无影响。实时采集子系统支持跨网数据实时采集,满足专网区到政务外网区的数据同步需求。

海量实时数据通过实时数据中枢子系统,实时分发到实时数据计算子系统及大数据中心已建离线大数据平台,便于各单位轻松构建基于流式数据的分析和应用。

面向秒级、分钟级数据调用场景,各单位海量实时数据,通过实时数据计算子系统做在线清洗、治理等建设,高质量数据通过成都市数据共享交换平台为政务服务等创新应用提供实时数据支撑。

面向小时级、天级数据调用场景,各单位海量实时数据,通过成都市大数据处理分析平台进行数据治理、建库建仓,高质量数据通过成都市数据共享交换平台为政务服务等创新应用提供实时数据支撑。

数兑科技数据实时采集系统软件实现对多数据源的实时采集、转换、加载及数据交互功能,包括但不限于交换单元管理、交换引擎、数据库连接、调度任务配置、调度引擎、任务监控、集群管理、取数操作IDE、多租户管理等。

数兑科技数据中枢系统软件使用自主开发的分布式消息队列中间件,提供对流式数据的发布(Publish),订阅(Subscribe)和分发功能,让用户可以轻松构建基于流式数据的分析和应用。实时数据中枢子系统可以对各种移动设备,应用软件,网站服务,传感器等产生的大量流式数据进行持续不断的采集,存储和处理。实时数据中枢子系统具有高可用,低延迟,高可扩展,高吞吐等特点。

数兑科技实时数据计算系统软件主要功能包括但不限于创建实时计算项目、数据采集、新建实时计算任务、实时数据清洗、实时数据计算任务运维等。

THEEND