数据实时采集以增量形式展开,实时数据采集子系统以读取业务系统库日志方式捕获增量数据,对原业务系统几乎无影响。实时采集子系统支持跨网数据实时采集,满足专网区到政务外网区的数据同步需求。
海量实时数据通过实时数据中枢子系统,实时分发到实时数据计算子系统及大数据中心已建离线大数据平台,便于各单位轻松构建基于流式数据的分析和应用。
面向秒级、分钟级数据调用场景,各单位海量实时数据,通过实时数据计算子系统做在线清洗、治理等建设,高质量数据通过成都市数据共享交换平台为政务服务等创新应用提供实时数据支撑。
面向小时级、天级数据调用场景,各单位海量实时数据,通过成都市大数据处理分析平台进行数据治理、建库建仓,高质量数据通过成都市数据共享交换平台为政务服务等创新应用提供实时数据支撑。
数兑科技数据实时采集系统软件实现对多数据源的实时采集、转换、加载及数据交互功能,包括但不限于交换单元管理、交换引擎、数据库连接、调度任务配置、调度引擎、任务监控、集群管理、取数操作IDE、多租户管理等。
数兑科技数据中枢系统软件使用自主开发的分布式消息队列中间件,提供对流式数据的发布(Publish),订阅(Subscribe)和分发功能,让用户可以轻松构建基于流式数据的分析和应用。实时数据中枢子系统可以对各种移动设备,应用软件,网站服务,传感器等产生的大量流式数据进行持续不断的采集,存储和处理。实时数据中枢子系统具有高可用,低延迟,高可扩展,高吞吐等特点。
数兑科技实时数据计算系统软件主要功能包括但不限于创建实时计算项目、数据采集、新建实时计算任务、实时数据清洗、实时数据计算任务运维等。