一、案例简介：
凯美瑞德VIVA-FD金融数据实时治理与业务管理系统解决方案基于金融市场数据平台形成金融市场知识图谱，通过数据驱动建设业务场景，研发内容包括建设基础平台、投资数据深度治理、智能分析、智能交易、智能监测、智能风控&合规。在大数据流处理框架下，通过构建完整的数据模型层，实现数据主体模型建设和金融市场数据管理，助力金融机构数字化转型。
二、实施目标：
（1）基于CDC和分布式数据处理架构的一站式操作
VIVA-FD金融数据实时治理与业务管理系统基于CDC的变化数据捕获策略，识别和捕获对数据库新增，删除，变更等数据的变化，实时处理这些变化的消息。实现了低延迟，高效率的数据传输。可快速响应处理金融业务系统的各种市场数据，行情数据，交易数据变动，为后续的各种应用场景提供支持。系统利用分部署架构原理，拆分了多个模块，数据采集，数据模型转换，基础平台，数据模型等多个模块，满足了金融数据集成业务增长需求，系统高效可靠。
（2）深度的数据治理
为了满足不同的业务需求，银行业行内往往竖井林立，相互割裂，数据质量参差不齐。对于底层数据，缺乏行业共性标准，缺乏全面、科学、有效的数据治理组织架构。难以避免的手工化作业，也极大阻碍了银行业务部门数据挖掘、数据分析工作的开展。数据基础建设的不完备，使得数据的统一管理和应用存在困难。VIVA-FD金融数据实时治理与业务管理系统提供标准化的数据治理和管理功能，整合内外部数据，建设数据治理体系，将离散的数据孤岛进行整合、加工、清洗。系统基于不同的业务场景，应用不同主题的数据模型，如交易主题、证券主题、市场主题、会计主题、风险主题、产品主题，全面支持各类数据的扩展及变化，以支撑后续投资交易业务的开展。
（3）开放性的产品平台，高度可配置，并可实现快速扩展
金融行业发展迅速、品种不断创新、监管要求不断变化的特点，要求系统具备灵活可配、快速响应需求变化的能力。系统提供了无侵入的数据采集服务，可配置的数据清洗转换引擎，可扩展的数据标准模型，适配不同的应用场景。
业务上，借鉴国际最先进的设计理念，在系统底层对金融标准模型进行了主题的拆分，并建立了标准的数据模型管理，满足客户大部分应用场景，以及需求变更。系统提供数据模型配置管理模块，可配置客制化模型字段，快速适应客户的业务场景变化。系统提供数据接入模块的规则配置管理，可供用户快速修改数据清洗转换的规则，快速建立完整适配的数据体系。
技术上，利用分布式架构，SOA设计思想，将系统拆分为多个模块，各个模块松耦合，可独立运行，升级替换。
三、建设内容：
VIVA-FD金融数据实时治理与业务管理系统基于新一代数据技术架构，通过深度数据治理将数据变为数据资产助力金融机构进行全面深化的数字化转型。VIVA-FD金融数据实时治理与业务管理系统致力于为投资研究、投资交易、投后分析，风险管理、监管报送、数字化运营、数据全景视图等的数字化发展赋能，释放金融机构数据应用创新的能量。
VIVA-FD金融数据实时治理与业务管理系统在整体架构上采用了业界先进的Lambda架构思想，Lambda架构起源于大数据领域，2008年金融危机后被引入资金交易系统领域，用来解决危机后新金融监管要求和互联网金融发展带来的对资金业务系统的挑战，目前已经被欧美主流产品厂商作为下一代资金系统的技术方向。
VIVA-FD金融数据实时治理与业务管理系统主要使用分布式微服务技术、分布式缓存、分布式队列以及大数据等分布式技术来实现。
1、整个系统根据业务拆分成多个子系统。
2、每个子系统可以部署至少两个应用并部署至容器中，多个应用之间进行负载均衡。
3、通过行内的服务注册中心，所有的服务都在注册中心注册，负载均衡也是通过在注册中心注册的服务来使用一定策略来实现。可部署多个，进行高可用保证。
4、所有的客户端都通过同一个网关地址访问后台的服务，通过路由配置网关来判断一个URL请求由哪个服务处理。请求转发到服务上的时候使用负载均衡。
5、服务之间采用Openfeign进行调用。
6、使用断路器sentinel及时处理服务调用时的超时和错误，防止由于其中一个服务的问题而导致整体系统的瘫痪。监控和断路器。我们只需要在服务接口上添加sentinel标签，就可以实现对这个接口的监控和断路器功能。
7、通过监控功能，监控每个服务调用花费的时间等。作为系统的链路追踪组件，由各个服务将调用信息上传至监控server来提供调用信息的存储和显示。
8、同时在系统中需要部署数据采集的集群用于内外部系统数据的采集。
9、本系统使用大数据集群进行数据存储以及实时指标的计算。
10、通过分布式缓存集群进行计算过程的加速。
系统所处理的业务特点，主要为日间的行情、交易等数据以及批量数据接入的各类资产定义及静态数据。同时还需要处理各类不同金融市场业务的处理的特点系统处理由驱动层触发，通过交易捕获、行情变动、系统轮巡及人工操作等信号驱动引擎层的处理，同时驱动层的数据可以直接导入到数据层。引擎层根据计算任务的不同采用不同的计算策略，支持本机单点计算、无界流计算和并行计算，并能适配不同的计算环境。引擎层的计算可以直接对接数据层的数据流，计算的结果交由数据层统一管理。数据层专门管理系统数据，根据数据的访问频率和数据量，采用内存缓存、数据库、大数据等适用技术，在数据的组织形式上支持基于KV格式的数据主题形式和基于关系型数据库的数据表形式。以统一的接口支持高速数据和低速数据的一致性访问。
分布计算与业务引擎相结合实现实时驱动风险计量引擎、现金流引擎、限额引擎，并将流式数据以批量数据相结合形成统一的计算视图。依托于分布式计算组件spark/flink可以实现高性能的计算以及横向的活纵向的计算服务扩展。
整个系统使用微服架构进行部署，系统根据业务拆分多个子系统，每个子系统部署至少两个应用，多个应用之间使用负载均衡，所有服务通过服务注册中心注册，负载均衡也是通过在注册中心注册的服务来使用一定策略来实现，可部署多个，进行高可用保证。同时数据库采用主从部署，通过主备同步我们能够保证数据的可靠性(最终一致性)，保证高可用。
四、优势效果：
对比国内外同类项目，我司产品在金融数据实时治理业务与业务管理的整体建设路径上更具备优势。
1、全面性：整合有关交易、市场和投资研究的信息，以及通过电子邮件、语音电话和即时消息等各渠道的市场观点。将所有数据整合一处后，沉淀海量数据为全面投资管理提供基础。
2、先进性：平台采用先进的lambda流批一体技术架构实现高性能实时全域的业务洞察。
3、连接性：将规模化高业务复杂的数据连接到不同投资管理业务场景。
4、专业性：在行业专家制定的资金数据标准基础上进行深度的数据治理。数据驱动各类金融业务引擎（簿记引擎、授信引擎、余额引擎、限额引擎、估值引擎、风险引擎、会计引擎、绩效引擎、清算引擎、流动性引擎等）。
5、一体化：实现投资业务数字化驱动数据采集、数据治理、数据管理、数据服务以及数字化应用场景建设。
6、场景化：在投资分析、决策、投资运营、风控合规领域贴合业务的数据驱动场景。