在数字经济快速发展的大背景下，以数字技术为基座的数字化正在对世界带来新一轮的颠覆与重构，企业也纷纷开始数字化转型。在数字化的转型浪潮中，开发测试人员的生产力变得越来越重要，提升团队研发效能成为实现企业战略目标的重要措施。为了进一步提升数字化转型下的研发测试效率，神州数码云业务集团数据原生BU数据平台部成功帮助某跨国汽车公司搭建了大数据测试平台，进而构建了研发测试与业务共进的共赢生态。
一、项目背景
在全面上云、数字化转型的当下，企业将注意力转移到了客户和业务之间的交付价值，在缩短交付时间、快节奏交付的同时还要保证质量，就成为数字业务的新诉求。在数字化转型的过程中，对于某大型跨国车企测试团队而言，亟须解决数字时代测试业务面临的多种痛点。
二、实施目标
1、降低编码门槛
数据存在的介质有多种形式，如文件（CSV，TXT等），API，Kafka，DB（Hive，MySQL，Redis等）。不同的介质，需要使用不同的测试方法。这对测试人员的编码能力提出了高要求；
2、提高测试效率
测试人员往往面临十几亿条的数据量，查询速率慢；测试过程不够透明规范，使得存在重复工作，导致测试效率低下；
3、简化测试场景
不同项目的数据处理存在多种特殊场景，若解决方案单一，难以提高数据测试的覆盖率；
4、降低人员管理难度
组织架构变更及测试人员流动对项目有一定影响，不同的数据库操作权限也容易导致成员与项目的匹配关系杂乱，管理困难；
三、具体措施
神州数码数据平台技术团队与该跨国车企IT团队尝试采用平台化思维打造成熟的工具提升研发测试效率，摒弃传统的QA组织模式，将技术、人员、流程进行创新，通过权限管理、测试用例编写、测试任务管理到测试进度监控一体化，实现平台化战略转型。
该数据测试平台采用微服务架构，使用轻量级API通过明确定义的接口进行通信。由于它们是独立运行的，因此可以针对各项服务进行更新、部署和扩展，实现各个模块服务的自主性，专业性。前后端独立部署，前端开发语言vue，使用开发框架Element-UI，反向代理Nginx。后端开发语言java，使用开发框架Spring cloud Alibaba等作为总体结构设计。
基于此架构，使得整个系统具备高度的敏捷性，灵活扩展，轻松部署，技术自由，代码可重复使用。通过消息队列进行补偿，保证跨服务的分布式事务一致性问题，同时保证了系统的高可用性。
大数据测试平台产品架构
整体来看，神州数码大数据测试平台能够实现从权限管理开始搭建完备的管理流程，数据访问隔离，项目及数据源权限分配精准，管理员可针对部门、用户、项目、数据源等多维度进行更精准的系统管理，测试人员可灵活切换项目，项目之间独立不干扰。
操作简易方便，提供SQL编辑界面，直接查询数据仓库中的数据，提供保存SQL语句、查看历史SQL语句的功能。不仅SQL创建、API连接、DIFF数据对比等方式新建测试用例的步骤，并在此基础之上也支持SQL快捷查询，能够通过独立的query创建模块打造快速高效的查询体验。
平台系统打造了流程化测试步骤，包括SQL/API/DIFF的新增、执行、删除、保存等，减少手动重复工作，测试过程更精准，并且支持多种数据库及测试脚本，支持多种类型数据库，支持批量执行，提高数据查询效率和项目交付过程的效率。
支持包括手动执行、定时任务的触发执行方式。测试脚本按照断言判断结果，生成汇总结果进行展示，并能通过邮件同步相关测试报告，帮助提升团队的组织效能。
1、Query创建-完善的SQL查询引擎，打造简单易用的数据集群交互环境
为了解决大数据框架多，交互界面不统一的难题，神州数码大数据测试平台提供了非常人性化的SQL编辑界面，支持连接MySQL、Hive、HBase、Clickhouse等数据库，用户在编辑好SQL语句后即可直接查询数据仓库中的数据，并且能够实现保存SQL语句、查看历史SQL语句的功能。在与测试用例步骤的创建相结合后，平台即可串联起测试的前后环节，从而打造更为简单易用的数据集群交互环境。
2、接口测试-媲美Postman体验，灵活编排接口场景
更为重要的是，神州数码大数据测试平台解决方案集Postman与JMeter的功能于一体，包含请求参数设置、前置操作添加、断言及变量提取设计，在易用的同时能够充分满足灵活需求，共同完成复杂业务场景的接口测试。
3、数据验证-源库与目标库对比，提高检验覆盖度及精度
同时，为确保数据质量，验证大数据工具/框架处理过后的数据与目标库数据的一致性、准确性、有效性及完整性，神州数码大数据测试平台的数据验证也能实现源库与目标库的对比，进一步提高检验覆盖度及精度，支持设置先决条件如过滤字段、转换数据类型；提供多种检验标准，多维度验证数据准确性。
4、完善的任务执行方式及任务报告
神州数码大数据测试平台支持包括手动执行、定时任务的触发执行方式，支持执行频率的调整。用户可在首页查看测试项目相关数据报表，监测各种数据指标动态，包括不限于：数据概览（项目、任务、实例、用户总数等）、当前平均任务成功率、数据源分布、平台活跃用户趋势图、快捷查询数据源人次、任务执行次数、任务报错率等。执行开始后可立即查看测试任务报告，任务执行进度尽在掌握之中，错误信息一目了然。为方便组织内协同，平台还支持任务报告以邮件形式输出，供项目相关人员快速定位出错点。通过良好的任务执行方式和详实的任务报告，可以更好地管理项目、提高团队效率，同时保持透明度，确保利益相关者和团队成员对项目的理解和期望保持一致。
5、系统持续功能更新迭代
支持其他系统如任务调度平台、邮件平台等进行功能合并或接口调用实现功能扩展。持续聚焦研发测试质量提升与团队内部协同，打造灵活、高效、便捷的开发测试生态。采用敏捷开发方法，定期进行迭代并根据用户反馈进行调整，保持团队对市场需求和用户期望的敏感性，这将有助于提高系统的竞争力，适应不断变化的市场需求。
四、实施效果
在实际运行中，神州数码大数据测试平台能够满足团队不同角色在测试过程的业务诉求。对于团队管理者而言，其可通过平台随时掌握测试进展，整体测试过程透明化，自动化，规范化，监控不同项目的任务进度，更能清晰的效能管理帮助管理者识别当前瓶颈，做好风险管控；对于测试人员而言，平台操作更为简便，提高了整体测试项目的效率和测试的准确度，平台也为其提供了高效管理与测试用例历史回溯的功能，在树形结构的任务分类中轻松管理测试任务；对于开发者而言，平台提高了整体安全性和稳定性，将精力更多投入到完善多种业务场景，提升整体代码质量，分析问题缺陷等等。