超聚变大模型应用(聚智AI)建设及示范案例

针对企业数字化运营中的痛点问题,采用大模型快速接入规模化应用、一站式工程化能力开发以及大小模型组合应用等创新技术,充分发挥大模型的优势。

项目建设内容主要分为两方面,一方面是围绕企业内部办公场景,结合AI大模型提供场景应用;另一方面是构建通用的大模型平台能力,包括大模型注册管理,应用管理和向量化服务,打造超聚变的AI大模型平台能力。

1.1超聚变AI大模型场景应用

超聚变AI大模型应用项目已在公司内部落地了面向多个场景的应用服务,帮助员工提升工作效率,帮助公司降低人力成本。

1.1.1 IT智能客服

应用大模型技术,学习IT领域的知识及解决方案,替代人工坐席,智能理解用户输入的自然语言,根据输入的问题结合知识库内容给出最合适的答案。增强坐席战力,实现了全天7*24小时全天候响应支持,从问答准确率提升到自然语言交流再到节省人力资源投入等方面都得到了突破性改善。

1.1.2 400通话智能质检

应用大模型技术进行自然语言处理、意图识别和情感分析,通过监听电话录音内容及时发现400电话服务质量问题,并对异常情况进行跟踪分析;借助情感分析技术评估客户反馈及满意度,并根据结果调整或优化相应服务策略;基于收集到的数据和模型分析结果为公司提供具体改进建议,从而提升公司客户服务质量、增强品牌形象。

1.1.3智能会议纪要助手

应用大模型技术实现快速、高效地输出会议记录文档;支持音频转录与口水稿生成环节自动完成,降低人为失误率,并确保会议内容完整、准确地记录;经过内容提炼与关键信息标注处理后,重要决策点和任务安排等方面得以突出显示,便于团队成员快速查阅参考。

1.1.4研发代码助手

运用大模型技术自动生成通用代码片段,开发人员在输入需求描述后,系统自动生成功能模块的基本框架和实现细节,减轻开发人员的重复性劳动。

同时可生成清晰、易理解的代码注释文本,有助于提高代码质量、便于项目理解与维护,并有利于跨团队协作及知识传承;在出现代码问题时,借助大模型技术分析研发代码后,快速定位问题并给出修复建议,可以显著降低排查所需时间,并提高项目质量。

1.1.5产品领域专家

应用大模型技术,通过构建产品知识库,包含所有服务器产品的详细信息,包括型号、性能特点、适用场景、常见问题及解决方案等;自动更新产品知识库,从而降低维护成本。通过自然语言处理技术理解销售人员的提问,并以文本、语音或图像的形式向销售人员展示相关信息,有助于提高销售决策的准确性,为客户提供更好的服务。

1.2构建通用的大模型平台能力

构建通用的大模型平台能力,包括大模型注册管理,应用管理和向量化服务;在建设同时沉淀了技术创新点:

1.2.1企业内外部大模型统一注册管理能力

超聚变AI大模型项目凭借着公司强大的研发能力和领先的平台解决方案设计能力,实现了业界各类大模型统一,快速的接入机制,并形成标准化能力。

(1)大模型的注册接入管理:可以将业界各类大模型进行统一管理(当前主要针对大语言模型),实现跨应用将的模型资源共享与调配,使得各个模型都可以在一个统一的平台环境中开发和维护。

(2)大模型的信息安全保障:超聚变公司在大模型的注册管理模块,还构建了一个安全隔离层,确保每一个模型都能在一个安全的环境中独立运行,也通过加密和脱敏技术,防止大模型将企业密级信息窃取,将企业用户进行画像。

(3)大模型的统一分发管理:通过统一的服务分发,让公司内对不同类型的大模型的调用,都能够以一致的接口协议进行,大大简化了产品化的工作。

(4)大模型的精细化运营管理:统一的运营管理,分析接口使用问题,定期对模型接口进行更新和调用逻辑优化,确保模型的性能始终处于领先水平。

1.2.2大模型一站式应用开发的工程化能力

大模型的应用开发,有别于传统的MLOps,更加专注在提示词开发与私域向量库管理方面,我们针对传统MLOps服务在提示词开发方面的不足,超聚变AI大模型项目提出了全新的提示词开发流程LMOps,大大提升了大模型应用的开发效率,实现大模型参数的配置化调整。此外,项目在向量库管理方面,借助公司先天的硬件资源优势和服务器优化的部署架构,能够实现对向量数据的高效处理与管理,提高利用率。

1.2.3大小模型组合应用,提升模型准确性

在实际的业务应用大模型的过程中,通常依赖单一大小模型来满足不同服务需求,难以实现模型准确率的优化。超聚变针对这一问题,构建了大小模型的组合应用的方案。该方案是通过多个AI模型的有机组合与协同,实现更准确的业务效果,即发挥了大模型预训练模型的优势,又通过小模型实现更加专业,精细的业务行为,大模型就像大脑,小模型就像具体的动作执行器官,两者相互配合,更确保了大模型应用的精确性。

640 (1).png

实施效果

截至目前,超聚变AI大模型应用项目已在公司内办公领域、客户伙伴关系领域、研发领域等落地IT智能客服、400通话质检、智能会议纪要、智能研发助手、产品领域专家等场景解决方案,共有5000+用户,月均使用人数3000+,AI服务月调用次数13万+,显著提升了办公效率,收到各领域用户好评。

1、IT智能客服:

问答准确率由此前的65%提升至85%,客户体验提升。

2、400电话质检:

质检覆盖率从原本1%的提升100%,质检准确率从85%提升到91%。

3、智能会议助手:

音频转录速度和准确度分别提升了30%和50%,内容提炼和标注的速度提升了50%,会议纪要文档生成的速度提升了60%。

4、研发代码助手:

提升代码理解的效率,在相同模式下,项目理解的时间减少40%。

将一种代码语言转换为另一种代码语言,该项目使的代码迁移速度提升80%,代码规范程度提升30%。

5、产品领域专家:

产品问答的准确度提升40%,机器人构建时间缩短60%。

同时,超聚变大模型应用项目实施落地过程中,围绕大模型应用总结出一套企业AI大模型应用构建方法,成功孵化超聚变聚智AI平台;项目经验可为同行业企业提供借鉴,具有行业示范作用。

THEEND