以大模型为代表的新一轮人工智能发展浪潮席卷全球，正在成为推动产业智能化升级的重要引擎。国内外研究机构、巨头企业纷纷推出大模型，各行各业都在研究大模型如何与其业务场景相结合，但目前的通用大模型存在专业性不强、准确性不高、与业务耦合不紧、不能处理敏感信息等问题，对网络安全和信息保密要求较高的政务用户无法直接使用。大模型如何在专用领域本地化部署、与业务紧密结合、保证安全性，这些都成为亟待解决的问题。
1构建政务专用大模型必要性
近年来，我国人工智能行业受到各级政府的高度重视和国家产业政策的重点支持，《中华人民共和国国民经济和社会发展第十四个五年规划和2035年远景目标纲要》提出“培育壮大人工智能、大数据、区块链、云计算、网络安全等新兴数字产业”；《2024年政府工作报告》提出“深入推进数字经济创新发展；制定支持数字经济高质量发展政策，积极推进数字产业化、产业数字化，促进数字技术和实体经济深度融合；深化大数据、人工智能等研发应用，开展“人工智能+”行动。”
面对国内外日益升温的“行业+大模型”趋势,全球逐步扩大的“大模型+政务”态势，我国各地政府也通过政策形式，明晰大模型在政务领域的适用场景和服务范围，逐步在政务办公、政府服务、公共管理等场景开展试点，打造标杆案例。政务大模型建设既是发展中国人工智能产业的关键组成，也是实现政务治理革新的有效工具。
与互联网应用相比，专用领域用户往往更需要包括大模型在内的智能化赋能，专用大模型需求迫切。一是效率提升的需要。经过多年信息化发展，政务网络产生了大量数据，包括业务文件、设计文档、IT运维数据等。数据的增多导致人工处理非常困难，大模型可充分挖掘数据价值，提升业务水平和工作效率。二是专业能力的需要。当前的通用大模型基于公开出版物、互联网内容等数据训练，不具备专用领域知识，无法实现专业性较强的知识处理和准确的内容输出，对业务的赋能能力有限。对专业用户来说，最有价值的知识不在互联网上，而是在内部网络和数据库中。三是安全保密的需要。通用大模型需要互联网环境运行，对大模型的提问可能会泄露敏感信息，经大模型后台分析后造成泄密事件，例如韩国三星公司在引入ChatGPT仅二十天，就发生了3起重要数据外泄事件。
2政务专用大模型构建方案
2.1专用大模型构建技术路线
根据大模型的技术机理，构建专用大模型主要有三种方法，分别是预训练、微调和知识增强，如图1所示。预训练与通用大模型训练方法相似，不同的是在预训练阶段加入足够的专用语料，优点是专用领域理解能力更强，缺点是成本非常高，开发周期长；微调和知识增强都是基于通用大模型作定制化改进，不同之处在于微调改变模型权重参数，知识增强则不改变模型参数。
图1专用大模型的构建方法
（1）预训练模式
预训练即深度研发大模型，是指从0到1完全自主研发或者基于开源模型做深度定制得到大模型。这一过程涵盖模型设计、数据准备、环境准备、模型训练、模型评估和优化等多个阶段，从头构建一个垂直领域的专用大模型是一件极具挑战且耗费巨大的事情。预训练模式不仅需要大量的数据资源，而且会消耗庞大的算力集群资源，训练成本（时间&算力）和模型价值需要权衡，对于灵活多变的专用场景应用并不太适合。
（2）微调模式
微调，是指在预训练大模型基础上，针对特定任务或领域进行再训练，以提升大模型在该特定任务上的表现。微调利用特定任务的数据集，调整大模型的部分或全部参数，进而将行业知识内化到大模型中，因此，数据质量直接影响微调后的大模型效果。同时，微调策略也直接影响大模型效果，微调策略可以根据任务需求、数据量和计算资源等综合考虑，常用的微调方法包括有监督微调（Supervised Fine-tuning，SFT），即在标注数据上调整模型参数；低秩调整（Low-Rank Adaptation，LoRA），即通过低秩矩阵减少更新参数量等。
（3）知识增强模式
知识增强是通过知识库与大模型结合提升准确性，主要适用于对生成内容的准确性要求高及数据敏感的场景。一是大模型的输出基于概率，并不清楚事实，为提高准确性，需要提供知识来源，再利用它的理解能力在指定的知识库中生成内容。二是在数据敏感的场景，若利用敏感数据训练大模型，则敏感信息融入大模型，有扩大知悉范围的可能，也需要采用知识库的方式。
2.2政务专用大模型构建方案
针对政务专用大模型构建的准确性、时效性、安全性、保密性需求，适宜采用“微调+知识增强”相结合的技术路线。具体方案如图2所示。
图2政务专用大模型构建方案
根据业务场景需求、成本预算、模型的生成质量、泛化能力、响应速度等，选取基础大模型；采用技术知识、管理规范、政策标准等非密、内部知识构建微调数据集，用于对基础大模型进行微调，提升在特定应用上的准确性和专业度；构建检索增强生成（RAG）知识增强系统，通过引入内部网络的敏感权威信息，提升大模型内容生成的准确性和丰富度，减少错误和臆测，生成的内容可以追溯到具体的信息源，提高时效性和安全性。同时，基础大模型只会调用相关数据，而不会吸收数据成为内含知识，确保敏感数据的安全保密性；提供大模型安全性增强服务，防提示注入、对抗样本攻击，对数据进行分级分域管控、防数据投毒攻击，设计分角色知识访问控制、输出内容合规检查，实现算力、模型、数据、应用系统安全性增强。
3数据安全与内容安全防护方案
政务专用大模型可提升业务办公、产品开发、IT运维效率，但由于大模型参数众多且复杂，其内部运作模式较难理解和解释，面临着平台框架、数据、模型、系统应用等四个层面的安全威胁。在专用领域，面临着敏感信息扩散安全威胁，即在使用大模型过程中，将敏感信息输入至不安全的大模型，就可能造成敏感信息泄露。即使大模型部署在与外网物理隔离的内部网络，也可能存在扩大知悉范围等问题，在使用时，需要采用专为政务大模型应用设计的数据安全解决方案。此外，大模型是一种无感知的语言模型，对输入数据的处理是基于其在训练数据中的出现频率。如果训练数据中存在错误的价值观，就可能在生成内容中体现，在使用时，需在国家测评认证的底座大模型基础上加强输入输出内容安全控制。
3.1分级分类数据安全
语料知识库安全是大模型安全应用过程中的关键环节，通过对构建的向量知识库数据进行分级和分类，以实现对数据的保护。针对不同密级，不同知悉范围的知识库访问安全保密问题，需要进行知识库加密存储、访问控制等措施。同时，由于大量敏感数据汇聚到知识库，容易引发保密风险问题，针对不同密级的知识库，采取安全隔离的知识库存储部署模式，知识库数据安全设计方案如图3所示。
在知识库分级分类访问控制方面，由于用户可基于语料数据高效处理系统，构建个人知识库管理系统，用于大模型检索增强生成，因此知识库的安全访问控制至关重要。面向信息分析、办公辅助、系统运维等不同场景，设计基于密级、职级、职能的访问控制策略，实现不同密级、不同职级、不同职能人员仅可访问与自己密级、职能相符合的专用知识库，确保不同密级、不同知悉范围的知识库访问安全保密。
在知识库加密存储安全隔离方面，针对大量敏感数据汇聚到知识库产生的保密风险问题，采用知识库加密存储与安全隔离措施，不同密级、不同人员数据基于逻辑隔离方式，加密存储在一个物理设备上的系统，网络环境，应用程序或数据库之间保存相对的独立，其目的是在不依赖于物理分离的情况下，防止未授权访问敏感信息，同时允许合法用户在不受其他用户或进程干扰的情况下访问所需资源。
图3知识库数据安全设计方案
3.2输入输出内容安全控制
大模型应用易受到目标劫持、提示泄露等提示注入攻击威胁，即通过使用恶意指令作为输入提示的一部分，来操纵语言模型输出，产生不适当、有偏见或有害的输出，因此设计输入侧风险检测、输出侧风险检测及输入侧提示增强三类防护策略，如图4所示。
输入侧风险检测的目标是检测并过滤出可能含有风险的用户输入，主要包括采用基于规则和基于模型两种方式，相较于基于规则的输入提示检测方法，基于模型输入提示分类方法无需预先掌握大量先验知识，可以更加灵活地应对各种复杂的应用场景和不同的业务需求。
输入侧提示增强是一种旨在构建更加鲁棒的防御型提示，以提升系统提示抵抗提示注入攻击能力的技术。提示增强利用大语言模型本身的理解能力进行“自我增强”，在提示词中加入对任务内容和用户输入内容的强调，以形成对任务描述更为精确的系统提示，帮助大语言模型更好地理解并完成目标任务，主要包括语义增强和结构增强两大类。
输出侧风险检测主要以内容审核过滤为主，目标是识别并避免输出风险内容，以确保大语言模型和相关应用的内容安全，内容审核过滤策略包括基于规则输出内容检测方法和基于模型的输出内容识别方法，提升输出的可靠性和安全性。
图4输入输出内容安全控制流程
4政务专用大模型典型应用场景
政务专用大模型系统基于时效知识处理模块，对互联网、内部网络等文本、语言、图像数据进行处理，结合数据分级分类和访问控制策略，构建信息分析知识库、办公辅助知识库、系统运维知识库，可提供信息分析、办公辅助、系统运维等应用服务。
4.1智能信息分析
基于大模型整合来自不同系统和来源的数据，提供全面的数据视图，通过智能分析和可视化，识别数据中的关键趋势和关系，加强使用者对复杂数据关系的理解，识别潜在的趋势和模式，为决策者快速提供决策建议和支持。用户可针对收集到的信息情报进行情报分析，实现情报统计、情报知识图谱建立和展示、情报风险分析、情报分析记录管理等功能，业务流程如图5所示。
图5信息分析业务流程
4.2智能办公辅助
基于强大的语义理解和上下文内容生成能力，大模型可以生成符合要求的文章，并且依托特定领域知识以及大模型能力的优化，实现智能大纲生成、多类型文章生成、文章内容细化修改等功能，满足专用领域对文章专业性和独特性的需求。同时模型生成内容基于特定知识来源，并且具备知识溯源能力，使得生成文章内容具有可信度。
如图6所示，用户选择文章类型，输入文章标题以及相关关键词，进行语义关联方法，挖掘与文章主题相关的潜在关键词，智能化生成结构化的文章大纲。用户可以根据实际需求，对文章大纲进行修改。依据确定的大纲，自动挂载所需的知识库，按照文章类型，确定文章的格式、风格与逻辑，逐章节生成文章的具体内容。对于不满足需求的文章或者段落，支持修改、续写、重写。用户选择文章段落，可根据具体需求，优化该内容。以满足用户的需求，达到预期的质量和标准。文章生成完成后，用户可以进一步进行编辑或者直接应用。对于已生成的文章，支持下载。文章内容生成完成后，根据文章写作时需要引用或者引入的知识，列出详细的知识来源，用户可以点击查看引文中的具体内容。
图6办公辅助功能示意图
4.3智能系统运维
经过多年信息化发展，政务IT系统类型繁多、网络复杂，当发生故障时用户经常难以判断故障点，耗费大量时间物力成本逐一排查。经过专业知识微调学习的大模型，可作为运维保障大脑，完成多个原本由专业人员担任的多重角色，如图7所示。一是运维客服辅助。将知识库挂载到客服系统，出现问题时大模型根据用户描述场景生成应对方案，在人工参与或不参与的情况下通过交互式对话解决用户的问题。二是运维分析师。收集IT产品运行过程中的日志信息，汇总分析形成运维态势，按天/周/月呈现产品运行情况、故障情况并作分析。三是故障诊断专家。对于用户无法描述的故障信息，可以通过专用设备采集图像，再交给多模态大模型识别并定位故障。
图7智能系统运维工作流程
5结语
大模型给各行各业带来了颠覆性的改变。据有关权威机构预测，未来三年，在生产经营环节应用AI大模型的企业占比将由目前的不到5%提高到80%以上。通用大模型具有优异的场景支撑能力，构建政务专用大模型能够显著提高工作效率。与此同时，政务大模型同样也面临着可信性无法保证、错误信息及信息泄露等风险，直面并解决这些挑战和风险，才能让大模型发挥更好更大作用。