本文来自微信公众号“twt企业IT社区”，作者/龙海，某股份制银行研发中心NLP项目组产品经理、算法工程师。拥有4年金融行业算法研究及应用经验，熟悉大数据、人工智能领域技术及其应用场景，在金融AI领域发表多篇发明专利。紧密跟踪大模型技术，拥有大模型微调训练经验，曾在天池竞赛、kaggle竞赛等比赛中获得奖项。
一、引言
随着业务和政策的不断发展，商业银行的业务和管理变得越来越复杂。为降本增效，利用工具辅助复杂场景，人工智能技术在商业银行领域的应用也日益广泛。其中，大语言模型的应用一直是业界关注的重点。例如2018年谷歌提出的BERT和OpenAI提出的GPT-1是初代大语言模型的代表作，带动了自然语言处理技术在银行业应用的热潮。而去年11月30日，ChatGPT横空出世后，迅速引起了全球的关注。
本文将围绕类ChatGPT模型的特点，介绍并适当探讨银行业对AI场景应用的现状和发展趋势。
二、商业银行AI技术
（一）现阶段银行业人工智能技术应用方式
近几年来，跟着国家数字化转型的浪潮，银行业其实一直在探索AI应用场景。现阶段主要在下面几个场景中应用人工智能技术：
（1）风险管理
银行利用AI技术来预测借贷违约风险，并基于这些预测来制定相应的风险管理策略。例如，银行可以使用外部合法的客户风险信息，结合自身的客户信息和行为交易数据，通过数据分析建模的方法来评估客户的信用评级、财务状况和还款能力，并根据这些数据来决定是否批准贷款申请、或者增加降低其信用额度。
针对黑产中介团伙技术强、手段多、后果恶劣的形势，银行还利用AI技术来检测预防黑产欺诈行为。例如，银行可以使用机器学习算法来分析客户的交易历史和行为模式，建立针对账户管理和交易管理的风控模型，更实时地、最大程度地识别可疑的交易。
（2）客户营销
在银行向零售银行战略转变的形势下，如何解决长尾客户服务薄弱的问题，智能营销就是大势所趋。这需要重塑数字化营销的方法和系统支撑，形成一套有效的、整体的智能模型体系，用于客户智能化全生命周期管理，在客户的各个阶段都能形成精准匹配的营销方案和客户范围。另外，挖掘客户的自然信息和生活场景类数据，持续完善客户画像和智能推荐系统，据此提供全方位、精准的“千人千面”的金融服务和生活服务的推荐。
（3）客户服务
银行利用AI技术来提高客户服务质量。例如，银行可以使用自然语言处理技术来分析客户的问题和反馈，从而更快速、准确地提供响应和解决方案；利用自然语言处理技术来建设机器人客服，极大地减少客户等待服务的时间。
（4）内管提效
在各类智能化技术提高办公自动化程度的带动下，银行业利用AI技术来提高内部员工的办公效率。例如审批流程中通过OCR技术辅助审批员确认材料中的关键指标；又亦如通过NLP技术识别简历中的关键标签，以此来加快HR们的审批速度等。
（二）现阶段银行业人工智能技术应用方式存在的问题
尽管现阶段AI已经被广泛应用在了银行业，但其使用和推广依然存在较多困难：
（1）缺乏灵活性
传统的AI应用通常是基于预设规则和特定数据集进行操作，训练出来的模型仅仅可以处理特定的业务场景，如业务提出需改变业务规则，往往又需要投入大量人力制造数据重新训练模型。
（2）缺乏可复用性
由于数据集和规则的定制化，同一类技术往往也无法快速复制到另一个类似场景中。比如都是使用文本分类技术，信用卡业务应用文本分类技术实现客户留言的快速分类和分发场景的模型就无法直接应用在零售条线。需要业务们重新针对零售业务的客户留言打标后重新训练模型才可以使用，这无形中增加了技术应用成本。
（3）缺乏传播能力
由于传统AI技术的定制化、非可视化、弱交互性等特性，导致AI技术在银行业缺乏传播能力。懂业务的人不了解技术，了解技术的人却不了解业务，天然的知识壁垒，使得如何更好地扩展AI应用场景是银行业普遍存在的难题。
三、后ChatGPT时代商业银行AI应用趋势
（一）什么是ChatGPT？
经业界研究，语言模型的表现往往与其模型大小呈直接关系，即模型越大，效果往往更加优异。而ChatGPT则是由OpenAI开发的一种基于Transformer的大语言模型（LLM），其参数量虽未公开，但业界普遍都认为在1750亿以上，是现阶段最大的语言模型之一。它采用了自监督学习方法，结合强化学习技术，通过大规模的语料库训练，可以生成接近人类的自然语言文本。经测试，ChatGPT在传统NLP任务、自由对话场景表现优异。该产品发布以来，仅仅2个月就突破了1亿用户，打破了全球最快破亿产品记录且遥遥领先，其现象级别的传播速度正是用户对该产品（模型）效果认可的表现。
图1 ChatGPT训练图
（二）ChatGPT较传统模型的优势
上一章节提到传统AI模型应用的缺点，相比之下，ChatGPT作为一种新兴的生成式大语言模型，完全克服了这些缺点，并具备以下优势：
（1）更高的灵活性
ChatGPT可以理解并产生自然语言，而不仅仅是基于事先设定的规则进行操作，这使得其可以更好地理解和处理用户的语言和需求。同时由于该模型的交互范式（对话形式）非常贴近人类，也使得用户可以更好地理解和接受这项新技术。
（2）更广泛的数据应用
由于ChatGPT是基于大量的语言数据进行训练的，因此它可以适用于各种不同的金融领域和应用场景，而不仅仅是基于特定的数据集进行操作，天然具备可复制性。
（三）ChatGPT在商业银行应用方向分析
关注到ChatGPT的优异表现，各行各业都在积极拥抱和加大投入到该项技术，如百度的文心一言、360公司的新搜索、阿里的通意千言等大模型都如雨后春笋般涌现。而金融行业也对此抱有极大的热情，今年3月份，农行已经推出了行业内首个类ChatGPT模型ChatABC，而其他商业银行也在研发或关注类似技术。
普遍而言，业界人士认为此类通用大语言模型技术在商业银行的应用场景主要体现在以下几个方面：
（1）知识库：
金融银行业都有大量的行业知识和各种管理和技术文档，如法律规章、内部管理办法、制度规范，以及各类业务文档及技术文档。由于缺乏集中管理的知识库系统，不同机构、条线、层级的员工想查阅某个文档，往往需要经过大量沟通和查找。通过集中对接内部文档和数据，让大语言模型可以学习到这些公司内部知识，从而形成公司内部的大型知识库。结合大语言模型的信息综合和分析总结能力，建立其这类知识库和智能问答的范式，将极大降低员工沟通获取信息的成本。
（2）数字秘书：
人在职场，不管职位高低，做什么岗位，少不了要编写各类总结、周报月报。另外，银行从业人员还需要写各类专业的报告或方案，案头工作负担不轻。通过使用大预言模型强大的语言运用和表达能力，往往能够对输入文稿阅读理解后，完成内容扩写、行文风格、文字润色、重点摘要等不同文案任务，并且整体效果不错。把大语言模型当作秘书，这样就能大大降低从业人员在文字编写方面的投入。
（3）营销助手
面对越来越激烈的银行同业竞争，银行从业人员需要更好的客户管理和营销方法来实现营销业绩目标，不管是零售、信用卡还是对公条线，都需要频繁地发起营销活动，进行客户拉新、促活和挽回流失。在策划营销活动时，也需要花费大量精力进行文案编写，创作文字、收集图片、绘制海报等等。借助大语言模型的创作能力，可以用其清晰精炼的语言能力向目标营销客户传达信息，还可以帮你编写商业计划书、市场调研报告、营销策略、商业简报、销售信件等。
（4）客户辅助服务：
考虑到ChatGPT仍然存在生产不可控的问题，业界普遍认为ChatGPT无法直接对客，但其可以作为一个工具来辅助人工客服。如通过实时ASR+ChatGPT结合的技术，可以让大语言模型学习金牌客服的说话方式，从而针对客户提出的每一个问题，都可以给出可行的回答，供人工客服参考。
（5）风险管理：
大语言模型技术可以帮助商业银行识别和预测风险，提高风控能力。商业银行可以使用大语言模型分析海量的数据，识别异常交易、信用风险等，从而降低风险损失。通过整合多源数据，让大语言模型学习多类型、多模态的海量数据，借助其海量级别的参数数量形成的能力，让其扮演数据分析专家，从而改变现有人工分析的范式，提高风控场景的适用范围和分析精准率。
四、大语言模型应用面临的问题及解决思路
尽管ChatGPT这类大语言模型存在众多优势，但由于其消耗资源过大，要想在银行内应用还是需要解决诸多问题。
（1）ChatGPT答复可靠性问题
ChatGPT虽然已超越旧有NLP模型鹦鹉学舌的能力，具备综合分析的语言能力和些许的逻辑推理能力，但大多数的大语言模型在处理特定有准确性要求的任务时能力有限，因为模型并不是真正地理解语言的含义，不具备完整的事理判断和价值伦理能力，有时候输出的回复会包含错误的内容。在银行的专业领域，如智能客服与客户的对话话术、信贷领域智能问答、资产投资顾问等场景，不准确的输出很容易引起客户投诉或资产损失。为了确保模型具备很强的准确性和可靠性，需要针对大语言模型重新训练“能力子模型”，或者借助微调的方式进行提升。
（2）显存资源分配问题
现在大语言模型往往达到百亿/千亿级参数规模，其模型容量非常大，对GPU内存和算力都有很高要求。对百亿左右的模型，单部署推理往往就需要约100G内存的GPU资源。如需要微调训练，则需要数百G以上的显存和算力消耗，这种级别的模型微调往往不是几张A100显卡就可以解决的。OpenAI在训练GPT模型时就投入1万张GPU显卡和超过28.5万个处理器内核。即使是训练百亿级的大语言模型，也需要数十张GPU卡，搭建成vGPU资源池,硬件费用达千万人民币以上。如何建设一套GPU资源池，并有完善计算资源优化和调度系统是中小型商业银行训练及应用大语言模型不得不面对的问题。
（2）完整的开发部署工具
在银行的AI应用中，不可避免的要考虑如何将模型部署到生产环境，如何确保模型部署后的可用性和可靠性，以及如何监控和维护模型的性能等。这些挑战需要企业拥有一套完整的AI应用开发流程，并配备相应的工具和资源。
这些问题，往往出现在模型训练完成后，将模型部署到生产环境的过程。模型部署的工具链相对较长，而且上下游工具的兼容性问题层出不穷，企业大量使用开源工具又容易引发安全问题等。这些零散的问题极大的制约了目前企业开发AI应用的生产力。以往模型较小，这类返工还不至于限制模型部署上限，而ChatGPT这类大语言模型，即使参数量没有那么大，一次训练也需要好几天。
（3）解决思路
解决上述问题，往往需要集成一套完整的平台，既有底层vGPU资源池实现算力资源自由调配，也需要有一套通用的模型开发工具支持主流深度学习、迁移学习算法编程。最后叠加一个服务层为平台使用者提供即插即用的成熟算法服务。如英伟达近期推出的NVIDIA AI Enterprise 3.1产品，就包括4个层级，可满足银行业对大语言模型的使用、训练、发布需求（见下图）
图2 NVAIE3.1架构图
从图里我们可以看到平台在4个层级的关键特性：
（1）囊括了上层工作流、框架和预训练模型层：在应用场景的level上，定义清晰的输入输出，并预置预训练模型，快速完成典型应用场景的AI应用开发。
（2）支持模型开发和部署：应用开发的工具闭环，完成机器学习模型从开发到部署的完整生命周期，包括低代码迁移学习工具TAO、主流深度学习框架TF/Pytorch、推理加速TensorRT框架、推理服务引擎等。
（3）云原生的架构支持混合云部署：GPU、DPU在k8s内的集成，MLOps工具等。
（4）大量的基础设施优化：包括GPU虚拟化、基于RDMA的存储访问加速、底层CUDA优化等。
商业银行的大语言模型开发应用道路，少不了这类一体式平台的加持。
五、结论
本文通过对ChatGPT技术介绍，探讨了商业银行现阶段AI技术应用的问题及后续可能的趋势变革。通过分析，可以发现：ChatGPT技术在商业银行中的应用潜力巨大，可以帮助企业搭建内部知识库、创新风控营销、提高客户服务质量。同时银行要想利用好大语言模型，也需要解决GPU资源池建设以及一站式开发部署平台的问题。
总之，商业银行应该积极探索和应用类ChatGPT技术，以适应人工智能趋势变革的需求，提高企业核心竞争力和应对未来挑战的能力。
