百度智能云,迎接 AI 落地的一年

Shirley
从算力服务、到模型服务、再到应用开发,百度智能云希望利用自身技术及经验推动大模型在千行百业落地。

本文来自极客公园(www.geekpark.net),作者 | Shirley。

5eddf3e64ff4d06217a7e08f73350d16.jpg

当教育公司好未来想要训练自己的大模型时,它遇到了算力的难题。其算法工程师往往有多个项目、多个训练的模型、以及各种版本的迭代,任务繁多。在这个背景下,它们希望通过一个专业且稳定的算力训练平台,为每一个算法工程师分配合适的算力资源,让整个训练体系高效运转起来、将手上的算力利用到最优。

在大模型落地之路上,很多企业都面临像好未来一样的难题。当它们想要自己去训模型的时候,可能会遇到算力难以利用好的问题;当他们想要调用、调优模型时,可能会面临模型选择不够、工具链不够、数据不够等问题。

这正是国内云厂商想要帮他们解决的问题。在大模型浪潮下,过去以IaaS(基础设施即服务)和PaaS(平台即服务)为主的基础云服务,正让位于以AI为主的MaaS(模型即服务)的云服务。云厂商希望能解决企业模型落地的这波需求,不仅仅是为了收模型和工具调度费,底层还是希望拉动云收入。

在大模型时代,围绕企业的不同落地需求,百度智能云推出了全栈的产品服务体系。

第一层是百舸计算平台,它基于百度对文心大模型训练的经验沉淀,主要为那些想自训模型的客户提供算力服务。好未来最终就选择了基于百舸训练自己的大模型。第二层是模型平台千帆,主要面向想直接调用模型、深入部署模型、以及基于模型进行上层应用开发的客户。早在去年3月,百度C端应用「文心一言」推出当月,百度智能云就及时推出了千帆平台。

这种积极性让百度智能云在AI大模型落地的进程中走在前列。据IDC发布的《2023中国大模型平台市场份额》,中国大模型平台及相关应用市场规模达17.65亿元,百度智能云处于第一。而据自媒体"智能超参数"介绍,在2024年1-8月份的大模型中标数量盘点中,百度在中标项目数、行业覆盖数以及央国企中标项目数上,排名第一。

在9月25日百度智能云举办的云智大会上,百度集团执行副总裁、百度智能云事业群总裁沈抖介绍,目前大模型已经在企业端被真正用起来了。目前在千帆大模型平台上,文心大模型日均调用量超过7亿次,用户累计精调了3万个大模型,开发出了70多万个企业级应用。

在这样的背景下,百度智能云分别针对算力、模型、AI应用,升级了百舸AI异构计算平台4.0、千帆大模型平台3.0两大AI基础设施,并升级代码助手、智能客服、数字人三大AI原生应用产品。沈抖表示,大模型以及配套的算力管理平台、模型和应用开发平台,正在迅速成为新一基础设施。这是大模型走向千行百业的重要基础。

以下是极客公园与百度智能云、以及百舸和千帆两大产品体系负责人交流后,看到的这两款重要产品的核心变化。从中,可以一窥中国企业落地大模型的核心难点、关键趋势。这对于接下来国内大模型的落地进程或许是至关重要的。

9e48e5ab37086d33939a202ecc85f618.png

百度集团执行副总裁、百度智能云事业群总裁沈抖|图片来源:百度智能云

对想训模型的客户:从「多快好省」用上算力,走向万卡集群时代

尽管直接调用模型是主流,但仍然有很多企业有自己训练模型的需求。据极客公园了解,这类企业往往集中在大模型初创企业、传统互联网企业,以及生命科学、智驾等行业。就企业规模来看,以行业头部客户居多。

它们一般具备较强的技术研发和快速迭代能力,有一定数据积累、数据质量良好。当然,它们也需要采购GPU算力。

但对于这些企业来说,如何能把算力用好,是一个核心难题。百度杰出系统架构师,百度智能云AI计算部负责人王雁鹏对极客公园表示,这些客户在算力上的核心痛点,大概可以总结为「多快稳省」。

1)多:指的是在算力卡脖子的情况下,企业必然要混合多种芯片训练,但芯片混训难度非常大。

2)快:指的是减少集群部署时间,提升模型训练推理效率,实现大模型业务快速落地。

3)稳:指的是技术故障都有可能导致训练任务停摆,进而造成损失,需要保持稳定和有效训练时长。

4)省:指的是算力没有被利用出来,甚至50%的算力都被浪费了,因此提升资源利用率对企业节省成本至关重要。

在王雁鹏看来,很多互联网行业客户的技术能力主要强于上层软件,而对于高性能计算、存储、网络、算法框架等底层基础设施能力上存在欠缺。他们想自己用好算力的难度比较大,这正是百舸平台提供的价值。

百舸延承自百度这十余年的基础设施经验,从最开始自己搭建服务器、到深度学习崛起后开始尝试GPU加速、到后来跟上云计算的巨大底层变革、再到今天GPU云时代超大规模的并行计算和万卡集群的算力利用。百度将过去多年的技术积累、资金与人员的大力投入、以及文心大模型的训练经验,最终沉淀为了百舸计算平台。

b1f524c75f8395b54a10b25e015bf884.png

百舸AI异构计算平台4.0|来源:百度智能云

在上述四大方面,百舸平台取得了领先于行业的产品优势:

1)多:百舸支持在同一智算集群中混合使用不同厂商芯片,兼容昆仑芯、昇腾、海光DCU、英伟达、英特尔等国内外主流AI芯片,多芯混合训练任务的性能损失控制在万卡性能损失5%,是业界最高水平。

王雁鹏介绍,实现多芯混训的核心,包括要在一套框架下面能把所有的芯片都用起来、因此要在抽象层把各个芯片打平;要建立芯片统一的通信库;要通过异构并行切分策略,解决不同芯片之间的互联带宽差异等。

2)快:一方面,百舸4.0能帮客户省去大量复杂和琐碎的配置和调试工作,最快1小时便能创建万卡规模集群,这要比行业通常需要的数天甚至数周快得多;另一方面通过大模型训推任务加速套件AIAK,能针对主流开源大模型在并行策略、显存、算力等层面进行深度优化,为万卡集群下的大模型训推加速。比如单个芯片整体训练效率提升了30%,长文本推理任务可以做到「极速生成」与「秒回」、效率提升了一倍。

王雁鹏介绍,这背后一方面是单卡训练的提升,基于具体场景做算子的加速库。目前,百舸聚焦在大语言模型和自驾模型两大核心场景,同时在算子层面进行加速。

另一方面是并行训练的提升,包括坚持使用RDMA进行大规模集群组网、包括一边计算一边通信、也包括显存的优化等,最终形成了并行训练的提升。

3)稳:大模型训练是一个庞大的单一任务,一个点出错,整个集群就得停下、回滚到上一个记忆点。百舸在万卡任务上可实现有效训练时长占比99.5%,稳定性极强。

这背后在于降低故障次数和减少恢复时间,百舸在故障检测、故障诊断及定位、Checkpoint(检查点)及时写入、可观测能力、故障诊断、快速恢复等多个环节都进行了优化。

4)省:如果说一般客户自己管理算力只能发挥不到一半的资源利用率,那百舸能将资源利用率提升至90%。

一方面是训推一体技术。如果说传统的模型训练和推理通常是在不同的集群中进行,导致训练阶段需要大量的计算资源和数据,而推理阶段对算力的要求则显著更低,造成资源浪费。那么训推一体技术是在不同时间使用GPU资源,让集群能同时支持在线推理服务部署、以及离线训练任务,从而提升资源利用率。

另一方面是弹性资源池技术。百舸是以弹性队列为核心去设计每一个任务的配额和各种分配策略,根据训练任务设计优先级、抢占策略、分配策略,进一步提升资源利用率。

正是看重百舸在稳定、高效提供算力等方面的优势,经过综合评估之后,好未来最终选择了百舸。好未来看来,百舸平台的自适应分配策略,无论是对并行模型、并行训练任务的处理,还是对单任务之间的快速衔接等,都能做到速度非常快、同时保证任务不掉,使得团队快速地完成了九章大模型的研发上线。

这些都还是在万卡集群的维度进行讨论,不过往未来看,国内大模型行业很快将进入十万卡集群的竞争。

沈抖介绍,大模型领域的Scaling Law(缩放定律,指模型性能会随着参数、算力、数据集的规模增加而提高)仍在继续,这意味着大模型训练会很快进入十万卡集群的竞争阶段。不久前,马斯克表示刚建设了10万卡的集群,未来几个月还会扩张到20万卡,这不会是个例,

在他看来十万卡集群训练的挑战很大。一方面是空间,部署10万卡的大规模集群,光是在物理层面就要占据大概10万平方米的空间,相当于14个标准足球场的面积。另一方面是能耗,这些服务器一天就要消耗大约300万千瓦时的电力,相当于北京市东城区一天的居民用电量。

而这种对空间和能源的巨大需求,已远远超过了传统机房部署方式所能承载的范畴。因此不得不考虑跨地域的机房部署,但这又带来了网络层面的巨大挑战。另外10万卡集群的训练中断比例会大大提升,有效训练时长占比会非常低,这也是很大的挑战。

不过在沈抖看来,百舸4.0正是为部署10万卡大规模集群而设计的,而今天的百舸4.0已经具备了成熟的10万卡集群部署和管理能力。「它就是要突破这些新挑战,为整个产业提供持续领先的算力平台,让我们的客户始终走在时代前沿。」他说。

复盘大模型落地这一年:从试水、到中间阶段、再到真正的爆发

对于那些想要基于现有大模型做二次开发(包括再训练、微调、评估和部署)的企业来说,百度智能云千帆平台的初衷就是为它们打造。去年3月,千帆平台提供了大模型调用接口和微调工具链,帮助企业更好地进行大模型落地尝试。

而在百度副总裁谢广军看来,这一年半来,大模型落地趋势经历了三次变化。而针对这三次变化,千帆平台也相应完成了从1.0到3.0的三次版本进化。

千帆1.0推出时,正值大模型爆火,那是企业进行大模型落地的第一个阶段:接触大模型的人都在找卡、囤积算力、尝试训练模型,大模型带火了芯片和算力。那时大模型的需求相对模糊,千帆1.0主要提供给企业大模型调用和微调服务。

从去年下半年开始,大模型落地进入了第二个阶段:很多企业和开发者,都在探索怎么基于基座大模型改造现有业务,在模型调用之上新增了应用开发的需求。在这样的背景下,千帆推出2.0,为企业提供AI原生应用开发工具。不过,这个过程虽然有很多企业在尝试,但真正用到生产中的并不多。

而从今年5月开始,受各家模型厂商的价格战影响、模型降价,加速了企业把大模型用起来,并在业务场景里产生价值。

5779f4b196540f9a3b136333e052ed57.png

自今年上半年以来,大模型的落地发展明显加快|图片来源:百度智能云

据百度智能云观察,自今年上半年以来,大模型的落地发展明显加快。就千帆平台的观察来看,其文心大模型日调用量超7亿次,累计精调模型超3万个,帮助用户开发AI应用应用超过70万个。

据谢广军介绍,大模型的应用已经进入爆发期,很多企业不是在等待类似移动时代的爆款应用,而是已经把大模型用到了自己业务的「研产供销服」的各个环节。

在他看来,这也是过去18个月整个国内大模型产业发展的一个缩影。「我们可以预判,2024年将成为国内大模型产业应用爆发的元年。」他说。

企业的模型应用趋势:更深的模型工具链、更丰富的模型选择、更专业的应用开发工具

为了接住今天快速增长的AI落地需求,千帆大模型平台此次升级了3.0版本,在模型开发层、模型调用层、应用开发层三大方面都有了更新。如果拆解每一层,也能看到当下AI落地的一些需求和趋势。

1.模型开发层:需要大小模型结合、需要更深的工具链、需要补给数据

模型开发层,指的是需要基于现有大模型做二次开发(包括再训练、微调、评估和部署)。

据百度副总裁谢广军介绍,企业在进行模型开发时,一个需求是它们要的不只是大语言模型,也还需要传统的视觉模型、语音模型,甚至是传统意义上的小模型。比如在教育场景里,如果要大模型评判作业,它往往需要一个拍照的过程,通过OCR视觉模型解析题目,再通过大语言模型生成答案。

另外,企业进行模型开发的需求也更深度了。比如过去千帆提供的是低门槛一站式部署平台,但现在涌现了很多专业的用户,他们需要更深度的模型开发,比如白盒化训练、作业建模等方式开发等。

而在数据层面,企业也有了更高的要求。比如用户可能存在数据质量不高、数据不够、很难代表行业垂类场景的情况,那么就需要混入一些行业专有数据。另外,很多模型在训练时是针对具体场景做效果增强,但这可能会出现通用能力遗忘的问题,这时也需要混入通用的语料。

针对这些情况,千帆大模型平台3.0做了全面的更新。目前,它支持大模型和多种传统模型的协同开发,并提供了行业最全面的模型精调工具链,上线了DPO、KTO等模型训练算法和PTQ等模型量化算法。它还预置了独家高质量混合语料,支持企业将应用中产生的宝贵数据反馈给模型、形成数据飞轮,放大模型在特定场景下的优势。

07ea0410dfb988d9ffed645d30f5a937.png

千帆大模型平台3.0模型开发工具链|图片来源:百度智能云

一个案例是,高途教育通过千帆大模型平台的开发工具链训练了作业批改大模型。它可以准确识别印刷体的题干和手写体的学生答案,同时利用千帆「数据飞轮」对这些数据进行清洗和精标,进一步提升模型性能。现在,改大模型的数学判卷准确率已经能达到95%,最终让老师、学生受益,让公司业务增长。

2.模型服务层:持续扩充模型类型、降低模型价格

模型服务层,指的是用户直接调用大模型的需求。

千帆平台的升级思路,一是持续扩充模型的类型。比如在主力模型上,推出了新的模型ERNIE Speed pro、ERNIE Lite pro等,上下文都是支持128K。垂类场景模型上,又推出了包括ERNIE Character、ERNIE Functions、ERNIE Novel,更好满足一些企业在细分场景的需求。

除了文心系列大模型外,千帆还提供了包括近百个国内外大模型等丰富模型选择。除了语言模型,还支持调用语音、视觉等各种传统的模型等等。

dc6c4edca465324f1434114b7d135a81.png

文心大模型家族全景图|来源:百度智能云

在扩大模型类型的同时,另一重点是降低模型调用成本。过去一年,文心旗舰大模型降价幅度超过90%、主力模型全面免费。这带来的效果是,文心一言大模型的日均调用量超过7亿次。

上海巨闲网络科技旗下的产品「考试宝」,通过千帆的大模型调用和提示词工程,实现了试题解析智能化,可以秒级返回解析结果,用户会员转化意愿翻了一倍,且单条试题解析成本降幅达到98%。最终实现了降本增收。

又比如是国内领先的招聘企业猎聘,通过调用文心大模型,对岗位需求和简历内容进行语义理解分析,帮助猎头顾问快速、智能地筛选简历,实现了高效的人岗匹配。现在,猎聘的人岗匹配准确率比业界平均水平高出15个百分点,提升招聘效率50%以上。

3.应用开发:企业级RAG、企业级Agent、AI速搭三大方向

大模型真正在企业用起来,最上层的一步是看应用。它是一种最简单实用的方式,帮助企业用大模型来改造自己的业务。

目前,企业的的应用落地主要是在RAG(检索增强生成)场景。因为RAG能让大模型快速「懂业务」,它相当于把海量的企业数据和行业知识做成「外挂知识库」给大模型。目前,千帆3.0从检索效果、检索性能、存储扩展、调配灵活性四方面对企业级RAG(检索增强生成)进行了升级。

比如,通过与百度云资源打通,它可以支持无限容量的知识库存储和检索;速度上,能做到1.5秒内返回结果;RAG全部关键环节,包括解析、切片、向量化、召回、排序等等,都可调、可配;企业可以灵活配置出最适合自己业务的方案;最后,它提供了企业级的安全性和稳定性。

在2024云智大会现场,演示了澎湃新闻应用企业级RAG的例子。这类权威媒体报道一条新闻时,往往需要引入该新闻的前因后果、背景信息,这是写报道的基础。澎湃新闻通过千帆创建知识库,上传了澎湃新闻成立十年以来所有媒资信息,共计2700万篇文档,超过350亿文字。接下来,设置成100%按知识库内容回答。

这对RAG的切片能力和召回的准确度要求非常高。比如让它盘点中国网球奥运发展史、以及2024年巴黎奥运女单冠军郑钦文的个人发展故事,大模型很快就定位到了知识库里的相关信息,并用结构化的表达方式生成了新闻事件的脉络、提供了文档索引。这体现了大模型强大的意图理解和内容生成能力。

又比如RAG的指令遵循能力。如果删掉知识库中有关郑钦文获得2024年奥运网球冠军相关的信息,再去问大模型,2024年巴黎奥运会女单网球冠军是谁,大模型会拒绝回答这个问题。这是才是正确的做法。过去,由于大模型的「幻觉」问题,企业担心大模型不靠谱,但有了RAG和严谨的指令遵循,这个问题可以得到解决。

另外一个常见的大模型落地方式是Agent(智能体)。Agent在接到一个任务后,会进行自主思考、任务拆解、方案规划、并调用工具,全程自动地完成任务。千帆3.0升级的一个重要内容,就是针对企业级Agent的开发,增加了业务自主编排、人工编排、知识注入、记忆能力以及百度搜索等80多个官方组件支持。

在大会现场,也展示了在电商领域应用的例子。爱库存作为一家私域电商供货平台,数百万店主在爱库存上找到想卖的商品,通过自己的微信群、朋友圈这些渠道分发出去。爱库存正在千帆大模型平台上开发一个叫「爱库存超级助手」的Agent。

过去,如果一个店主发现销量变差了,想调整一下销售计划、看看接下来适合卖什么。他首先要到数据看板上分析原因,如果确认是选品的问题,他会到爱库存「热卖榜」里去找更有增长潜力又适合他客群的品类,然后去做同类产品的比价、选品,最后还要到生成对应的文案和海报。这几步走下来,一般得几个小时。

而现在通过搭建Agent,分钟级就可以完成,效率得到极大提升。目前这个功能正在内测,预计在Q4向爱库存的店主正式开放。

此外,本次大会还发布了企业级智能化低代码应用开发平台「AI速搭」,通过自然语言对话,一句话就可以完成应用创建。

在大会现场,还演示了如何通过对话,在AI速搭平台上开发一个资产管理应用。只需一句话描述对目标系统的需求,包含资产信息、资产入库、资产领用、资产维修、资产报废等功能模块,大模型就可以清晰地理解需求并生成应用。过去,这样一个应用即使用低代码方式开发也需要几天的时间,现在只需几分钟就能完成。

大模型浪潮已经到了第二年,中国企业的落地速度、规模比想象中要更快。这离不开模型厂商以及提供全套落地产品体系的云厂商的努力。随着大模型落地真正拉开大幕,依靠响应速度、投入、决心等,百度智能云试图领跑、争夺GPU时代云计算巨头的生意规模和市场地位。今天或许只是一个开始。

THEEND

最新评论(评论仅代表用户观点)

更多
暂无评论