本文来自微信公众号“云数智观察”,作者/涛哥。
前不久,OpenAI宣布,安卓版ChatGPT已正式上线。在连续几个月ChatGPT的网站与移动客户端的全球流量(PV)环比持续下降的情况下,安卓版ChatGPT的推出能否让OpenAI再度引爆市场?
ChatGPT只是露出海平面的冰山一角,实际上由生成式AI、大模型等激发的新一轮AI应用热潮一直在持续升温,且影响极其深远。从2022年底ChatGPT的爆火开始,人们对大模型本身的关注度不断高涨,国内形形色色的大模型也不断涌现。如今半年多过去了,人们对于大模型已经见怪不怪,反而对大模型如何与行业场景相结合并加速落地倾注了极大的热情。
中国科学技术信息研究所发布的《中国人工智能大模型地图研究报告》显示,截至2023年5月28日,国内10亿级参数规模以上的基础大模型至少已有79个。所谓的“百模大战”已经箭在弦上。迎接数智化时代的到来,通用模型与垂类模型会相互倾轧还是各领风骚?算力、数据与基础软件三大要素的同频共振,将是决定大模型落地的关键?回答这些问题,从AI企业到行业用户,将刷新大模型世界观。
“垄断派”与“扩散派”之间的博弈
大模型真的“大”到高不可攀吗?实际上,业界关于大模型的研究早已有之,只不过ChatGPT是最先产品化并实现商业落地的。回顾历史,在拥有绝对技术代差的情况下,Google搜索引擎确实具有一枝独秀的资本。另一个例子,曾经名噪一时的Netscape浏览器,在推出后差不多一年半的时间内几乎垄断了整个市场,但最终还是不敌IE浏览器,黯然退出了历史舞台。由此可见,如果在技术上没有绝对的代差,那么由产品飞轮带来的红利能够维持多久,需要打上一个大大的问号。说回到ChatGPT,OpenAI利用产品飞轮拉开的差距,或许还不足以成就其市场垄断地位。换句话说,在没有绝对技术代差的情况下,仅依靠产品飞轮带来的暂时领先,是有其脆弱性的。国内大模型厂商的迅速崛起与产品上的持续迭代也证明了这一点,国内外在大模型研发上的差距正逐渐缩小。
大模型市场上渐渐形成了两大阵营——一方是以OpenAI为代表的“垄断派”,它们拥有核心技术,以自有大模型为杀手锏;另一方可以称作“技术扩散派”,包括芯片厂商、云算力厂商和数据基础软件厂商等,它们是AI生态中的一份子,致力于为大模型的落地、AI应用的普及提供必要的支撑。
大模型的出现是AI技术上的一次突破,是众多技术中的一个里程碑。以此为契机,每个企业都可以拥有或建立属于自己的大模型,从而更好地达成自己的商业目标。九章云极DataCanvas董事长方磊指出,相比曾经的搜索引擎市场的博弈,大模型的垄断派和技术扩散派之间的博弈很可能是一个更加长期、复杂、激烈的过程,在此过程中,给每个企业和组织带来的影响也会更加深远和深刻。有足够技术能力的企业可以开发自己的大模型,而不具备单打独斗能力的,则可以借助开源社区的力量达成目标。从长远来看,大模型终究会成为业务创新的刚需,但是获取的途径可以是多样化的,同样用户的选择也是多元化的。
ChatGPT、大模型积极的意义在于,它让我们真实感受到,原来一些不敢想、不敢做的事情,现在已经有技术可以胜任。特别值得一提的是,大模型对算力、云和基础软件带来了颠覆性的影响。在云计算的上半场,主力是移动互联网,支持的主要是带宽密集型应用,比如网站、APP等,其最突出的需求是弹性扩容能力。在这个阶段,公有云是重带宽而轻算力的。但是进入云计算的下半场,随着AI浪潮的又一次兴起,整个市场的驱动力变成了算力,人们追求的是更高的效率和更低的成本。比如,完成一次大模型的训练是400万元还是500万元,这才是人们关注的焦点。“云计算迈入‘深水区’,算力和PaaS的销售比例将越来越高。”方磊表示,“‘算力即是国力’。在‘东数西算’刚提出来时,有人可能会质疑,真的需要这么多的算力吗?但是在进入以AI为驱动的算力密集型应用时代,人们不禁会感慨,‘东数西算’这一释放算力需求的举措真的是高瞻远瞩。由AI驱动的中国算力建设会掀起一次真正的‘狂飙’。”
对于大模型的落地而言,基础软件是重要的前提。这也是为什么越来越多的软件厂商在大数据平台、向量数据库、湖仓一体等方面加大投入力度的重要原因。以前,基础软件存在较大的性能与成本上的差异化。因此,软件、模型与硬件的统一优化空间巨大。“强大而灵活的基础软件、开放弹性的白盒模型,再加上精通业务的专业人才,将加速实现大模型落地‘最后一公里’的跨越。”方磊表示,“为此,我们重磅推出了AIFS(AI Foundation Software)人工智能基础软件&DataPilot数据领航员产品体系,为AI应用的落地夯实基础设施平台。”
通用模型、垂类模型相辅相成
2023年3月,彭博社发布了专为金融领域打造的大型语言模型(LLM)BloombergGPT。它基于彭博社的金融数据源,以开源的GPT-3框架为基础,构建了一个3630亿个标签的数据集,能够更好地处理金融领域的数据和任务。通用大模型与面向行业和企业的垂类大模型,谁能在商业市场上最先叫响?
“有券商曾经向我们咨询,能否一起开发一个类似BloombergGPT的证券行业大模型?”有一段时间,方磊一直被客户类似的询问所包围。从需求方来看,确实有一些大型央企以及金融行业头部企业对大模型非常感兴趣。一方面,出于业务创新的考虑;另一方面,也是因为“数据边界”问题,由于与业务密切相关的私域数据不能“走出”公司,因而无法直接采用通用大模型,所以希望构建属于自己的垂类大模型。
从供给方来看,比如云算力厂商,就非常希望与九章云极DataCanvas这样的基础软件厂商合作,推出打包的整体解决方案,让大模型的训练更具效率且成本更优。而这也正好契合了九章云极DataCanvas自身的定位,即“云中云”,为云算力厂商带来基础软件方面的增值,便于行业用户训练自己的垂类模型。
Databricks于2023年4月12日发布了Dolly 2.0。据称这是业内第一个开源的、遵循指令的LLM,用户可在透明且免费提供的数据集上进行微调,从而构建自己的商业应用程序。这也给了同类AI基础软件厂商很大的启示和信心,通过构建和优化AI基础设施、数据平台和提供参考大模型,就能让行业客户更简单、快捷地打造属于自己的垂类大模型。
在大模型狂飙了半年多以后,人们对于通用大模型与垂类大模型的构建、部署和应用有了更深刻的认知,慢慢形成了一种共识:通用大模型会渐渐收敛,就像公有云那样大浪淘沙,最终市场上只剩下最强的几个;而市场上更多的则是面向行业和企业的垂类大模型。从未来发展趋势看,在开源的以及通用可参考的大模型之上,融入更多行业知识和企业经验的垂类大模型将层出不穷。行业龙头企业研发大模型,而中小企业在其上直接开发应用,或许将成为一种定式。
一种更切合实际的作法是像九章云极DataCanvas那样,“大小均涉及”。作为一款行业领先的人工智能应用构建基础设施平台,AIFS覆盖了大模型的训练、精调、压缩、部署、推理和监控,以及小模型的全生命周期过程,为数据科学家、应用程序开发人员和业务专家提供了一套工具,使不同角色的人员能够相互协作,轻松处理数据并使用这些数据来开发、训练和部署任何规模的模型。一句话,AIFS旨在为用户自主构建全生命周期的“大+小”模型提供一站式支持。方磊表示:“我们致力于打造人工智能基础设施,既要为企业构建个性化、自主的大模型赋能,又可以将大模型与以往积淀的小模型相融合,应用于业务。”
大模型确实威力巨大,但它是否可以放之四海皆准,解决一切问题呢?从目前来看,一些巨大的场景、尖端的应用,还是要采用专用系统,而碎片化的场景或者解决一些长尾的to C方面的问题,则更适合采用通用大模型。说到底,专与精是两类不同的需求。一些行业的细分需求,寄希望于通过对通用大模型进行微调就能解决问题,实际上并不可行。一方面,通用大模型并不一定具备特定行业所需的能力;另一方面,即使你想对大模型进行微调,可能也会因为大模型本身过于“沉重”,而力不从心。从这个角度说,垂类大模型是有其存在和发展的必要性。
AI普惠化 任重道远
众所周知,微软已经在Azure、Microsoft 365以及多款开发者工具中融入了人工智能功能。近日,微软首席财务官Amy Hood在一次分析师电话会议上表示,公司未来还将进一步增加数据中心建设成本,以便更好地支撑人工智能服务。不仅是微软,也不仅仅是美国华尔街,而是全世界都在热切期待,生成式AI能够为企业带来真正的收益和增值。
今天,越来越多类ChatGPT的大模型正在不断推出或在孕育之中,展现出巨大的技术和商业潜力,但欠缺的是足够丰富的应用场景,以及开放的、安全可靠、高效的人工智能基础设施。“现阶段,大模型的应用还是由创新驱动的,并非完全由业务驱动。”方磊表示,“大模型的普惠化是当务之急。”
国内外主流的云厂商不仅推出了自有的大模型,更为大模型的落地提供了完善的支撑,既有产品和服务层面的,也有生态、渠道方面的。比如,亚马逊云科技在近日举行的纽约峰会上宣布,推出7项生成式AI创新,包括Amazon Bedrock新增基础模型供应商Cohere和全新基础模型,Amazon EC2 P5实例正式可用,Amazon OpenSearch Serverless支持全新向量引擎,编程助手Amazon CodeWhisperer与Amazon Glue实现集成等。
IDC发布的《IDC中国AI公有云服务市场份额,2022》报告显示:2022年中国AI公有云服务市场呈现出80.6%的正增长,整体市场规模达79.7亿元。生成式AI、大模型等新的能力在公有云上将实现更快的更新迭代。
“大模型时代需要完整基础设施升级,而不是依靠单个大模型解决所有问题;大模型的落地将解决更困难的问题,引起更深远的影响,而它并不比小模型更容易。”方磊如是说。
大模型带来的颠覆性并不只体现在大模型本身,而是将引发算力、数据、基础软件的一次最深刻的变革。未来,不管大模型如何演进迭代,高性能的基础软件与数据架构都是不可或缺的“底座”,在AI惠普化的进程中发挥基础与核心的作用。包括九章云极DataCanvas在内的众多致力于AI普惠化的厂商,将软件工具和解决方案作为赋能广大行业用户的抓手,持续融入前沿AI创新技术,助力其在大模型时代加速实现自主的数智化升级和AI规模化应用。
毋庸置疑,大模型应用终将走向普惠化。但在获得技术红利的过程中,人们也不得不在安全、监管、合规等方面投入更多精力。负责任地使用AI,将规范、引导大模型又快又好地落地。