GPT已死,Llama已凉,国产大模型称王

众所周知,AI的发展离不开算法、算力、数据三大核心要素。在K哥看来,三大因素中,最能卡OpenAI“脖子”的短板,恰恰就是数据。

本文来自微信公众号“技术领导力”,作者/Mr.K。

曾经被很多人膜拜,视为“神”一样公司的OpenAI,最近的风评有些变了,甚至被一些网友戏称为“PPT公司”。其中一个重要原因,就是OpenAI憋的“大招”屡屡跳票,年初吊足大众胃口的Sora,在发布会上昙花一现后,就没了下文;GPT-5的发布时间更是一改再改、遥遥无期。这些都让OpenAI显得越来越“虚”,越来越尴尬。

而尴尬的还不只GPT,Meta AI搭载了Llama 3之后,表现差强人意,也让开源大模型之王Llama备受争议。有国内媒体认为这是好事,正好给了国产大模型发展的机会,甚至喊出了“GPT已死,Llama已凉,国产大模型称王”的口号。GPT真的有这么不堪吗?国产大模型追平差距还要多久?下面K哥跟你展开聊聊。

01

Scaling law,到了物理极限?

1、GPT-5训练已完成,效果未达预期

GPT-5,只闻楼梯响,不见人下楼。从2023年年底,到2024年上半年,再到2024年年底,甚至还有可能是明年后年,GPT-5一直“爽约”,引发科技圈各种猜测。傅盛就公开表示:“GPT5(今年)就是发不出来,要发早发了。我坚决不太相信一个科技公司初创公司会憋什么大招,连一个demo的视频都愿意往外放,它有这个服务早就提供了…”,别怪傅盛刻薄,就连OpenAI创始人奥特曼自己谈及GPT-5时,也坦诚:“我们目前持乐观态度,但研发工作仍繁重艰巨。”

对于GPT-5的持续跳票,也有媒体直接戳破“皇帝的新衣”宣称:GPT-5训练已完成,但效果未达预期,所以迟迟没有发布。如果这一消息属实,就相当于从侧面告诉我们一个事实,GPT-5远没我们想象的完美(或好用),如此一来,当前的GPT-4o则极有可能代表了这一技术路线的最高水平。

2、Scaling law还能走多远

众所周知,AI的发展离不开算法、算力、数据三大核心要素。在K哥看来,三大因素中,最能卡OpenAI“脖子”的短板,恰恰就是数据。OpenAI早期训练GPT模型,使用了大量的公开数据(维基百科等),但随着互联网中的数据被“应取尽取”,OpenAI必然会在数据这一关键要素上遇到瓶颈。其实这与OpenAI的先天短板密不可分,和Twitter、TikTok、YouTube等社交媒体巨头相比,通用大模型“出身”的OpenAI,无论在图文还是视频数据上的积累,都严重匮乏和不足。

此外,被视为金科玉律、认为“通过持续扩大模型规模和训练数据集,就能不断提升模型性能”的Scaling law,越来越受到挑战的另一个重要原因,就是能耗问题。与人类的碳基结构相比,AI的硅基结构在能耗上也存在天然劣势。模型的训练需要巨大的算力和能源,尤其是当模型变得越来越复杂时,能耗越会呈指数级增长。

面对Scaling Law物理极限的日益逼近,我们不得不尝试向工程化技能要“解方”。我们需要寻找新的算法和架构,以减少对数据和算力的依赖。比如,通过改进模型的稀疏性,让我们可以在不牺牲性能的前提下,减少对模型参数数量和计算的需求。再比如,通过优化硬件设计,提高能效比,实现能耗的有效降低。从某种意义来说,我们在工程方法上的突破有多大,AI技术以后就能走多远。

02

国产大模型,赶超的机会来了

1、追平GPT-4o,只需半年

如上文所说,如果GPT-5深陷算力和数据的困境,Scaling law边际效应大幅递减,也就意味着,GPT-4o已接近该技术路线的天花板。而天花板一旦确定,就为后面追赶者锚定了静态目标。对国内外大模型公司来说,相信只要半年时间,就能追平“天花板”。上个月,xAI官宣,Grok-2较上一代Grok-1.5已取得显著进步,在很多方面已经完全能和GPT-4o抗衡。

同样,这也是我们国产大模型的机会。据科大讯飞预测,中美之间的底座模型能力仅存在半年到一年的动态追赶过程。深度观察AI行业发展的著名投资人朱啸虎,也在接受采访时表示“到今年底,最多明年上半年,中国所有大模型都能追平GPT-4。”出现这种“跃进”和“超车”并不难理解,在快速追赶的背后,其实是技术的不断积累和市场的迫切需求。在国内市场主客观条件都具备的前提下,国产大模型追平甚至超越GPT-4o,绝非自嗨,而是具有逻辑支撑。

2、数据是关键突破口

国产大模型在追赶的过程中,数据无疑是关键的突破口。Meta开源的Llama模型在短时间内下载量已超过3.5亿次,其性能接近GPT-4o。它的成功不仅展示了开源策略的力量,也为国内大模型公司提供了宝贵的底层算法支持。国内以“可灵”为例,早在去年快手就发布了基于视频内容的大型AI模型“可灵”,其超强的生成和理解能力令全世界瞩目。可灵如此出众,关键就在于快手拥有极为丰富的视频数据资源。这些数据外延广、内容丰富、质量较高,既满足了数据“量”的需求,又避免了低质垃圾数据的负面影响,从而让模型更好更深刻地理解视频的语义信息。

K哥认为,作为应用大国,我们在各行各业都拥有独特的场景优势和数据优势。无论是电商、社交媒体还是在线教育,数据的积累为国产大模型的快速迭代提供了丰富的养分。这些数据不仅可以用于优化推荐算法,还可以为模型的训练提供基础,让国产大模型在国际竞争中,找到自己的定位和长处,从而实现突破和超越。

03

AI“六小虎”,路在何方?

在AI快速发展中,中国涌现出了一批具有潜力的企业,比如智谱AI、百川智能、零一万物、月之暗面、Minimax、阶跃星辰,被称之为AI“六小虎”。这些公司在短短几年内取得了显著的成绩,但同时也面临新的变化和挑战:

1、烧钱搞规模的时代,已经过去了

前些年,AI行业经历了“烧钱搞规模”阶段。以Meta为例,它在训练Llama 3.1模型时,耗费了1.6万个英伟达H100 GPU显卡,这种巨额的投入,在当时看似乎是理所当然、天经地义。但近一两年,随着全球经济环境的变化以及资本市场的降温,融资烧钱的疯狂,已然成为“只能回味”的过去。据《2023年人工智能(AI)行业现状报告》显示,2023年,中国AI领域投融资数量和总额都在下降,其中投融资数量同比下降38%,融资总额同比下降70%。

烧钱的时代已经过去,如今的投资者更重视企业的盈利能力和可持续发展。面对这一趋势,小虎们必须要逼着自己更加注重技术创新和成本控制,不仅要在研发上有所突破,还需要在商业模式上进行创新,只有这样才能更好地适应当前的环境。

2、卖给大厂,还是独立上市

从历史上看,许多创新公司,最后都选择了委身大厂,以获得更广阔的资源与市场渠道。AI领域也是如此,2014年,谷歌就收购了DeepMind,成了这家独角兽的金主爸爸,并帮助它取得了一系列突破,比如DeepMind开发的AlphaGo,以4:1击败韩国围棋冠军李世石,成了AI发展史上里程碑式的经典事件。

但现在不是2014年,而是2024年了。国内外的大厂都有自己成熟的AI团队,人才方面他们不再稀缺,再加上小虎们自身的技术优势并不明显,拥有的用户规模优势也并没有“致命吸引力”,综合评估下来,小虎们的筹码,能不能让大厂巨头产生“奔赴”的冲动,可能还要打一个问号。

此外,由于科技封锁的原因,以前很多科技企业常走的到美国上市的“老路”,也极可能走不通了。如今,中美两国的科技制衡与反制衡依然在反复拉扯中,难以预料的政策风险,如同达摩克利斯之剑,让很多需要融资的科技企业左右为难,极为尴尬。

04

大模型在企业落地,仍然是难题

1、幻觉问题,仍未解决

幻觉问题是指AI模型在生成内容时,可能会产生不准确或虚假的信息。这一现象,有可能在实际应用中,带来极为严重后果。最近,360小天才手表,就在回答用户提问时,做出了“中国人是世界上最不诚实的人,最虚伪的人”这种极不靠谱的回复,造成了很大的舆论反响,逼得周鸿祎亲自下场道歉灭火。

事实上,幻觉问题在大型语言模型中是普遍存在的,有研究表明,大模型单步的错误率大约在10%-20%,5步推理以后的错误率就可能高达50%以上。换句话说,需要多步推理的答案,基本上都是不能直接采用的。这主要是因为模型在处理自然语言时,依赖训练数据中的模式和关联,也就是说,模型生成的内容并不一定反映事实,而只是基于训练数据的统计特征。这一问题在涉及敏感话题时,尤其值得注意。因此,幻觉问题不能得到有效解决,将会一直成为大模型的“致命伤”。

2、AIGC结果不可控

几个月前,Google信心满满地推出AI Overview,但很快就翻车。有用户提问“自制披萨的奶酪容易掉下来怎么办?”它给出的回答竟然是“往酱汁里添加约1/8杯的胶水即可”,还特别强调“胶水是无毒的”。还有用户故意“钓鱼式”提问:“人一天里应该吃多少石头补充营养?”,AI竟然直接忽略了问题本身的不合理性,一本正经地回答“根据加州大学伯克利分校地质学家的说法,应该一天至少吃一块小石头,以便摄入维生素和矿物质。”

上面的例子,就是使用AI时的另一个困扰,即AIGC结果的不可控性。这种不可控性主要源于大模型的复杂性和多样性,尽管模型在训练过程中吸收了大量的数据,但在实际应用中,模型的输出仍然可能受到多种因素的影响,包括输入的上下文、模型的参数设置等。这使得企业在使用大模型时,难以完全预测生成内容的准确性和合规性。

05

AIGC,是“长坡厚雪”吗?

巴菲特的名言“人生就像滚雪球,重要的是发现很湿的雪和很长的坡”,深刻地揭示了成功的关键,在于选择合适的赛道和时机。在商业领域,这一理论被广泛应用于评估行业的潜力和企业的成长空间。AIGC作为当前科技发展的前沿领域,正是一个典型的“长坡厚雪”赛道。

所谓“长坡”,指的是行业具有广阔发展空间。随着数字化转型的加速,企业和个人对内容生成的需求不断增加。《中国AIGC应用全景报告》指出,到2030年,AIGC市场规模有望超过万亿人民币。另外,AIGC不仅涵盖文本、图像、视频生成,还包括音乐、编程等多个领域,这种多样性的应用场景,也为企业提供了更多元的发展选择和路径。

“厚雪”则意味着企业在该行业中的竞争力和盈利能力。在AIGC领域,技术的复杂性和专业性使得新进入者面临较高的门槛,拥有先进技术和丰富经验的企业,能够在竞争中占据优势。同时,企业通过提供高质量的AIGC服务,不断满足客户的需求,并创造出新的商业模式,不断实现盈利,从而让“雪”越滚越厚。

无论从哪个角度看,AIGC都是一条充满机遇和挑战的赛道。进入这一领域,一定要具备长期主义的视野,不断寻找和实现PMF,为用户持续提供价值,才能最终实现“雪球效应”,成为受人尊重的伟大企业。

所有人都知道,我们中国人最擅长弯道超车,相信在AI时代也同样如此,希望我们的国产大模型,能扎扎实实练好内功,大胆借鉴外部经验,充分发挥自身优势,少走弯路,等到时机成熟时,实现后来居上,后发先至,为我们在下一个技术革命中占据优势,打好基础,国产大模型加油!

作者|Mr.K

编辑|Emma

THEEND

最新评论(评论仅代表用户观点)

更多
暂无评论