本文来自微信公众号“腾讯研究院”,作者/王强,腾讯研究院资深专家、前沿科技研究中心主任。
随着人工智能大模型、量子计算、类脑智能、云原生、数字引擎、音视频等技术的深入发展,新技术、新模式和新业态持续涌现。针对上述领域,我们策划了一个科普系列栏目《T-chat前沿热点问答》,以十问十答的形式,用通俗的语言,与大家交流最新、最热的前沿科技话题。也欢迎大家指导,并提出感兴趣的问题一起研究,持续迭代认知,共同进步。
ChatGPT作为现象级热点,近期笔者收到了很多来自各方的咨询,大家对于其技术、影响等内容都非常关心,于是有了写作本文的想法,请各位专家和业界同仁不吝指正。
ChatGPT现在有多火?
2022年11月30日,ChatGPT横空出世,在全球范围内形成了热烈的讨论。根据Similarweb的数据,今年1月,平均每天约有1300万独立访客使用ChatGPT,是去年12月份的两倍多,累计用户超1亿,创下了互联网最快破亿应用的记录,超过了之前TikTok 9个月破亿的速度。
除了广大用户千奇百怪的问题,引发了社交媒体的大量传播,ChatGPT在各领域的秀肌肉,也进一步强化了其知名度。美国宾夕法尼亚大学发现,ChatGPT能够通过该校工商管理硕士MBA课程的期末考试。《自然》杂志1月24日宣布,将人工智能工具列为作者的论文,不能在杂志上发表。《自然》称,作者身份意味着对作品负有责任,而人工智能工具无法承担这样的责任。据传,ChatGPT还成功通过了谷歌的编程面试,拿到了年薪18.3万美元的L3工程师offer。
ChatGPT背后的核心技术?
ChatGPT是生成式AI的一种形式,Gartner将其作为《2022年度重要战略技术趋势》的第一位。Gartner预测,到2025年,生成式AI将占到所有生成数据的10%,但目前这个比例还不足1%。
ChatGPT背后的支撑是人工智能大模型,这个技术点,我们在去年的腾讯研究院《2022十大数字科技前沿应用趋势》报告中做过详细的阐述:当前的人工智能大多是针对特定的场景应用进行训练,生成的模型难以迁移到其他应用,属于“小模型”的范畴。整个过程不仅需要大量的手工调参,还需要给机器喂养海量的标注数据,这拉低了人工智能的研发效率,且成本较高。大模型通常是在无标注的大数据集上,采用自监督学习的方法进行训练。之后,在其他场景的应用中,开发者只需要对模型进行微调,或采用少量数据进行二次训练,就可以满足新应用场景的需要。这意味着,对大模型的改进可以让所有的下游小模型受益,大幅提升人工智能的适用场景和研发效率,因此大模型成为业界重点投入的方向,Open AI、谷歌、脸书、微软,国内的百度、阿里、腾讯、华为和智源研究院等纷纷推出超大模型。特别是OpenAI GPT 3大模型在翻译、问答、内容生成等领域的不俗表现,让业界看到了达成通用人工智能的希望。当前ChatGPT的版本为GPT 3.5,是在GPT3之上的调优,能力进一步增强。
ChatGPT使用的核心技术之一是Transformer。这从其全称上也能看得出来,Chat Generative Pre-trained Transformer。Transformer技术是近几年人工智能技术最大的亮点之一,他是Google于2017年提出的一种采用注意力机制的深度学习模型,可以按输入数据各部分重要性的不同,而分配不同的权重。Transformer的精度和性能上都要优于之前流行的CNN(卷积神经网络)、RNN(循环神经网络)等模型,大幅提升了模型训练的效果,让人工智能得以在更大模型、更多数据、更强算力的基础上进一步增强能力。此外,他还具有很强的跨模态能力,不仅在NLP(自然语言理解)领域表现优异,在语音、图像方面也显示出了优异的性能。
ChatGPT为什么能成功?
ChatGPT是非常成功的一次从技术研发到工程化、再到点燃大众热情的经典案例。
技术创新
Open AI持续的研究中,不断探索引入新的技术路线。这次引入的强化学习方法,很好地提升了模型的效果。在研究中,Open AI在模型训练中,引入了人类专家。专家一方面帮助ChatGPT撰写更符合人类习惯的回答,另一方面,也对生成的结果进行排名,通过这样的奖励机制,实现模型的微调优化。
组织文化
Open AI自成立之初,就致力于打造通用AI的能力,并坚定的持续投入,这是ChatGPT成功的一大关键因素。在这样的愿景下,吸引了一大批高水平的人才,在没有任何商业KPI的情况下心无旁骛地开展研发工作,最终取得了重大的突破。
反馈机制
通过用户的使用,Open AI可以获得用户对于模型优劣和使用体验的反馈,从而形成了模型使用到体验反馈的闭环,从而进一步优化模型。此外,Open AI还组织专门的反馈竞赛,鼓励用户针对回答中的风险危害、新颖的回答建议等方面给予反馈,参赛者有机会赢取500美元的API积分,并可兑换相应奖品。
项目策划
一个影响力出圈的技术,与其项目策划密不可分。ChatGPT的问答和多轮对话形式,很好地激发了大众的热情和创造力,大家基于各自感兴趣的话题自由发挥,或幽默搞笑、或严肃认真,在朋友圈和媒体上屡屡刷屏。包括之前GPT3的推出,他写新闻、作诗、翻译、编代码等能力,也是在社会上产生了热议和讨论。这种很好地与公众互动的项目设计策略,也很值得我们学习。包括之前AlphaGo的围棋大战、Deepmind破解蛋白质折叠结构难题,都是很好的议题任务设置。
ChatGPT是否开源?
尚未开源,目前是以API(应用程序编程接口)调用的方式服务,目前也暂无开源计划。
Open AI不Open,是业界很多人诟病的地方。开源是多年来软件和互联网产业之所以蓬勃发展的核心动力之一。开源的方式可以调动全球开发者的积极性,每个人都可以下载源代码使用,并进行优化和在社区分享。这种用全社会的力量来创新的机制,大幅加速了技术科研攻关、产业应用的进程。
关于ChatGPT为何不开源,业界也有一些专家表示认可,因为人工智能技术至今为止还是一个黑盒,关于其内部的机制尚未可知,如果代码开源,很难避免该技术用于一些不利于社会和人类的方面。此外,自从Open AI放弃了非盈利组织的定位,接受微软等投资后,从商业化的角度考虑,也会采取整体模型闭源,开放应用接口的方式来推广,同时也会开源少部分模型,丰富开发者生态。
ChatGPT免费吗?
未来能赚钱吗?
当前,普通用户使用ChatGPT是免费的。
据《财富》,2022年,OpenAI公司的收入预计不足3000万美元,净亏损5.45亿美元。而随着ChatGPT的火爆,可能进一步增加其亏损,因为用户每一次调用,就会让Open AI付出更多的计算资源和带宽成本。
当然,Open AI也开始了商业化的尝试,2023年2月,OpenAI宣布推出付费试点订阅计划ChatGPT Plus,定价每月20美元。付费版功能包括高峰时段免排队、快速响应以及优先获得新功能和改进等。
Open AI预测,随着ChatGPT成为吸引客户的重要工具,其收入将会快速增长,预计2023年收入2亿美元,2024年收入预计超过10亿美元。
此外,据报道,微软正在洽谈向OpenAI投资约100亿美元,也让其估值达到了290亿美元。而此前,2019年微软曾向OpenAI投资10亿美元,为其提供了大量的资金支持和Azure云算力支持。
ChatGPT会替代搜索引擎吗?
短期来说,不会。长期来看,有可能通过融合,形成新型的搜索引擎。
目前的ChatGPT给出的答案参差不齐,既可以给出很多问题的简要答案,甚至能写一篇符合初级规划师水平的产业规划报告,但ChatGPT也不可避免地经常出现“一本正经的胡说八道”的情况,这使得其置信度还需进一步提升。而且ChatGPT目前的知识库主要还是2021年9月之前的数据,缺乏新数据,这也大大限制了其提供新信息的能力。而同时,Open AI还推出了WebGPT,它可以在网络上查找信息并提供信息来源,这将很大程度上补充ChatGPT的实时信息源,从而进一步优化答案。
在搜索引擎的逻辑下,选择权在用户,搜索引擎一般会给出众多相关结果,根据用户的点击反馈来持续优化搜索结果。近年来,搜索引擎也一直在做结果唯一化的尝试,比如直接在搜索框中提供唯一的答案选择,但目前可提供唯一结果的比较有限,且无法开展多轮对话。
ChatGPT的推出,给搜索引擎厂商带来了很大的震动,也启发了其打造搜索新体验的方向。谷歌两位创始人多次召开讨论会,以应对ChatGPT可能带来的颠覆搜索引擎业务的潜力。谷歌CEO Pichai表示,将在近期推出类似ChatGPT的基于人工智能的大型语言模型,一款由LaMDA提供支持的对话AI服务Bard,让用户以“搜索伴侣”的形式使用。微软已经在Bing搜索引擎中添加了ChatGPT功能,并开展了小流量测试。百度也计划在3月推出新功能,在搜索引擎中加入类似ChatGPT的对话式机器人“文心一言”。
我们也可以看看ChatGPT自己的回答:
还有哪些类似ChatGPT的
模型和应用?
ChatGPT是典型的AIGC大模型,目前国内外在文本、代码、图像、视频、3D等领域都涌现出相应的生成模型。
当前,ChatGPT一个有力的竞争者是Claude,他是Anthropic近期推出的生成式Al模型。Anthropic由几位前OpenAl的研究员在2021年创立,包括OpenAl前研究副总裁Dario Amodei、GPT-3论文一作Tom Brown等人。据《金融时报》报道,2022年底,Google向这家初创公司投资了约3亿美元。相比ChatGPT,Anthropic在其网站上更强调其构建“可靠、可解释和可操纵的人工智能系统”的工作。
腾讯的混元大模型,集CV(计算机视觉)、NLP(自然语言理解)、多模态理解能力于一体,先后在MSR-VTT,MSVD等五大权威数据集榜单中登顶,实现跨模态领域的大满贯。2022年5月,腾讯“混元”AI大模型在CLUE(中文语言理解评测集合)总排行榜、阅读理解、大规模知识图谱三个榜单同时登顶,一举打破三项纪录。12月,混元推出国内首个低成本、可落地的NLP万亿大模型,并再次登顶自然语言理解任务榜单CLUE。混元用千亿模型热启动,最快仅用256卡在一天内即可完成万亿参数大模型HunYuan-NLP 1T的训练,整体训练成本仅为直接冷启动训练万亿模型的1/8。
图片来源:红杉资本《Generative AI:A Creative New World》
ChatGPT等大模型
会让我们实现通用人工智能吗?
自从包含1750亿参数的GPT3从2020年6月推出以来,业界对于达成通用人工智能的探讨又进一步热了起来。正如微软CEO纳德拉近日在接受华尔街日报访谈时表示,GPT的发展不是线性的,而是指数级变化的,所以相比较GPT3,当前的GPT3.5已经展现出更强的能力。业界普遍预测,GPT4将在今年推出,并具备更强大的通用能力。
但同时,我们也需要有清晰的辨识,AI并非万能。即无论AI如何强大,其解决的问题,也只是人类面临所有问题的很小一部分。因为现实世界中有海量的问题并不是数学问题,也就不可能通过计算来求解。目前人工智能已经找到解决方案的问题,也只是可计算问题的一小部分。
ChatGPT可能产生哪些
社会或伦理问题?
ChatGPT也面临人工智能长期以来面临的问题,如歧视等伦理问题,被滥用于诈骗、欺诈、政治造谣、伪造身份等安全问题,以及知识产权问题。最近,OpenAI表示,正考虑在ChatGPT中添加模型水印,即监测模型可以识别的特殊标记,以降低模型滥用的问题。
此外,针对大众普遍担心的失业问题,ChatGPT在LinkedIn上分享了一篇帖子写道:“AI不会取代你。一个使用AI的人将取代你”。
ChatGPT的未来将带来哪些
变革和新机会?
ChatGPT自己的回答,已展现出其发展的一种典型路径,即作为人类的陪伴机器人。
但更重要的,ChatGPT会成为未来人机交互的一个新入口,很可能改变现有APP的交互方式,以更为自然的对话方式,让用户来使用软件和调用技能。例如,未来在文档编辑软件中,人们可以通过描述需求,让软件直接生成文字内容,或者生成一个图形,甚至直接进行修图等工作。在编程方面,ChatGPT这种即时编程的方式,将改变传统的工作方式和应用交互规则,推动产业进入软件3.0的新阶段。
除此之外,ChatGPT未来还可以有多样化的应用前景:
一是现在火热的数字人,好看的皮囊下,则需要类似ChatGPT这样的模型提供对话能力,才能让数字人具备有趣的灵魂,更好地陪伴和服务人。同时,该能力也可以嵌入到机器人身体内,让未来的人形机器人更聪明,更像人。
二是大量的开发者可以利用ChatGPT这样的底层平台,在大模型基础上根据不同行业和场景进行模型调优,从而创造出各类满足用户需求的丰富应用,从而形成对话式AI的生态。例如国外火爆的Jasper,通过在GPT3模型上的微调,可以帮助用户撰写营销文案,甚至有人在上面完成了一部12万字的小说,IBM、Airbnb、Autodesk等大企业都是其企业用户。普通用户可以免费试用1万个单词的版本,之后可以29美元订购2万个单词,或用59美元订购生成5万个单词的权限。
三是在教育、医疗、广告营销、电子商务、市场和战略咨询、企业服务、编写代码等专业服务领域,成为更为专业的人类助手,不仅可以生成内容,还可以调用各种专业能力,甚至替代部分初级的专业工作。企业服务方面,2月8日,微软推出了由ChatGPT提供技术支持的高级Teams产品,ChatGPT可以自动帮助参会者生成会议记录,即使没有参加会议,智能回顾功能也能帮助用户生成会议记录和要点。如果有被同事在会议中提到,ChatGPT还可以给用户提供个性化的时间线标记,以快速查看分享和讨论的内容,该服务将在6月份每月收费7美元,然后在7月份增加到10美元。代码编写方面,近期特斯拉前任AI总监Andrej Karpathy透露,现在他80%的代码都是由AI生成的(GitHub Copilot),而且有80%的准确率。
四是与其他模态AI工具的组合式创新,ChatGPT同文生图、文字生成视频、甚至未来直接生成3D模型的工具集成,可以带来UGC内容的极大丰富,成为内容工业化的核心引擎。
未来,ChatGPT与更多的AI、云计算等信息技术的集成创新,将创造改变生产力曲线的工具,成为经济发展新动力。