本文来自微信公众号“51CTO技术栈”，译者|李睿，审校|重楼。
本文将探索生成式人工智能的指数级增长带来的机遇和挑战，以及充分发挥其潜力必须克服的挑战。
虽然生成式人工智能提供了巨大的机遇，但也存在重大挑战，例如开发或维护大型语言模型(LLM)的难度和成本，以及它们潜在的不准确性。
人工智能现在成为了各行业领域讨论的一个热门的话题。生成式人工智能也越来越受欢迎。当然，生成式人工智能技术并不是凭空产生的，特别是ChatGPT。早在2020年，一些专家就已经预测，生成式人工智能将成为下一代人工智能的重要支柱。
人工智能所有领域的最新工作都在为生成式人工智能加速发展提供帮助。新一代大型语言模型(LLM)已经在初创企业、科技巨头和人工智能研究团队中得到开发。
可以生成自己训练数据的模型
人工智能研究的一个新途径是探索大型语言模型(LLM)如何生成它们自己的训练数据来提高表现。这个想法是从人们思考一个话题时自己学习的方式中汲取的灵感。谷歌公司已经建立了一个大型语言模型(LLM)，可以回答问题，生成答案，过滤高质量的结果，并优化选定的答案。
事实上，谷歌公司和伊利诺伊大学香槟分校(UIUC)的研究人员已经引入了一种被称为语言模型自我改进(LMSI)的方法，这种方法是关于使用模型本身创建的数据集对大型语言模型(LLM)进行微调。
大型语言模型(LLM)可以通过生成自己的自然语言指令并适应这些指令来提高性能。谷歌公司和卡内基梅隆大学的研究还表明，如果大型语言模型(LLM)在回答问题之前先背诵他们所知道的内容，就像人类在分享观点之前思考的方式一样，大型语言模型(LLM)可以提供更准确的答案。
语言建模方面的最新进展表明，使用大型语言模型(LLM)可以显著提高自然语言处理(NLP)应用程序的性能。然而，这可能是一个挑战，因为这个模型的尺寸很大，可能需要大量的内存和CPU进行训练。
为了释放语言建模的真正潜力，英伟达公司和微软公司正在开发一种自动的自然语言处理(NLP)模型，其名称为Megatron Turing自然语言生成(MT-NLG)。它由5300亿个参数组成，比Open AI开发的GPT-3 NLP模型大出两倍多。
虽然这个模型似乎克服了自动化自然语言处理(NLP)的一些障碍，但它仍然需要改进。英伟达公司和微软公司指出，虽然这些大型语言模型(LLM)代表了语言生成的巨大飞跃，但它们仍然存在缺陷和偏见。研究人员的研究表明，该模型可以延续训练数据中存在的刻板印象和偏见，这促进数据收集、分析、建模和监督训练领域的发展。
能够自行验证事实的模型
生成式人工智能模型使用来自互联网的数据来训练模型，以根据用户请求做出预测。然而，并不能保证预测是100%准确或公正的。此外，很难知道提供系统响应的信息来自哪里。
生成式人工智能的使用引发了道德、法律和伦理问题，这对业务有潜在的影响。人们担心的是内容的所有权，或者仅仅是产生“虚构”答案的风险。因此，在短期内谨慎对待如何使用生成式人工智能产生的信息是明智的。
当前的大型语言模型(LLM)或对话应用程序语言模型(LaMDA)可能产生不准确或错误的信息。以下是Google Bard关于韦伯望远镜问答的一个广为人知的的错误论断。
1.我能告诉我九岁的孩子詹姆斯·韦伯太空望远镜的哪些新发现?
2.Google Bard提供了韦伯太空望远镜拍摄的太阳系外行星的第一张照片，但这是其他的太空望远镜拍摄的。
因此，谷歌公司正在开发新的功能来解决这个问题。它包括大型语言模型(LLM)从外部来源提取信息并为其提供的信息提供参考的能力。例如，OpenAI WebGPT通过网页浏览提高了语言模型的事实准确性。
微软公司研究院和哥伦比亚大学联合发布的《检查事实并再次尝试：利用外部知识和自动反馈改进大型语言模型》研究报告提出了一个名为LLM-AUGMENTER的系统。它有助于在任务关键型应用程序中使用大型语言模型。
该系统通过整合来自特定任务数据库的外部知识，提高了大型语言模型生成响应的准确性。迭代快速修正可用于提高反应的准确性和可靠性。该系统已经在对话和问答场景中进行了测试，在不影响回答质量的情况下，它似乎可以减少虚假信息。
近年来，大型语言模型(LLM)的规模被认为以每年增加10倍的速度增长。好消息是，随着这些模型的复杂性和规模的增长，它们的能力也在增长。然而，大型语言模型(LLM)的开发和维护既困难又成本昂贵。因此，如果要充分发挥其潜力，其成本和准确性是必须解决的主要挑战。
结语
生成式人工智能专注于创造能够生成自己内容的人工智能，这是一个快速发展的领域。人工智能所有领域的最新进展正在为生成式人工智能带来有利的加速，包括能够生成自己的训练数据以提高其性能的模型的开发，以及能够对事实进行自我验证的模型。
大型语言模型(LLM)的开发和维护是复杂的，其成本和不准确性仍然是主要的挑战。但毫无疑问，主要技术和研究参与者的努力将导致这些系统能力的提高，并将迅速发挥其潜力。
