能写论文、编代码、创作小说 爆红的ChatGPT是如何诞生的?( 二 )


人类世界有许多重复性的、程式化的语言文字工作,不需要复杂的逻辑思考或决策判断 。ChatGPT帮助人们更流畅、更快速地书写这些段落的潜力,可能会成为微软这些应用程序的“杀手锏” 。比如,在人们需要请假时,只要打出“写一封请病假的邮件”几个字,Outlook就能把措辞正式的请假申请写好 。
在“ChatGPT+”的世界 , 搜索引擎领域的变化,尤为引发关注 。目前的搜索引擎基于关键字响应,根据搜索结果进一步筛选信息然后整合 。一些人相信,基于对话的搜索 , 可能会彻底改造甚至取代当前的信息检索方式 。有美国科技媒体1月初的报道指出,微软正在考虑将ChatGPT整合到其搜索引擎“必应”当中 。
20多年来,谷歌搜索引擎一直是全球互联网的主要门户网站之一 。随着ChatGPT等产品的出现,《纽约时报》在2022年12月21日的文章中指出,谷歌的主要搜索业务可能首次面临严重威胁 。谷歌的管理层已发布表示情况紧急的“红色代码”,着手应对 。一些人担心 , 一场可能颠覆整个AI行业的巨大技术变革正在到来 。
谷歌率先提出关于深度学习模型最核心的算法,但是应用上却是OpenAI这样的机构推得更快 。对谷歌较为熟悉的王咏刚指出 , 一个很重要的原因是 , 像谷歌这样的大公司,作为互联网的信息提供商,其实对于新技术的商业化使用是很谨慎的 。比如,如果ChatGPT在知识性的回答上有95%的正确率,那5%的错误率能够接受吗?
在2021年5月的谷歌网络开发者年会上,谷歌就展示了其最新的人工智能系统LaMDA 。谷歌表示,LaMDA可以使回答更加“合情合理”,让对话更自然地进行,而且这些回复都不是预先设定的 。但目前,谷歌仍不愿向公众发布LaMDA 。谷歌表示,部分原因在于 , LaMDA存在较高的误差,且容易对用户造成伤害 。
“现在还很难判断 。”在英伟达工作的王帅说,如果ChatGPT能够取代当前的搜索引擎,谷歌也不会坐以待毙 , 因为在大规模语言模型上,它与微软之间并不存在技术上有与没有的区别;其次,技术只是一方面的原因,这背后还有运营成本、效率、商业模式等方面的考虑 。
事实上,《纽约时报》也指出 , 谷歌可能不愿意部署这项新技术来替代在线搜索,因为它不适合投放数字广告——如果ChatGPT能够完美响应搜索 , 人们就没有动机点击额外的链接,而广告在2021年为谷歌挣了2080亿美元,占谷歌母公司Alphabet总收入的81% 。
更先进的GPT-4出来以后,可能会带来更为惊艳的成果 。几个月前,王咏刚与OpenAI的两位联合创始人见了个面,谈论了GPT-4的一些技术问题 。尽管尚没有准确的数据,但他分析说 , GPT-3模型参数量级是1750亿规模的,而GPT-4的参数可能将比它高出几个量级 。他表示 , 那是令人叹为观止的训练量,“想象一下,如果说GPT-3相当于昆虫大小的脑容量,那么 GPT-4可能会达到哺乳动物的脑容量” 。
不过,ChatGPT还远不完美 。因为这类人工智能对话机器人是通过消化互联网上公开的大量数据来成长的 , 所以 , 它们的知识结构中同时有事实和虚构的部分,传递的信息可能也会存在偏见、甚至仇恨言论等 。前述生物学家表示 , ChatGPT“不禁逗” , 一些问题回答错误或者无法解答 。
《麻省理工科技评论》在去年11月末尖锐地指出,所有的大规模语言模型都在输出“nonsense(愚蠢的话)”,ChatGPT看起来解决了一些问题,但远不是一个彻底的终结 。OpenAI的科学家约翰·舒尔曼也承认 , 还有很多事情要做,“我们在这个问题上取得了一些进展,但还远未解决” 。
“从水下100米到马里亚纳海沟”
长期以来,在AI领域 , 存在着一场旷日持久的争论:基于深度学习和超强算力的大模型训练,是否是抵达通用人工智能的最终道路?在这方面,OpenAI无疑是一个坚定的押注者 。
2018年6月,OpenAI发表论文《通过生成式预训练加强语言理解》,首次介绍了自己的语言模型GPT-1 。它在深度学习模型Transformer架构上 , 使用了内含几十亿个文本文档的超大规模语言资料库进行训练,参数量为1.17亿 。2019年2月,升级版GPT-2发布,模型参数达到15亿,且训练模型的数据库也更大;2020年,规模大百倍的GPT-3诞生 。
创新工场人工智能工程院执行院长王咏刚打了个比方 , 如果说传统的机器学习或人工智能是在水下一米的深处探索,那么深度学习的出现将人们带到了一百米的深水区;而在Transformer、GPT等架构后 , 从业者们直接能抵达深度超过万米的马里亚纳海沟 。

推荐阅读