AI发条(aifatiao.com) 7月19日消息:Meta 正在全力推进开源人工智能。该公司今天发布了 LLaMA 2,这是他们首款可供任何人免费使用的大型语言模型。
自从 OpenAI 于去年 11 月发布了备受瞩目的 AI 聊天机器人 ChatGPT 以来,科技公司一直在争相发布模型,希望能够打破其主导地位。Meta 一直进展缓慢。今年 2 月,当竞争对手微软和谷歌宣布推出 AI 聊天机器人时,Meta 推出了第一个较小版本的 LLaMA,只限于研究人员使用。但他们希望发布 LLaMA 2 并允许任何人在其基础上构建商业产品,以帮助他们迎头赶上。
实际上,该公司发布了一套 AI 模型,其中包括不同规模的 LLaMA 2 版本,以及一种可以构建成聊天机器人的 AI 模型,类似于 ChatGPT。与可以通过 OpenAI 网站访问 ChatGPT 不同,该模型必须从 Meta 的合作伙伴微软 Azure、亚马逊 AWS 和 Hugging Face 下载。
Meta 负责生成 AI 工作的副总裁 Ahmad Al-Dahle 表示:「这使整个 AI 社区受益,并给人们提供了选择,他们可以选择封闭源方法或开源方法,以适应其特定的应用。」他说:「对我们来说,这是一个非常重要的时刻。」
但是仍然存在许多限制条件。根据与《麻省理工科技评论》独家共享的公司研究论文,Meta 没有公布训练 LLaMA 2 所使用的数据集信息,也不能保证其中没有包含受版权保护的作品或个人数据。LLaMA 2 也存在着困扰所有大型语言模型的问题:倾向于产生虚假信息和冒犯性语言。
Al-Dahle 表示,通过将模型发布到公众领域,并允许开发人员和公司进行调试,Meta 将从中学到如何使其模型更安全、更公正和更高效的重要经验教训。
斯坦福大学基础模型研究中心主任 Percy Liang 表示,强大的开源模型如 LLaMA 2 对 OpenAI 构成了相当大的威胁。Liang 是开源竞争对手 Alpaca 的研究团队的一员,该团队开发了 GPT-3 的早期版本。
Liang 表示:「LLaMA 2 并非 GPT-4。」并且在研究论文中,Meta 承认 LLaMA 2 和 GPT-4 之间的性能差距仍然很大,而 GPT-4 现在是 OpenAI 的最先进的 AI 语言模型。他补充说:「但对于许多用例来说,您并不需要 GPT-4。」一个更可定制和透明的模型,比如 LLaMA 2,可能会帮助公司比一个庞大、复杂的专有模型更快地创建产品和服务。
加州大学伯克利分校教授 Steve Weber 表示:「如果 LLaMA 2 能成为领先的开源替代品,这对 Meta 来说将是一次巨大的胜利。」
为了推出 LLaMA 2,Meta 进行了大量的调整,使模型比其前身更安全,更不容易产生有害虚假信息,Al-Dahle 说。
Meta 有很多过去的失误可以汲取教训。他们的科学语言模型 Galactica 在仅三天后就被下线,他们以前的仅用于研究目的的 LlaMA 模型在网上泄露,引发了一系列批评,质疑 Meta 是否充分考虑了 AI 语言模型的风险,如虚假信息和骚扰等。
为了减轻重复这些错误的风险,Meta 应用了一系列不同的机器学习技术,旨在提高 LLaMA 2 的实用性和安全性。
Meta 的研究人员 Sasha Luccioni 表示,相比于一般生成式 AI 模型,训练 LLaMA 2 需要更多步骤。据 Al-Dahle 表示,该模型使用了比其前身多 40% 的训练数据。其中训练数据有两个来源:从在线抓取的数据,以及根据人类标注员的反馈进行微调和调整,以表现出更理想的方式。公司表示 LLaMA 2 没有使用 Meta 用户数据,并排除了已知含有大量个人信息的网站的数据。
尽管如此,LLaMA 2 仍然会产生冒犯、有害和其他问题语言,就像其他竞争对手的模型一样。Meta 表示没有从数据集中删除有害数据,因为将其保留下来可能有助于 LLaMA 2 更好地检测仇恨言论,而删除它可能会意外地筛选掉某些人群。
Luccioni 表示,Meta 的开放承诺令人兴奋,因为它允许像她这样的研究人员能够适当地研究 AI 模型的偏见、道德和效率。
LLaMA 2 作为一个开源模型,也将允许外部研究人员和开发人员对其进行安全漏洞的探索,这将使其比专有模型更安全,Al-Dahle 表示。
Liang 也表示同意:「我非常兴奋地尝试一些东西,我认为这将对社区有益。」
(本文转载自站长之家)