今年2月，Meta发布了第一版Llama大型语言模型，这是在ChatGPT发布仅三个月后的一次重要进展。与之前只能用于研究目的的Llama预训练模型不同，新发布的Llama 2具备商业应用的能力。Meta发布了三种参数规模的模型，分别是70亿、130亿和700亿。他们公布了模型训练数据、训练方法以及数据标注等细节，充分展示了Llama 2的实力：在相同的参数规模下，Llama 2的能力超越了所有的开源大型模型；700亿参数的模型在推理能力上接近ChatGPT背后的GPT-3.5，但在编写代码方面还存在较大差距。
llama2官网: https://ai.meta.com/llama/
这里填写表格获取llama2模型:
https://ai.meta.com/resources/models-and-libraries/llama-downloads/
llama2怎么样?
许多开发者对Llama 2进行了测试，基本证实了Meta的说法：“在编写代码的环节，它表现不错”。70亿参数的模型可以在Mac上运行，每秒处理6个字符，比Google发布的PaLM 2中最小的模型“壁虎”慢70%。然而，Google并没有公布“壁虎”的具体参数。
根据Meta公布的信息，Llama 2的训练数据来源于公开数据，总量达到了2万亿个Token（指常用单词、标点符号或数字），比第一代模型增加了40%。此外，Llama 2的上下文长度扩展到了4000个字符，对文本语义的理解更加准确。
与OpenAI类似，Meta还通过人类反馈强化学习（RLHF）机制，利用100万条人类标注数据训练了类似ChatGPT的对话应用。这也是过去几个月开源社区微调Llama的常用方法。Meta表示，“大型语言模型的出色撰写能力从根本上是由RLHF驱动的。”
训练Llama 2可能需要巨大的成本。HuggingFace的机器学习科学家内森·兰伯特估计，Llama 2的训练成本可能超过2500万美元，不比三年前训练GPT-3的成本低。他表示，有足够的迹象表明，Meta仍在继续训练更强大的Llama模型。
自去年末ChatGPT的发布以来，它以其富有意义的回复和强大的代码编写能力等功能震撼了世界。许多公司都在努力寻找类似的产品。经过半年多的发展，从大公司到普通程序员，都能借助开源社区实现类似ChatGPT的应用。根据云端开发平台Replit的观察，每个季度使用其服务的开源大模型项目数量都在翻倍增长。
在诸如Llama等开源大模型的基础上，开发者们还创建了各种开源数据集，如基于人类反馈的强化学习数据集，不断提升开源大模型的能力。
根据加州大学伯克利分校、卡耐基梅隆大学等高校的教授和学生创建的LMSYS Org的评估，过去几个月，开源大模型与GPT-4之间的差距明显缩小，从191分减少到最近的115分。在赶超的过程中，开源社区甚至领先于大公司，提供了可在电脑和手机上运行的大模型，比谷歌早一个多月发布。
随着Meta开源Llama 2，开源大模型社区的实力将进一步增强。Meta表示，第一个不支持商业用途的开源模型版本发布后，他们收到了超过10万名研究人员的使用申请，这还不包括直接从网上下载模型的人。
“NVIDIA”的高级人工智能科学家Jim Fan表示：“由于开源许可问题，大公司的人工智能研究人员对第一个版本的Llama持谨慎态度，但我认为现在很多人会加入这个项目(Llama 2)并贡献他们的力量。”他还表示，即使当前Llama 2在编程能力方面还不强，但开源发布后很快会追赶上来。
Llama 2发布的最大开源参数版本(700亿)仍不及三年前训练的GPT-3一半，但效果却优于GPT-3，这是最好的证明之一。
开源的逻辑是，当大型模型达到一定能力后，就扩大了新技术的应用范围，让更多人使用技术，并从广泛应用中改进模型。而闭源公司如OpenAI更注重技术的先进性，在开发强大模型后再推广给更多人。
就像iOS和Android在手机操作系统领域的竞争一样，开源和闭源的竞争并不都是在同一维度上直接竞争，大型模型领域也会出现类似的分化。
在这种新的竞争格局下，即使是谷歌也没能保持领先的信心。
今年5月，Google一位高级工程师在内部文章中表示，尽管Google在大型模型的质量方面仍略占优势，但开源产品与Google大型模型之间的差距正在以惊人的速度缩小，开源模型的迭代速度更快，用户可以根据不同的业务场景进行定制开发，更有利于保护隐私数据，并且成本更低。
他说：“他们只需要几周时间，就能用100美元和130亿参数的模型做到我们花费1000万美元和540亿参数的模型很难实现的事情。我们没有护城河，OpenAI也没有。”
昨天，Meta在宣布Llama 2开源后解释说，对于当今人工智能模型的发展来说，开源是正确的选择，尤其是在技术迅速发展的生产领域。他们表示，“通过向公众提供人工智能模型，使其惠及所有人，而不仅仅是少数几家大公司。”
在生成式人工智能领域，一场与过去不同的新型竞争正在展开。开源社区凭借开放协作的力量，正以惊人的速度追赶商业巨头们建立的领先优势。而过去习惯于技术封闭和市场垄断的大公司，也在逐步拥抱开源。
相关文章
