<div> <p>开源社区灯塔，“真·OpenAI”——Meta抛出了目前最强的开源大模型Llama 3。</p> <img data-reference="image" src="https://img-s-msn-com.akamaized.net/tenant/amp/entityid/AA1njcia"> <p>来源：官网</p> <p>模型下载链接：https://llama.meta.com/llama-downloads/GitHub</p> <p>项目地址：https://github.com/meta-llama/llama3</p> <p>当地时间4月18日，Meta 发布两款开源Llama 3 8B与Llama 3 70B模型，供外部开发者免费使用。Llama 3的这两个版本，也将很快登陆主要的云供应商。</p> <img data-reference="image" src="https://img-s-msn-com.akamaized.net/tenant/amp/entityid/AA1nj7eE"> <p>来源：X</p> <p>按照Meta的说法，Llama 3 8B和Llama 3 70B是目前同体量下，性能最好的开源模型。</p> <p>Llama 3 8B在某些测试集上性能比llama 2 70B还要强！</p> <p>而且在未来几个月内，Meta还会推出更多的版本。英伟达高级科学家Jim Fan认为，之后可能会发布的Llama 3-400B以上的版本，将成为某种“分水岭”，开源社区或将能用上GPT-4级别的模型。</p> <img data-reference="image" src="https://img-s-msn-com.akamaized.net/tenant/amp/entityid/AA1nj5RV"> <p>来源：X</p> <p>传奇研究员，AI开源倡导者吴恩达表示：Llama 3的发布是自己这辈子收到过的最好的礼物，谢谢你Meta！</p> <img data-reference="image" src="https://img-s-msn-com.akamaized.net/tenant/amp/entityid/AA1njjgE"> <p>来源：X</p> <p>在Llama 3发布后，小扎向外媒表示，“我们的目标不是与开源模型竞争，而是要超过所有人，打造最领先的人工智能。”</p> <p>具体来说，Llama 3的亮点和特性概括如下：</p> <p>基于超过15T token训练，大小相当于Llama 2数据集的7倍还多；</p> <p>训练效率比Llama 2高3倍；</p> <p>支持8K长文本，改进的tokenizer具有128K token的词汇量，可实现更好的性能；</p> <p>在大量重要基准测试中均具有最先进性能；</p> <p>增强的推理和代码能力；</p> <p>安全性有重大突破，带有Llama Guard 2、Code Shield 和 CyberSec Eval 2的新版信任和安全工具，还能够比Llama 2有更好“错误拒绝表现”。</p> <p>根据Meta AI的工程师Aston Zhang透露，Llama 3的诞生始于去年夏天，团队攻克了数据集，预训练等方面的一系列难题。</p> <img data-reference="image" src="https://img-s-msn-com.akamaized.net/tenant/amp/entityid/AA1njjgG"> <p>来源：X</p> <p>他还进一步透露，Llama 3之后还会解锁新的能力——更长的上下文，支持多模态，性能更强的400B版本。</p> <p>现在，感兴趣的用户已经可以在HuggingChat上体验了。</p> <img data-reference="image" src="https://img-s-msn-com.akamaized.net/tenant/amp/entityid/AA1nj5S8"> <p>地址：https://huggingface.co/chat/（需要手动切换至Llama 3）</p> 领先了，但不多 <p>Llama 3确实优于其他开源模型，但优势不大。</p> <p>Meta展示的基准测试结果包括MMLU、ARC、DROP、GPQA（生物、物理、化学相关的问题集）、HumanEval（代码生成测试）、GSM-8K（数学应用测试）、MATH（同为数学相关基准测试）、AGIEval（问题解决的测试集）以及BIG-Bench Hard（常识推理测试）。</p> <p>在下图可看到，Llama 3 8B的成绩在九项测试中领先同行。但Mistral 7B（2023年9月发布）和Gemma 7B已经不算最前沿的开源模型。并且在引用的一些基准测试里，Llama 3 8B的得分，还只比这两位高一点点。</p> <img data-reference="image" src="https://img-s-msn-com.akamaized.net/tenant/amp/entityid/AA1njjgL"> <p>来源：官网</p> <p>在MMLU、HumanEval和GSM-8K上，Llama 3 70B击败了Gemini 1.5 Pro。尽管无法与Anthropic性能最强的模型 Claude 3 Opus媲美，但 Llama 3 70B的性能，已经优于Claude 3系列的中杯模型Sonnet。</p> <img data-reference="image" src="https://img-s-msn-com.akamaized.net/tenant/amp/entityid/AA1nj7f0"> <p>来源：官网</p> <p>在Meta组织的人类反馈评分中，Llama 3 70B打败了Mistral、OpenAI、Claude发布的对应产品。</p> <p>这个人类反馈测试更贴近用户实际的使用体验，包括了最常见的大模型使用场景：头脑风暴、创意写作、角色扮演、复述、推理、总结等。</p> <img data-reference="image" src="https://img-s-msn-com.akamaized.net/tenant/amp/entityid/AA1nj5Si"> <p>来源：官网</p> <p>Meta不忘卖个关子，说自己目前最大的模型参数，已经超过4000亿（400B），但还在训练。不过据The Verge，Meta 尚未最终决定是否开源400B的版本。</p> <img data-reference="image" src="https://img-s-msn-com.akamaized.net/tenant/amp/entityid/AA1nj7f3"> <p>来源：官网</p> <p>在Llama 2发布后的几个月内，开源社区雨后春笋般地，冒出了很多性能非常强大的开源模型。开源社区的竞争格局，已经有了非常大的变化。</p> <p>当有人怀疑，忆财金属制品有限公司Meta还能否继续在激烈地竞争中保持领先时，忆财金属制品有限公司Meta用Llama 3的发布，忆财金属制品有限公司让自己重新坐回了开源社区的铁王座之上。</p> 15万亿token，忆财金属制品有限公司训练数据量大质量高 <p>Llama 3优越的性能，忆财金属制品有限公司离不开庞大数据集的训练——15 万亿token，几乎是Llama 2的七倍。</p> <p>堆量只是第一步，Meta在训练时也十分重视数据质量，用上了许多过滤手段。使用合成数据（AI生成的数据）就是一个例子。官网介绍：</p> <p>我们发现前几代 Llama 非常擅长识别高质量数据，因此我们使用 Llama 2生成训练数据，提供给Llama 3的文本质量分类器，为 Llama 3 提供支持。</p> <p>在接受“海量投喂”后，新版Llama在回答琐碎问题时应该能更准，在历史、STEM、工科及编程类问题时，也将显得游刃有余。</p> <img data-reference="image" src="https://img-s-msn-com.akamaized.net/tenant/amp/entityid/AA1njlUd"> <p>来源：X</p> <p>Meta还提到，Llama 3预训练数据集有超过5%的部分，来自高质量的非英语数据。加入这部分的目的在于，能更好满足各国用户、不同语言背景的使用需求。</p> <p>不过，针对所用训练数据的来源，Meta依然选择打马虎眼：“收集于公开来源（publicly available sources）”。</p> <img data-reference="image" src="https://img-s-msn-com.akamaized.net/tenant/amp/entityid/AA1nj5Ss"> <p>来源：Hugging Face</p> <p>而且两个版本的数据截止日期还略微有点不同，8B版本截止日期为2023年3月，70B版本为2023年12月。</p> <p>Meta因训练数据不足而产生焦虑，4月初时，还曾被无情揭伤疤。</p> <p>据纽约时报报道，和记官网2023年3月到4月期间，Meta高层天天开会，讨论如何把有版权的内容喂给模型训练——有的法子能说，比如收购SimonSchuster出版社；有的不方便说，比如冒着吃官司的风险，在网上收集有版权的文本。</p> <p>而且值得注意的是，根据外媒的说法，Llama 3使用的训练数据，有很大一部分是AI合成的数据。</p> <img data-reference="image" src="https://img-s-msn-com.akamaized.net/tenant/amp/entityid/AA1nj9UY"> <p>来源：The Verge</p> <p>看来，用AI训练AI，已经是一件正在发生的事情了。</p> 全面优化训练流程，训练效率比Llama 2高出3倍 <p>Meta还分享了在训练模型的过程中，相比自己前2代模型，做出了很多流程上的优化：数据并行化、模型并行化和管道并行化。</p> <p>在16000个GPU的集群上训练时，实现了每个GPU超过400 TFLOPS的计算利用率。</p> <p>为了最大限度地延长GPU的正常运行时间，Meta开发了一种先进的训练堆栈，可以自动执行错误检测、处理和维护。</p> <p>Meta还极大地改进了硬件可靠性和静默数据损坏检测机制，并且开发了新的可扩展存储系统，以减少检查点和回滚的开销。这些改进，使总体有效培训时间超过 95%。</p> <p>综合起来，这些改进使Llama 3的训练效率比Llama 2提高了约三倍。</p> 最智能的免费AI助手，秒速文生图 <p>小扎在之前采访中就已经表示过，未来Meta推出的大模型将重塑自家产品的使用体验。</p> <p>这次同Llama 3一同推出的，还有基于Llama 3构建的Meta AI。</p> <img data-reference="image" src="https://img-s-msn-com.akamaized.net/tenant/amp/entityid/AA1njgPQ"> <p>来源：官网</p> <p>按照小扎的说法，Meta AI已经是目前最智能的免费AI助手。</p> <p>总结下来，Meta AI与自家APP生态的兼容性，无疑能让使用体验大大提升——无需切换，即可在Instagram、Facebook、WhatsApp 和 Messenger 的搜索框中畅通使用Meta AI。</p> <p>手机的聊天窗口中，输入问题+@Meta AI，就能得到想要的答案。“私聊”Meta AI对话也是可以的。</p> <img data-reference="image" src="https://img-s-msn-com.akamaized.net/tenant/amp/entityid/AA1nj7fd"> <p>来源：官网</p> <p>刷Facebook时遇到好玩的事情，突发奇想有个疑问，帖子下面点开直接问！</p> <img data-reference="image" src="https://img-s-msn-com.akamaized.net/tenant/amp/entityid/AA1njeCc"> <p>来源：官网</p> <p>Meta当然没忘记PC端。登入meta.ai，无需注册登录，即可像GPT一样开启对话。当然，登录后可保存对话记录，便于未来参考。</p> <img data-reference="image" src="https://img-s-msn-com.akamaized.net/tenant/amp/entityid/AA1njciO"> <p>来源：官网</p> <p>要知道，OpenAI才刚在4月1日宣布无需注册体验ChatGPT。</p> <p>文生图功能酷炫至极。由于图像生成速度大大加快，每输入几个字母，图像就会发生变化——所输即所得！</p> <img data-reference="image" src="https://img-s-msn-com.akamaized.net/tenant/amp/entityid/AA1njlUw"> <p>来源：官网</p> <p>Meta AI生成图片质量高，还能在原图基础上生成GIF动图，与好友进行分享。</p> <img data-reference="image" src="https://img-s-msn-com.akamaized.net/tenant/amp/entityid/AA1njgPY"> <p>来源：官网</p> <p>据The Verge， Meta AI 助手的唯一一个集成了 Bing 和 Google 实时搜索结果的聊天机器人——Meta可决定使用哪种搜索引擎来回答prompt提示词。</p> <p>据介绍，Meta正向美国以外的十几个国家，推出英语版 Meta AI。澳大利亚、加拿大、加纳、牙买加、马拉维、新西兰、尼日利亚、巴基斯坦、新加坡、南非、乌干达、赞比亚和津巴布韦将可以使用 Meta AI。</p> 可能是史上最安全的开源大模型 <p>而针对外界关于开源大模型担忧最多的安全性问题，Meta这次看起来也是做了了充足准备。</p> <p>Meta采用了一种新的系统级方法来负责任地开发和部署Llama 3。他们将Llama 3视为更广泛系统的一部分，让开发人员能够完全掌握模型的主导权。</p> <img data-reference="image" src="https://img-s-msn-com.akamaized.net/tenant/amp/entityid/AA1njgQ1"> <p>来源：官网</p> <p>指令微调在确保模型的安全性方面，也发挥重要作用。</p> <p>Meta的指令微调模型，已经通过内部和外部进行了红队测试。Meta的红队利用人类专家和自动化方法来生成对抗性提示，试图引发有问题的响应。</p> <p>他们进行了全面的测试，来评估模型在化学、生物、网络安全和其他风险领域相关的滥用风险。</p> <p>除此之外，Meta还采用了业内最为先进的大模型安全技术，出生自带Llama Guard 2、Code Shield 和 CyberSec Eval 2的新版信任和安全工具，确保模型不会被轻易越狱，输出有害内容。</p> <p>看来Meta已经充分吸取了Llama去年意外泄漏的教训，在模型的安全性上下的功夫不亚于对性能的追求。</p> <p>未来，Meta团队将会公布Llama 3的技术报告，披露模型更多的细节。</p> <p>而团队成员还表示，Meta官方还会以直播或者博客的形式，让模型开发团队直接与外界进行交流。</p> <p>总之，Meta没有辜负开源社区对它的期待，继续在大模型开源之路上奋力狂奔！</p> </div>

《道德经》对管理的境界论述：太上，下知有之。其次，亲而誉之。其次，畏之。其次，侮之。信不足焉，有不信焉。悠兮其贵言，功成事遂，百姓皆谓∶我自然。

：