近期，美英伟达公司与Meta公司合作推出Llama-3.1-Minitron 4B AI小模型。该模型在Llama 3的基础上进行了重大更新，通过结合客户的数据与Llama 3.1 405B和英伟达Nemotron模型，创建出针对特定领域的“超级模型”。

此前，Meta公司于2024年7月24日发布了其最强开源AI模型Llama 3.1，该模型拥有三个不同版本（8B、70B和405B），其中405B版本包含4050亿个参数，是近年来参数规模最大的模型之一。Llama 3.1在Llama 3的基础上进行了重大更新，主要用于驱动聊天机器人，并具备多语言对话、编写高质量计算机代码、解决复杂数学问题等能力。

而Llama-3.1-Minitron 4B AI模型是英伟达公司携手Meta公司，基于Llama-3.1系列模型，通过前沿的模型剪枝和蒸馏技术精心打造而成。剪枝（Pruning）和剪枝蒸馏（Distillation）都是一种模型压缩技术，该模型不仅可以用于聊天机器人等应用场景，还可以执行编程、回答数学问题、生成图像等多种任务。

迭代模型剪枝和提炼程序

剪枝是通过移除神经网络中不重要的权重或连接来减少模型的复杂度和大小，同时尽量保持模型的性能。不重要的权重或连接通常基于其对模型输出的贡献度来确定。蒸馏则是利用一个已经训练好的大型模型（教师模型）来指导一个小型模型（学生模型）的训练。通过让教师模型对学生模型进行“教学”，可以使学生模型学习到教师模型的知识，从而在保持较高性能的同时减少模型的大小和计算量。

研究人员介绍，尽管Llama-3.1-Minitron 4B的参数量仅为40亿，远低于其前身Nemotron系列中的150亿参数量模型，但通过剪枝和蒸馏技术，该模型在多模态学习理解（MMLU）上的分数提高了16%。此外，训练大型语言模型需要大量的计算资源和时间。通过剪枝和蒸馏技术，Llama-3.1-Minitron 4B的训练成本最多可减少1.8倍。这对于企业和研究机构来说，是一个巨大的成本节约，使得更多机构能够承担得起先进AI技术的应用和研发。而在机器学习中，标记数据是昂贵的资源。减少训练标记需求量意味着可以更快地部署模型，并降低对大量标注数据的依赖。这对于许多实际应用场景来说，是一个重要的优势。

NVIDIA CEO 黄仁勋对话 Meta CEO 马克·扎克伯格

据报道，此前双方已经在AI模型上有过相关合作。英伟达于2024年7月23日推出了“NVIDIA AI Foundry”代工服务，客户可以使用Meta的Llama系列AI模型（如Llama 3.1），结合英伟达的软件、计算和专业知识，为特定领域定制构建“超级模型”。这英伟达还推出了“NVIDIA NIM”推理微服务，这是一套加速推理微服务解决方案，允许企业在各种计算平台上（如云计算、数据中心、工作站和PC等）运行AI模型。通过使用行业标准的API，开发人员可以轻松地部署和管理AI模型，从而提高开发效率和模型性能。

英伟达作为全球领先的GPU制造商和人工智能计算平台提供商，拥有强大的技术实力。而Meta公司（前身为Facebook），作为社交媒体和互联网技术的巨头，对人工智能有着巨大的需求，特别是在其聊天机器人、虚拟现实（VR）和增强现实（AR）等领域。英伟达和Meta作为人工智能领域的两大巨头，通过合作实现了技术互补和市场拓展。英伟达以其强大的GPU计算能力和AI技术栈，为Meta提供了坚实的硬件和软件支持；而Meta则利用自身在社交媒体、元宇宙等领域的丰富数据和应用场景，推动了AI技术的落地和应用。双方的合作不仅促进了彼此的技术创新和市场竞争力提升，还共同推动了人工智能技术的发展和应用。

随着人工智能技术的不断发展和应用场景的不断拓展，英伟达与Meta的合作将继续深化。双方将继续探索新的合作模式和技术创新点，共同推动人工智能技术的发展和应用落地。同时，双方也将积极应对人工智能领域的挑战和问题，为构建更加安全、可信、可持续的人工智能生态系统贡献力量。