Llama 3 登场：70B 版本超越 Claude 3 Sonnet，探索8大主要使用渠道

Meta 推出了新一代开源大型语言模型 Meta Llama 3。这是迄今为止性能最强、功能最全面的开源语言模型。

本周发布的是2个小模型，8B 和 70B 参数，模型支持 8K 上下文长度，是 Llama 2 容量的两倍。

据 Meta 员工透露，最大的 Llama 3 模型将是多模态的，并预计在今年夏天推出。

Llama 3 70B 的性能超过了 Claude 3 Sonnet，但其上下文长度不如后者，且不支持多模态功能。

Llama 3 400B+ 性能

从 MMLU 上来看，Llama 3 400B+ 和 GPT-20230314 的版本近似。

主要亮点

• 提供了 8B 和 70B 参数规模的预训练和指令微调模型，可支持广泛的应用场景。
• 在行业标准基准测试中展现出业界领先的性能，尤其在推理、代码生成等能力上有显著提升。
• 通过改进预训练和后期训练，大幅降低了错误拒绝率，优化了模型一致性，增强了回应多样性。
• 训练数据规模是 Llama 2 的7倍，代码数据是4倍，质量和覆盖范围大幅提升。
• 采用了更高效的 tokenizer，128K 词汇量，大幅改善了性能。
• 引入分组查询注意力机制(GQA)，提高了推理效率。
• 开发了 Llama Guard 2、Code Shield 等安全工具，加强安全防护能力。

近期规划

• 发布更大规模的模型，参数量高达 400B+。
• 引入多语言、多模态、更长上下文等新功能。
• 持续提升模型整体性能。
• 发布详细的研究论文。

使用渠道

HuggingChat

https://huggingface.co/chat/

Poe

https://poe.com/Llama-3-70B-T

Perplexity Labs

https://labs.perplexity.ai/

Meta AI

https://www.meta.ai/

Llama 3 为 Meta AI 的新版本提供动力，它是一个跨 Meta 平台（如 Facebook、Instagram、WhatsApp 和 Messenger）的智能助手。该助手能够处理多种任务，范围从生成图像到提供实时信息。

登录后，可以使用画图功能；此外，图片还支持转为视频。

虽然每张图片只能生成一秒钟的视频，但其运动幅度大，动感十足。

Ollama

https://ollama.com/library/llama3

建议拥有16G、32GB 内存的 Mac 电脑用户下载 Llama3 8B 模型，而 64GB 及以上内存的用户则适合使用 70B 模型。

该模型有两个版本：

• Instruct

  专为聊天/对话用例进行微调的模型

  示例命令：ollama run llama3、ollama run llama3:70b

• Pre-trained

  基础预训练模型

  示例命令：ollama run llama3:text、ollama run llama3:70b-text

我本地运行 ollama run llama3 时，中文提问，模型默认回复英文。

建议添加中文回复功能，或在设置中进行相应的修改。

Matt Williams 曾经提到，新模型推出时，你可能无法立即获得正确的配置，可能需要进行一些后续调整。

Ollama 官方上架的模型也存在类似问题，有时问题出在模型本身，有时则是 Ollama 的问题，均需调整。关于如何进行这些调整，推荐观看以下视频：

https://www.youtube.com/watch?v=bXf2Cxf3Wk0

Ollama 的推文指出：如果你在这个模型发布后已经下载了 Llama 3，请使用 ollama pull 命令更新模型。

LM Studio

1. 将 LM Studio 更新至版本 0.2.20。
2. 从 lmstudio-community 下载 Llama-3 模型。

Together AI

https://api.together.xyz/playground/chat/meta-llama/Llama-3-70b-chat-hf

Llama 3 8B 模型能够每秒处理高达 350 个令牌，而 Llama 3 70B 模型每秒能处理高达 150 个令牌。这两个模型均在 Together API 上运行，使用全 FP16 精度。

Llama-3 还可在 Together AI 上进行微调。

https://docs.together.ai/docs/fine-tuning-cli

OpenRouter

https://openrouter.ai/models/meta-llama/llama-3-70b-instruct?tab=status

本周使用 LLaMA v3 70B 指令模型的热门应用程序

此外，Llama 3 模型也将在多个平台上推出，包括 AWS、Databricks、Google Cloud、Hugging Face、Kaggle、IBM WatsonX、Microsoft Azure、NVIDIA NIM 和 Snowflake。

https://llama.meta.com/docs/model-cards-and-prompt-formats/meta-llama-3

Llama Recipes

https://github.com/meta-llama/llama-recipes

结语

随着 Llama 3 的推出，我们期待在此基础上开发的中文模型将为中文用户提供更智能、更高效的体验。

春风吹醒数据梦， 智能新章待展宏。Llama耕耘识海广， 中华语境绘未空。