如何在Macbook驱动的苹果芯片上本地安装LLaMA 2 AI

How-to-install-Llama-2-AI-locally-on-a-Macbook.webp

在不断发展的人工智能世界中,Llama 2模型已成为各种应用的有前途的工具。然而,如何在苹果硅动力MacBook上本地安装Llama 2的问题一直是许多人争论的焦点。本文旨在阐明这一过程,为那些渴望在Apple MacBook上利用这种AI模型功能的人提供全面的指南。

Llama 2型号虽然与Linux和Windows兼容,但并不是专门为Apple Silicon设计的。这让许多MacBook用户陷入了困境。然而,有一线希望。已经开发了一个开源C++项目,提供了一个可行的解决方案,可以将Llama模型加载到MacBook上。

在 MacBook 上本地安装 Llama 2

对于那些有兴趣学习如何在本地安装Llama 2的人,下面由Alex Ziskind制作的视频提供了分步视频指南。引导您完成克隆存储库、下载模型以及转换它们以在由 Apple Silicon 硬件提供支持的 MacBook 上使用的过程。

您可以从GitHub和Hugging Face下载Llama 2。此版本包括预训练和微调的 Llama 语言模型的模型权重和起始代码,参数范围从 7B 到 70B。GitHub 存储库旨在作为加载 Llama 2 模型和运行推理的最小示例。您可以在Meta AI网站上请求访问最新版本的Llama。

需要注意的一件重要事情是这些模型的大小。例如,7亿个参数模型的时钟频率高达13.48千兆字节。但是,可以量化这些模型以减小其大小,从而使设备更易于管理。

Meta 解释了更多关于 Llama 2 版本的信息:

“在这项工作中,我们开发并发布了Llama 2,这是一个预训练和微调的大型语言模型(LLM)的集合,其规模从7亿到70亿个参数不等。我们微调的LLM,称为Llama 2-Chat,针对对话用例进行了优化。在我们测试的大多数基准测试中,我们的模型优于开源聊天模型,并且基于我们对有用性和安全性的人工评估,可能是闭源模型的合适替代品。我们详细介绍了我们对Llama 2-Chat进行微调和安全改进的方法,以使社区能够在我们的工作基础上再接再厉,并为LLM的负责任发展做出贡献。

什么是LLaMA 2

LLaMA代表大型语言模型Meta AI,是由领先的AI研究实体Meta AI于2023年7月开发和发布的复杂语言模型。这些模型基于参数以四种不同的配置构建,分别调整为13亿、33亿、65亿和<>亿个参数。

LLaMA 模型的 13 亿次参数迭代表现出非凡的功效,在大多数自然语言处理 (NLP) 基准测试中优于更大的模型 GPT-3,后者具有 175 亿个参数。同样,观察到LLaMA参数化程度最高的模型与PaLM和Chinchilla等顶级模型处于竞争地位。

从历史上看,像这样的高性能大型语言模型 (LLM) 的访问通常仅限于有限的 API,如果它们可以访问的话。然而,Meta 采取了一种新颖的方法,将 LLaMA 模型的权重发布给更广泛的研究界。这一行动是在非商业许可下实施的,为研究人员提供了前所未有的资源访问。

几个月后的 18 年 2023 月 2 日,Meta 与 Microsoft 合作宣布 LLaMA 2 的出现,标志着原始 LLaMA 的第二次和高级迭代。更新后的模型LLaMA 7以三种模型大小进行训练和发布,这些模型由13亿,70亿和1亿个参数组成。该模型的架构延续了LLaMA 40的脉络,明显的区别在于使用额外的2%数据来训练LLaMA <>的基础模型。

一旦你设法在本地安装 Llama 2,你就可以开始使用模型进行推理。这些模型可以生成文本,尽管生成的文本的准确性和有用性可能会有所不同。重要的是要记住,Llama 2模型仍在开发中,可能没有完全配备生成代码。因此,建议将其用于创意任务。

虽然在苹果硅动力MacBook上本地安装Llama 2的过程可能看起来令人生畏,但它肯定是可以实现的。借助开源C++项目和分步指南,您可以开始在MacBook上利用Llama 2型号的强大功能。请记住,在使用这个有前途的 AI 工具时要有耐心和创造性。有关访问最新的LLaMA 2更大语言模型的更多信息,请跳转到Meta AI官方网站

未经允许不得转载:统信UOS之家 » 如何在Macbook驱动的苹果芯片上本地安装LLaMA 2 AI

相关文章