本地运行 Llama 2 的完整指南

343 发表评论
Llama 2 其实可以在 M1/M2 Mac、Windows、Linux 甚至手机本地上运行。 在本地运行 Llama 2 非常好玩,甚至不需要互联网连接。 在这篇博文中,我们将介绍三个可用于在您自己的设备上运行 Llama 2 的开源工具: 方法一:Llama.cpp (Mac/Windows/Linux) Llama.cpp 是 Llama 在 C/C++ 中的端口,这使得可以在 Mac 上使用 4 位整数量化在本地…