Newshot Original text(via IT之家)
本地推理引擎 llama.cpp 1.0.0 史诗级更新：支持超 150 种模型架构，断网也能满血跑大模型
IT之家 11 月 14 日消息，开发者 Georgi Gerganov（X 账号为 @ggerganov）昨日（11 月 13 日）在 X 平台发布推文，宣布开源 AI 推理项目 llama.cpp 与底层机器学习引擎 ggml 的库版本迈入 1.0.0。
IT之家查询公开资料，Gerganov 是开源项目 llama.cpp 的创建者，也是 ggml、whisper.cpp 等本地 AI 基础软件的重要开发者。他在个人 X 简介中将自己标注为 Hugging Face 工程师，GitHub 资料所在地为保加利亚索非亚。
llama.cpp 是一个主要用 C/C++ 编写的开源 AI 推理项目，核心作用是让大语言模型在个人电脑、服务器等不同硬件上运行。它既可以用于本地部署，也可以用于云端服务，目标是降低部署复杂度，并充分利用设备的计算能力。
本次更新最大的亮点就是明确接口兼容性规则：
| 项目 | 库 | 定位 |
|---|---|---|
| llama.cpp | libllama | C/C++ 大模型推理库 |
| ggml | libggml | 底层机器学习张量库 |
两者今后都会通过主版本号升级，明确标记 API 或 ABI 不兼容的变化，让依赖这些库的应用能够识别升级边界。对于开发者而言，可以从版本号上，更容易判断某次升级是否可能要求自己的应用同步修改。官方给出的版本规则是：
| 版本位 | 什么情况下更新 |
|---|---|
| MAJOR，例如 1.x.x → 2.0.0 | ./include 中公共 C API 出现破坏性变更；公告同时明确，API / ABI 不兼容会通过主版本升级体现 |
| MINOR，例如 1.0.x → 1.1.0 | 向后兼容的功能、后端更新、模型支持或 API 新增 |
| PATCH，例如 1.0.0 → 1.0.1 | 不改变 API 的 bug 修复 |
在工程质量方面，官方公告称为了支撑持续加快的开发节奏，团队强调了三项投入：
- 使用 Hugging Face 的 HF Buckets、HF Jobs 扩展 CI 基础设施。
- 在 NVIDIA、AMD、Qualcomm、Arm、IBM、Intel 的硬件支持下，持续增加覆盖主要硬件平台的自托管测试运行器。
- 在开发流程中审慎使用 LLM，同时继续把代码质量、架构控制和对实现细节的理解放在首位。
在后端与模型支持方面，ggml 通过专用后端支持不同硬件；每个后端都可以编译为动态库，并按需在运行时加载。
llama.cpp 已支持超过 150 种模型架构变体及主流推测解码方法。团队还将继续加强自动化测试基础设施，并借助英伟达、AMD、高通、Arm、IBM 和英特尔提供的硬件支持，扩大跨平台测试覆盖。
相关文章
- Meta 将于明日下线 Llama API 公共预览版
- Meta：通过 BitTorrent 上传盗版书籍属于合理使用
- 基于 Llama 模型打造：Meta 将为 VR 元宇宙平台 Horizon World 引入 AI 驱动的 NPC
- 消息称 Meta 拆分 AI 部门为两大团队，分别聚焦消费级产品与 AGI 基础研究
- Meta 推出激励计划助力初创企业采用其 Llama AI 模型，每月补贴高达 6000 美元
- Meta Llama AI 模型下载量突破 12 亿，开发者贡献数万个衍生模型