编程与代理ggml-org / Hugging Face

llama.cpp 1.0:升级前先检查 API 与 ABI

11 月 13 日发布的 llama.cpp 和 ggml 为库兼容性划定了明确边界。对于现有集成,应先检查被移除的 API,确保头文件与二进制库一致,并核对 RPC 对端,再更换部署版本。

一个苔绿色编程兽人用卡尺测量铜制连接件,旁边放着淡紫色接口模块和一只奶油色陶瓷羊驼。
概念插画。

兼容性承诺有明确的适用边界

11 月 13 日,ggml-org 宣布发布 libllama 和 libggml 库的 1.0.0 版本。团队表示,API 和 ABI 的不兼容变更将通过主版本号变化体现。其公布的版本规则表将 ./include 下公共 C API 的破坏性变更对应到主版本升级,向后兼容的新增功能对应到次版本升级,不改变 API 的修复则对应到补丁版本升级。

对于维护集成的开发者,API 是调用代码使用的源码层面接口,ABI 则是编译后组件之间的二进制接口。此次公告为这些库的接口边界提供了更明确的版本信号,但不能据此认定每个命令行选项、服务端端点、内部头文件或下游语言绑定,都具有相同的兼容性约定。请确认应用实际依赖的是哪一层接口。

从绑定实际调用的 API 开始

llama.cpp v1.0.0 的发行说明明确移除了已弃用的公共 API。列出的变更包括删除 llama_set_warmup,以及将 llama_set_embd_state_src 重命名为 llama_set_ctx_state_src;NextN/speculative API 则移入 llama.h。因此,尽管新的版本规则旨在让未来的兼容性边界更加清晰,本次发布仍需要进行源码迁移审查。

整理一份精简清单,列出封装层使用的函数、结构体和头文件,包括自动生成的外部函数绑定。在更新依赖锁文件之前,将清单与已锁定版本的发行说明和公共头文件逐项核对。如果绑定内置了较旧的代码快照,应先确认它支持哪个库版本,而不是假定可以安全地直接替换底层共享库。

让头文件、库与构建选项保持一致

锁定源码标签,只是实现可复现打包的一部分。构建时可能使用一套头文件,运行时却加载了另一个共享库。请记录应用中实际包含的库文件,或加载器实际解析到的库文件,同时记录目标平台、编译器和已启用的后端。这些是 Codorc 建议的部署检查,并非发布公告提供的额外保证。

锁定到具体标签的构建指南,可以作为配置所用后端的起点。针对预期的依赖组合,重新构建调用代码及其绑定,再在干净环境中运行打包后的应用。检查模型加载、上下文创建、生成和关闭流程时,保留一套已知可用的软件包。版本号本身不能证明不同操作系统、驱动、模型或量化格式下的行为一致。

使用远程后端时,协调 RPC 升级

ggml v1.0.0 的说明移除了旧的 DIAG_MASK_INF 和 DIAG_MASK_ZERO 操作,并说明 RPC 协议升级到 v9,不兼容的对端将被拒绝。如果部署使用 RPC,应同时检查客户端与服务端的协议兼容性。本地推理的冒烟测试不会覆盖这条远程调用路径。请安排范围受控的对端升级试验,并保留兼容的回退组合;这并不意味着每个对端都必须采用完全相同的补丁版本。

保留可以复现的迁移记录

以下检查可将一次版本变更转化为可审阅的集成试验。我们尚未针对这些发布版本执行这些检查,它们也不构成性能排名:

  • 记录准确的发布版本或提交、封装层版本、公共头文件、构建标志和打包的库文件。为用于比较的模型产物保留校验和。
  • 重新构建一个最小调用程序,覆盖应用使用的公共函数与结构体。除了成功生成的路径,还应包含错误处理和资源清理路径。
  • 在每个受支持的平台与后端上运行打包后的应用。检查实际加载的库、模型初始化、输出处理和资源清理。
  • 对于 RPC 部署,记录双方对端及其协议版本。在不涉及生产工作负载的情况下,测试兼容连接,以及特意选取的不兼容测试对端组合。
  • 比较时使用相同的模型、提示词、上下文设置和任务验收检查。记录加载时间、生成时间、内存用量和故障,而不是把每项变化都归因于版本号。
  • 在上线前确定回退条件。保留上一套兼容的应用、绑定和库软件包,避免升级失败后还要从未锁定版本的构建中重新拼凑。

在实际交付的应用中衡量结果

发行说明还列出了后端和模型支持方面的变化,但这些清单不能证明你的工作负载会获得速度或质量提升。在测试相关硬件和软件包之前,应将支持情况的说明视为维护者的陈述。一次有用的升级决策,应结合文档界定的兼容性边界与实际观察到的应用行为,而不应只依赖 1.0 这个标签。

事件日期指原始公告日期,发布日期指本文首次刊登于 Codorc 的日期。

继续阅读

全部报道
一位苔绿色的编程兽人从淡紫色工具挂板上挑选一把铜柄螺丝刀,旁边放着一个用铜搭扣扣紧的深紫色工具箱。
编程与代理Google / Introducing Tool Retrieval in the Gemini API

Gemini Tool Retrieval:核对工具发现与实际执行之间的边界

Google 于 11 月 19 日推出 Tool Retrieval 预览版。Gemini Interactions API 可以按需加载工具参数模式,但开发者仍需区分工具发现、执行、授权,以及完成任务的全部成本。

一个苔绿色编程兽人调整铜制控制器,控制器通过导线连接着淡紫色仓库模块,旁边独立的玻璃扫描头未点亮,停放在木制支臂上。
编程与代理GitHub

GitHub AI Scan API:启用不等于完成扫描

GitHub 在 11 月 13 日的更新中,为 AI Scan REST API 加入了 repository_scan 控制项。团队可以通过代码管理分阶段启用的设置,但策略继承、联合更新失败以及手动扫描,仍需分别检查。

一个苔绿色的工作坊小机器人,将淡紫色界面组件装入黄铜窗口框架,旁边摆着分类整齐的组件托盘。
编程与代理Google Developers

A2UI 1.0:迁移前先确认渲染器的支持情况

Google 于 11 月 11 日宣布推出 A2UI 的首个稳定协议版本。对开发者而言,接下来最有价值的工作是逐项核对集成版本:协议稳定,并不意味着每个渲染器或宿主都已完成升级。