编程与代理Google / Introducing Tool Retrieval in the Gemini API

Gemini Tool Retrieval:核对工具发现与实际执行之间的边界

Google 于 11 月 19 日推出 Tool Retrieval 预览版。Gemini Interactions API 可以按需加载工具参数模式,但开发者仍需区分工具发现、执行、授权,以及完成任务的全部成本。

一位苔绿色的编程兽人从淡紫色工具挂板上挑选一把铜柄螺丝刀,旁边放着一个用铜搭扣扣紧的深紫色工具箱。
概念插画。

面向工具目录不断扩大的智能体的预览功能

Google 于 11 月 19 日为 Gemini Interactions API 推出 Tool Retrieval。开发者无需将每个工具的参数模式都放入初始提示词,而是可以让较少使用的工具保持可被发现的状态。Google 将降低延迟、减少 token 用量和改善工具选择列为其优势;这些是厂商声明,需要结合应用程序的实际工作负载进行验证。

对于连接了问题跟踪、部署和文档系统的编程助手,实际问题是:它能否找到正确操作,同时避免始终携带整个目录所带来的开销?有用的试验还应揭示以下情况的处理方式:两个工具听起来相似、某项能力不可用,或者用户的访问权限在任务执行中发生变化。

从工具发现一直追踪到实际操作

服务端检索使用一个 tool_search 条目,并在选定的 function 或 mcp_server 工具上设置 defer_loading: true。工具名称和描述仍然可见,完整参数模式则延后加载。Google 的示例依次经过 tool_search_call、tool_search_result,随后才进入请求的操作。因此,发现并加载参数模式只是中间步骤,不能证明任务已经完成。

函数调用文档区分了两类工具:由应用程序执行的自定义函数,以及 API 可以通过已连接服务器运行的远程 MCP 工具。应追踪与工具类型对应的执行路径。在部署记录中,应将返回参数模式、提出调用请求和经过核实的外部执行结果分别记录。

选择检索模式,同时保留权限检查

该预览功能要求使用 v1beta,并且支持 Interactions API,不支持 generateContent。客户端检索使用带有 execution: "client" 的 tool_search;应用程序搜索自己的工具注册表,并返回匹配的工具声明。这会增加一次往返,适合工具目录因用户而异的场景。不要将此模式与 defer_loading 混用,后者用于配置服务端检索。

Codorc 建议按照当前用户的权限过滤可发现的工具,并在执行操作时再次检查授权。检索排名无法证明某个账号是否有权修改代码仓库或部署服务。Google 的函数调用指南也另外要求验证调用,并采用适当的身份认证。评估中应包含权限被撤销的情况,无需执行真实部署。

在多轮交互中保持状态与工具配置一致

Interactions 概述指出,previous_interaction_id 会保留对话历史,而 tools、system_instruction 和 generation_config 的作用范围仅限于当前一次交互。后续轮次应重新发送适用的配置,包括返回工具结果的那一轮。应将本轮提供的工具注册表视为一次明确的配置选择,而不是假设历史记录会自动沿用它。

检索指南还要求,在无状态历史中原样保留检索步骤及其不透明签名。应检查步骤中是否存在 function_call,而不能只依赖 requires_action 状态。对于不断变化的工具注册表,应记录每次调用所适用的定义和权限;过去一次调用成功,并不代表当前仍获得了访问授权。

衡量完整请求和整个对话的开销

Google 表示,Tool Retrieval 不单独收费,但搜索指令会增加输入内容,已加载的参数模式也会在后续对话中继续计费。用量参考文档用 total_tool_use_tokens 表示一次请求内部额外模型调用产生的 token,并按输入费率计费。因此,只统计初始提示词可能遗漏一部分工作量。

缓存指南指出,Interactions API 支持隐式缓存,不支持手动管理的显式缓存。缓存节省取决于实际命中情况。应比较已完成任务的延迟和全部计费用量,将搜索、工具结果、重试和失败尝试一并纳入。初始提示词变小,本身并不能证明智能体成本更低或更可靠。

扩充工具库前的六项检查

以下是建议的应用程序检查步骤,并非已执行 API 集成或基准测试所得的结果。请使用不会造成实际影响的测试工具注册表,并事先确定预期结果:

  • 比较静态加载与延迟加载时,固定模型、任务、代码仓库版本和工具目录。
  • 加入两个名称相似的工具,以及一个找不到匹配工具的任务。记录所选择的能力,并检查智能体是否准确说明限制。
  • 测试被拒绝的操作,以及工具发现后、执行前权限被撤销的情况。验证应用程序的授权检查仍然会阻止该操作。
  • 在工具返回结果后和注册表发生变化后继续对话。检查是否明确提供了当前定义和配置。
  • 为每次尝试保留完整轨迹、外部执行结果和计费用量。分别记录参数模式发现、调用提议和实际执行。
  • 在推广使用前,为正确性、延迟和任务总成本设定验收标准。如果预览版的行为发生变化,应保留此前配置,以便恢复。

事件日期指原始公告日期,发布日期指本文首次刊登于 Codorc 的日期。

继续阅读

全部报道
一个苔绿色编程兽人用卡尺测量铜制连接件,旁边放着淡紫色接口模块和一只奶油色陶瓷羊驼。
编程与代理ggml-org / Hugging Face

llama.cpp 1.0:升级前先检查 API 与 ABI

11 月 13 日发布的 llama.cpp 和 ggml 为库兼容性划定了明确边界。对于现有集成,应先检查被移除的 API,确保头文件与二进制库一致,并核对 RPC 对端,再更换部署版本。

一个苔绿色编程兽人调整铜制控制器,控制器通过导线连接着淡紫色仓库模块,旁边独立的玻璃扫描头未点亮,停放在木制支臂上。
编程与代理GitHub

GitHub AI Scan API:启用不等于完成扫描

GitHub 在 11 月 13 日的更新中,为 AI Scan REST API 加入了 repository_scan 控制项。团队可以通过代码管理分阶段启用的设置,但策略继承、联合更新失败以及手动扫描,仍需分别检查。

一个苔绿色的工作坊小机器人,将淡紫色界面组件装入黄铜窗口框架,旁边摆着分类整齐的组件托盘。
编程与代理Google Developers

A2UI 1.0:迁移前先确认渲染器的支持情况

Google 于 11 月 11 日宣布推出 A2UI 的首个稳定协议版本。对开发者而言,接下来最有价值的工作是逐项核对集成版本:协议稳定,并不意味着每个渲染器或宿主都已完成升级。