模型与发布Google

Gemini Decisions API:置信分数也需要校准检查

Google 于11月11日推出 Gemini Decisions API,用于有边界的多模态选择。公告介绍对候选选项评分,而非生成自由文本答案。

淡紫色玻璃球位于铜轨分岔处,轨道通向工具箱、图书馆和审查桌,旁边放着置信度仪表。
概念插画。

发生了什么

Google 于11月11日推出 Gemini Decisions API,用于有边界的多模态选择。公告介绍对候选选项评分,而非生成自由文本答案。

为何重要

置信分数只有能改善实际数据上的决策才有价值。路由器可能需要拒绝模糊情况,而不是每次都选择工具。应明确错误路由的后果:把普通查询交给更慢的模型,与批准不可逆操作具有不同风险。

接下来检查什么

建立有标签的验证集,包括模糊输入和超出分类范围的案例。按置信区间测量错误率,设置回退阈值,并在数据分布变化后重新测试。公告属于供应商证据,Codorc 尚未独立测试该接口。

事件日期指原始公告日期,发布日期指本文首次刊登于 Codorc 的日期。

继续阅读

全部报道