Claude API新增effort调节功能
AI摘要
由 AI 生成 · 仅供参考
Anthropic为Claude API新增一项Beta功能,允许开发者在消息中调整effort档位,使模型能够在回答充分程度、响应速度和使用成本之间进行取舍,并支持同一段对话按任务变化切换设置。
驱动中国11月12日消息,Anthropic在Claude API中提供一项Beta功能,允许开发者通过effort设置调整模型在同一段对话中的投入档位。该能力面向消息层级配置,开发者可依据任务变化改变模型回答的充分程度、响应速度和使用成本之间的平衡。
该设置并非只影响最终文本长度,还会改变模型在推理、工具调用和答案组织等过程中的资源分配。借助这一功能,同一段会话不必固定使用同一设置,可在后续任务需要时切换模型回答的努力程度。
具体使用方式上,开发者可在消息序列中加入一条内容为空的system消息,并在output_config.effort中指定目标等级。相关调整不需要修改顶层配置,也不会影响提示缓存命中。
该设置不会改变此前已经生成的内容,其作用范围从下一条带有新输入的用户消息开始,影响之后的回答。因此,开发者需要关注调整消息在序列中的位置,以及下一次用户输入出现的时间点。
在应用层面,该功能可用于同一对话中的任务切换:前半段可处理简单问答,后半段进入复杂分析时,开发者可在切换位置设置新的effort等级,无需调整全局配置。
版权声明:本文由驱动中国整理发布,转载需注明出处与原文链接。如有疑问请联系
editor@qudong.com。
来源:驱动中国 · 原文链接:https://www.qudong.com/article/529474.html
本文价值
★★★★★
—
成为第一个评分的人
登录后为本文打分
评论加载中…