提供商路由
当使用 OpenRouter 作为您的 LLM 提供商时,Hermes Agent 支持提供商路由——对哪些底层 AI 提供商处理您的请求以及如何优先排序的细粒度控制。
OpenRouter 将请求路由到许多提供商(例如 Anthropic、Google、AWS Bedrock、Together AI)。提供商路由让您可以优化成本、速度、质量或强制执行特定的提供商要求。
配置
将 provider_routing 部分添加到您的 ~/.hermes/config.yaml:
provider_routing:
sort: "price" # 如何排名提供商
only: [] # 白名单:仅使用这些提供商
ignore: [] # 黑名单:永远不要使用这些提供商
order: [] # 显式提供商优先级顺序
require_parameters: false # 仅使用支持所有参数的提供商
data_collection: null # 控制数据收集("allow" 或 "deny")信息
提供商路由仅在使用 OpenRouter 时适用。它对直接提供商连接没有影响(例如直接连接到 Anthropic API)。
选项
sort
控制 OpenRouter 如何为您的请求排名可用提供商。
| 值 | 描述 |
|---|---|
"price" | 最便宜的提供商优先 |
"throughput" | 最快的每秒令牌数优先 |
"latency" | 最低的首令牌时间优先 |
provider_routing:
sort: "price"only
提供商名称的白名单。设置时,仅使用这些提供商。所有其他提供商都被排除。
provider_routing:
only:
- "Anthropic"
- "Google"ignore
提供商名称的黑名单。这些提供商将永远不会被使用,即使它们提供最便宜或最快的选项。
provider_routing:
ignore:
- "Together"
- "DeepInfra"order
显式优先级顺序。首先列出的提供商优先。未列出的提供商用作后备。
provider_routing:
order:
- "Anthropic"
- "Google"
- "AWS Bedrock"require_parameters
当为 true 时,OpenRouter 将仅路由到支持您请求中所有参数的提供商(如 temperature、top_p、tools 等)。这避免了静默参数丢弃。
provider_routing:
require_parameters: truedata_collection
控制提供商是否可以将您的提示用于训练。选项为 "allow" 或 "deny"。
provider_routing:
data_collection: "deny"实际示例
优化成本
路由到最便宜的可用提供商。适合高容量使用和开发:
provider_routing:
sort: "price"优化速度
为交互式使用优先选择低延迟提供商:
provider_routing:
sort: "latency"优化吞吐量
最适合长文本生成,其中每秒令牌数很重要:
provider_routing:
sort: "throughput"锁定到特定提供商
确保所有请求都通过特定提供商以保持一致性:
provider_routing:
only:
- "Anthropic"避免特定提供商
排除您不想使用的提供商(例如,为了数据隐私):
provider_routing:
ignore:
- "Together"
- "Lepton"
data_collection: "deny"首选顺序与后备
首先尝试您首选的提供商,如果不可用则回退到其他提供商:
provider_routing:
order:
- "Anthropic"
- "Google"
require_parameters: true工作原理
提供商路由偏好通过每次 API 调用的 extra_body.provider 字段传递给 OpenRouter API。这适用于:
- CLI 模式 —— 配置在
~/.hermes/config.yaml中,在启动时加载 - 网关模式 —— 相同的配置文件,在网关启动时加载
路由配置从 config.yaml 中读取,并在创建 AIAgent 时作为参数传递:
providers_allowed ← from provider_routing.only
providers_ignored ← from provider_routing.ignore
providers_order ← from provider_routing.order
provider_sort ← from provider_routing.sort
provider_require_parameters ← from provider_routing.require_parameters
provider_data_collection ← from provider_routing.data_collection提示
您可以组合多个选项。例如,按价格排序但排除某些提供商并要求参数支持:
provider_routing:
sort: "price"
ignore: ["Together"]
require_parameters: true
data_collection: "deny"默认行为
当没有配置 provider_routing 部分时(默认),OpenRouter 使用其自己的默认路由逻辑,通常自动平衡成本和可用性。
提供商路由与后备模型对比
提供商路由控制 OpenRouter 内哪些子提供商处理您的请求。有关主模型失败时自动故障转移到完全不同的提供商的信息,请参阅后备提供商。