Mixture of Agents
Mixture of Agents(多模型融合)是一种虚拟模型 provider。每个命名的 MoA 预设都会显示为 moa provider 下的一个可选模型。
当你选择某个 MoA 预设时,该预设的 aggregator 就是实际执行的模型。它负责撰写助手回复并发出工具调用。Reference 模型会先运行,为 aggregator 提供可供使用的分析。
当一项困难任务受益于多个模型的视角、但仍需要 Kopi Agent 的常规 agent 循环时(包括工具调用、后续迭代、中断、transcript 持久化,以及与任何其他消息相同的会话上下文),请使用 MoA。
选择 MoA 预设作为你的模型
你可以通过常规的模型选择界面来选择预设:
/model default --provider moa
/model review --provider moa
MoA 预设可在每个 Kopi Agent 界面上选择,因为 MoA 是模型系统中的一个普通 provider:
- CLI / gateway / TUI
/model——/model <preset> --provider moa,或者使用/model --provider moa选择默认预设。当名称与已配置的预设完全匹配时,直接使用/model <preset>也可以。 kopi model和 Dashboard 模型选择器 —— 会出现一个Mixture of Agentsprovider 行,其中列出你的预设名称作为其模型。- 桌面 GUI 应用 —— 模型下拉菜单中会显示一个
MoA presets分区;选择其中一个(MoA: <preset>)即可将当前模型切换为该预设。桌面端设置面板也可以创建和编辑预设。
因此,配置好的预设会出现在任何你可以选择其他模型的地方。
斜杠命令快捷方式
/moa 是一次性的便捷快捷方式。它会通过默认 MoA 预设运行单条 prompt,然后恢复你之前使用的模型:
/moa design and implement a migration plan for this flaky test cluster
Kopi Agent 会在该轮对话中临时切换到默认 MoA 预设,发送 prompt,然后恢复你之前的模型。整个参数都是 prompt —— /moa 不再将其解析为预设名称。
/moa
不带 prompt 的 /moa 只会打印用法说明。
要切换到某个 MoA 预设并在会话的剩余时间使用它,请从模型选择器中选择它 —— MoA 预设会在每个模型选择界面中的 Mixture of Agents provider 下显示(见上文)。/moa 刻意不作为模型切换,因此普通的 prompt 绝不会意外更改你的模型。
在 agent 循环中如何工作
当选择了 provider moa 时,对于每次主模型调用,Kopi Agent 会:
- 按名称解析所选的预设;
- 在不带工具 schema 的情况下运行配置的 reference 模型(它们只接收对话中的 user/assistant 文本 —— 不包括 Kopi Agent 系统提示词或工具调用 transcript —— 这样 reference 调用保持低成本,并避免严格 provider 的拒绝);
- 将 reference 的输出作为私有上下文附加给 aggregator;
- 使用常规的 Kopi Agent 工具 schema 调用配置的 aggregator;
- 将 aggregator 的响应视为真实的模型响应;
- 如果 aggregator 调用了工具,Kopi Agent 会正常执行这些工具;
- 在下一次模型迭代中,相同的 MoA 流程会在更新后的对话(包括工具结果)上再次运行。
由于 MoA 是通过常规模型系统选择的,它会自动与 /goal、gateway 会话、TUI 会话以及桌面端聊天组合使用。
配置预设
你可以从以下位置配置命名的 MoA 预设:
- Dashboard → Models → Model Settings → Mixture of Agents
- 桌面应用 → Settings → Model → Mixture of Agents
kopi moa configure [name]config.yaml
配置中存储的是显式的 provider/model 对,因此你可以混合使用不同的 provider,并使用来自同一 provider 的多个模型:
moa:
default_preset: default
presets:
default:
reference_models:
- provider: openai-codex
model: gpt-5.5
- provider: openrouter
model: deepseek/deepseek-v4-pro
aggregator:
provider: openrouter
model: anthropic/claude-opus-4.8
# Optional: pin sampling temperatures. When omitted (the default),
# temperature is NOT sent and each model uses its provider default —
# the same behavior as a single-model Kopi Agent.
# reference_temperature: 0.6
# aggregator_temperature: 0.4
max_tokens: 4096
enabled: true
默认预设:
- reference:
openai-codex:gpt-5.5 - reference:
openrouter:deepseek/deepseek-v4-pro - aggregator / 实际执行模型:
openrouter:anthropic/claude-opus-4.8
通过 reference_max_tokens 调节 advisor 速度
每一轮,MoA 都会并行运行 reference 模型(advisor),然后由 aggregator 执行动作。Advisor 的生成是每轮延迟的主要来源 —— 每轮的总耗时与 advisor 发出的 token 数量强相关,因为整轮都要等待最慢的 advisor 完成书写。默认情况下,advisor 没有上限(reference_max_tokens 未设置),因此它们可能会写出长篇、论文般的建议。
在预设上设置 reference_max_tokens,即可限制 advisor 的输出,让它给出简洁的建议。Aggregator 只需要每个 advisor 判断的要点,因此设置上限(例如 600)可以明显降低每轮总耗时,而对质量影响很小。它只限制 advisor —— 实际执行的 aggregator 的输出(用户可见的回答)永远不会被限制。
moa:
presets:
fast:
reference_models:
- provider: openrouter
model: anthropic/claude-opus-4.8
- provider: openrouter
model: openai/gpt-5.5
aggregator:
provider: openrouter
model: anthropic/claude-opus-4.8
reference_max_tokens: 600 # concise advice → faster turns
如果不设置(或设为 0/留空),则保持此前无上限的行为。
终端预设管理
kopi moa list
kopi moa configure # update the default preset
kopi moa configure review # create or update a named preset
kopi moa delete review
基准测试
在 HermesBench 上,一个双模型 MoA 预设 —— 由 claude-opus-4.8 对 gpt-5.5 reference 进行聚合 —— 的得分超过了任一模型单独运行的结果:
| 模型 | HermesBench 得分 |
|---|---|
| Opus aggregator(opus-4.8 + gpt-5.5 reference)— MoA | 0.8202 |
anthropic/claude-opus-4.8 | 0.7607 |
openai/gpt-5.5 | 0.7412 |
该 MoA 配置比其最强的单一组件(opus-4.8)高出约 6 个百分点,证实了在困难任务上聚合第二个视角可以提升质量,而不只是将两者的结果做平均。
提示词缓存
MoA 的设计确保主对话的提示词缓存永远不会失效。选择 MoA 预设就是一次普通的模型选择:它不会修改历史上下文、不会更换工具集、也不会在对话中途重建系统提示词。你的对话历史、系统提示词和工具 schema 始终保持逐字节稳定,因此其他模型所依赖的缓存前缀会像普通模型一样被完整保留。切换到或切换出 MoA 预设所产生的缓存失效成本,与任何其他 /model 切换完全相同——仅此而已。
两类内部调用都会正常缓存:
- **参考模型(Reference models)**收到的是经过裁剪的确定性对话视图(系统提示词和工具调用记录已剥离——见上方循环)。由于该视图是稳定历史的稳定函数,参考模型的提示词前缀在各轮迭代间会重复出现,因此能正常缓存。参考调用是简短的建议性调用,不带工具。
- **聚合器(Aggregator)**是实际执行的模型。参考输出被附加到最新用户消息的末尾,作为私有指引。由于这段文本位于尾部——在整个稳定前缀(系统提示词 + 既有历史)之后——它不会使任何已缓存前缀失效:聚合器对注入点之上的全部内容都能命中缓存,只有新追加的尾部才是未缓存的。这正是每个普通回合的行为方式:每条新的用户消息同样属于未缓存的尾部 token。
因此,MoA 在任何一类调用上都不会牺牲提示词缓存。它唯一的真实开销是每轮迭代中额外的参考调用——你为多个模型的视角付费,而不是为失效的缓存买单。与 Kopi Agent 其余部分共享的长期对话前缀完全保持完好。
说明
- MoA 不再列在
kopi tools下;也没有可启用的moa工具集。 - 在某个预设上设置
enabled: false会禁用该预设的参考扇出:聚合器将独立执行,效果与你将其选为普通模型完全一致。这就是在仪表板和桌面设置中提供的按预设关闭开关。 - 某个预设的聚合器不能是另一个 MoA 预设。递归的 MoA 树被有意阻止。
- 单个参考模型的凭证失败不会导致本轮中止。Kopi Agent 会将该失败纳入参考上下文,并使用其余成功返回的模型继续执行。
- MoA 会增加模型调用次数。单次模型迭代可能涉及多次参考调用加上一次聚合器调用。