llama.cpp 服务预算：上下文、KV 缓存与并发

工程助手请求含工具和代码，服务窗口必须按最终请求计算。

上下文配置、slot 和缓存分配随实现变化，权重量化不会让全部缓存等比例缩小。长输入与并发带来不同峰值。

llama.cpp 服务预算：上下文、KV 缓存与并发：处理路径与验证条件

一、问题的范围与前提

模型负责语言或特征推断，检索提供候选材料，程序验证结构与权限，执行层管理实际动作。各部分成功条件应单独定义。生成流畅、JSON 合法和工具调用受理，都不足以独立证明事实正确或业务已经完成。

工程助手通常附带工具定义、历史代码与执行输出，最终输入远大于用户一行文本。核对服务启动日志中真正可用窗口，再为生成留空间。多slot的分配方式按目标提交版本说明，不将另一模型的每千token显存系数直接套用。扩容时使用真实长请求，记录首token、吞吐和每卡峰值，短问答不能验证大窗口。

先选择一个明确任务，固定输入、模型和工具范围，完成小样本端到端验证，再扩展数据与并发。引用和计算使用可反查证据，外部内容不授予执行权限。资源、上下文与时间都有预算，失败状态能被查询和恢复，避免在结果未知时盲目重做。

按这个顺序保留中间结果，可以区分输入条件、处理过程和最终输出。前一阶段的条件不成立时，先解释对应错误，再继续后面的试验；单次返回成功不足以覆盖整条链路。

请求预算 = 系统说明 + 历史 + 工具定义 + 工具结果 + 当前输入
可用输出空间 = 服务窗口 - 最终输入占用

token 与字符不是同一单位，模板也参与输入。摘要保留否定、约束和证据身份，服务实际配置与客户端展示同时核对。

评估集覆盖正常、困难与越权条件，保存事实错误、引用错误、格式错误和工具错误的区别。模型输出与业务结果分开测量，目标指标不能冒充实测。已有官方能力说明只能支持候选范围，最终质量仍取决于目标数据和环境。

验证材料缺失、错误检索、依赖中断、资源不足与操作取消。系统应收窄结论或明确失败，不能为了给出答案补造证据。模型版本与处理参数成对保存，变更后重跑固定问题集，防止更自然的表达掩盖任务能力退步。

不凭一次短问答证明超长窗口稳定，参数按目标提交文档核对。

这条路径把“统计最终 tokens”与“用真实长请求扩容”连在一起，中间保留可复查的条件。实施时优先确认“短长请求均可完成”，再检查“输出空间有预留”；两者都满足，才能在当前样本与配置范围内评价方案。设备、数据或软件版本改变以后，相关假设需要重新验证。