两卡部署未必比一张更快，通信与不均衡分片可能成为成本。
张量并行、流水分片与设备间传输各有支持条件。总容量与任意单次分配不同，GPU 架构也可能限制算子。
一、问题的范围与前提
模型负责语言或特征推断，检索提供候选材料，程序验证结构与权限，执行层管理实际动作。各部分成功条件应单独定义。生成流畅、JSON 合法和工具调用受理，都不足以独立证明事实正确或业务已经完成。
二、技术分析与方案取舍
多 GPU 分配有三种不同含义：复制完整模型以处理不同请求、按层分片、按张量拆分计算。前者增加吞吐但不减少每卡权重；后两者依赖模型与框架的实际支持，并增加设备间通信。容量预算分别记录各卡权重、缓存、编码器和临时缓冲，不能只用总显存相加。
把输入送到某一张卡也可能使该卡出现额外峰值。先确认短请求在目标分配上完成，再比较长上下文和并发；记录首 token 与稳定生成速度，避免把加载时间混入吞吐。设备间连接、主机内存和 CPU 卸载都是条件，不应凭卡数给出线性加速承诺。
先选择一个明确任务，固定输入、模型和工具范围，完成小样本端到端验证，再扩展数据与并发。引用和计算使用可反查证据，外部内容不授予执行权限。资源、上下文与时间都有预算，失败状态能被查询和恢复，避免在结果未知时盲目重做。
三、实现与排查的顺序
- 确认并行策略。
- 记录每卡资源。
- 测通信与前向。
- 按真实长短请求比较。
按这个顺序保留中间结果，可以区分输入条件、处理过程和最终输出。前一阶段的条件不成立时，先解释对应错误，再继续后面的试验；单次返回成功不足以覆盖整条链路。
最小示例
1
2
3
加载与预热单独记录
读入、预处理、传输、计算、检索、保存分别计时
报告：样本范围、中位、尾部、资源峰值
GPU 异步调用需要合适事件或同步测量，阶段重叠时不能简单相加。所有性能比较同时检查结果质量，不能把减少输入或降低检出条件当无代价提速。
四、验证和结果解释
评估集覆盖正常、困难与越权条件，保存事实错误、引用错误、格式错误和工具错误的区别。模型输出与业务结果分开测量，目标指标不能冒充实测。已有官方能力说明只能支持候选范围，最终质量仍取决于目标数据和环境。
| 需要验证的结果 | 保留的对照 | 不能由此推出的结论 |
|---|---|---|
| 单卡不超预算 | 固定输入与配置、对应输出 | 一次成功代表所有条件成功 |
| 分片质量一致 | 中断前后状态与错误阶段 | 没有报错代表结果正确 |
| 尾延迟可接受 | 恢复后的同条件复测 | 临时恢复代表根因已经消失 |
验证材料缺失、错误检索、依赖中断、资源不足与操作取消。系统应收窄结论或明确失败，不能为了给出答案补造证据。模型版本与处理参数成对保存，变更后重跑固定问题集，防止更自然的表达掩盖任务能力退步。
五、适用边界与结论
不能默认两个16GB等于一块32GB，框架支持需核验。
这条路径把“确认并行策略”与“按真实长短请求比较”连在一起，中间保留可复查的条件。实施时优先确认“单卡不超预算”，再检查“尾延迟可接受”；两者都满足，才能在当前样本与配置范围内评价方案。设备、数据或软件版本改变以后，相关假设需要重新验证。
