edyang

我干了什么 究竟拿了时间换了什么
技术分享时间线软件开发、设备接入、视觉与运维实践

智能体审计：计划、权限、工具和结果

只保存对话文本，无法解释工具实际执行了什么。

只保存对话文本，无法解释工具实际执行了什么。 计划是推断，授权由程序验证，工具回执证明受理或结果。对象身份与状态串联，外部资料不扩大权限。 一、问题的范围与前提 模型负责语言或特征推断，检索提供候选材料，程序验证结构与权限，执行层管理实际动作。各部分成功条件应单独定义。生成流畅、JSON 合法和工具调用受理，都不足以独立证明事实正确或业务已经完成。 二、技术分析与方案取舍 一条...

2025-02-25

智能体任务取消：页面关闭后后台是否仍执行

前端取消不一定停止后台工具，任务需传播取消并记录已发生副作用。

前端取消不一定停止后台工具，任务需传播取消并记录已发生副作用。 取消、超时和执行失败不同；可中断阶段与不可撤销动作要明确。已提交外部动作可能只能查询或补偿。 一、问题的范围与前提 模型负责语言或特征推断，检索提供候选材料，程序验证结构与权限，执行层管理实际动作。各部分成功条件应单独定义。生成流畅、JSON 合法和工具调用受理，都不足以独立证明事实正确或业务已经完成。 二、技术分析...

2025-02-15

RAG 技术报告：文档、GIS 与计算证据

报告要把文件、地图和数值连成可反查依据，流畅段落不足以完成任务。

报告要把文件、地图和数值连成可反查依据，流畅段落不足以完成任务。 检索保存位置和版本，GIS 与统计工具负责确定计算，模型解释结果。主张支持关系决定能否下结论。 一、问题的范围与前提 模型负责语言或特征推断，检索提供候选材料，程序验证结构与权限，执行层管理实际动作。各部分成功条件应单独定义。生成流畅、JSON 合法和工具调用受理，都不足以独立证明事实正确或业务已经完成。 二、技术...

2025-02-05

模型缓存管理：输入身份与版本失效

缓存返回快但答案过期，可能没有把资料权限或模型版本纳入键。

缓存返回快但答案过期，可能没有把资料权限或模型版本纳入键。 提示、工具结果、知识版本与用户范围都会影响答案。缓存命中只是复用条件成立，不证明旧结果仍正确。 一、问题的范围与前提 模型负责语言或特征推断，检索提供候选材料，程序验证结构与权限，执行层管理实际动作。各部分成功条件应单独定义。生成流畅、JSON 合法和工具调用受理，都不足以独立证明事实正确或业务已经完成。 二、技术分析与...

2025-01-26

Orin NX Super 负载预算：功耗、温度与推理

边缘算力提升后，仍需要同时观察显存共享、温度和功耗模式。

边缘算力提升后，仍需要同时观察显存共享、温度和功耗模式。 统一内存、频率与热限制影响持续吞吐。短时峰值不能代表长时间稳定性能，外设与录像也占资源。 一、问题的范围与前提 规格、安装与实际工作条件需要分别核对。接口外形相同不证明电气和数据能力相同，标称性能也不代表目标工况。测量基准、单位和容差应明确，再通过受控对照定位问题。 二、技术分析与方案取舍 Orin NX 的 Super...

2025-01-16

Jetson 备份：应用、rootfs 与整机恢复

边缘设备环境重建成本高，备份需先确定希望恢复到哪个层次。

边缘设备环境重建成本高，备份需先确定希望恢复到哪个层次。 应用文件、系统分区和启动相关分区覆盖不同范围。外置盘、模块载板与 BSP 匹配影响可启动恢复。 一、问题的范围与前提 规格、安装与实际工作条件需要分别核对。接口外形相同不证明电气和数据能力相同，标称性能也不代表目标工况。测量基准、单位和容差应明确，再通过受控对照定位问题。 二、技术分析与方案取舍 应用备份可以覆盖代码、配...

2025-01-06

模型服务并发：吞吐与首 token 延迟

并发增加会提升整体吞吐，也可能让单请求等待更长，需要按业务目标选择。

并发增加会提升整体吞吐，也可能让单请求等待更长，需要按业务目标选择。 排队、批处理和缓存共享影响首 token 与生成速率。不同输入长度形成不均衡，资源预算不能只按平均请求。 一、问题的范围与前提 模型负责语言或特征推断，检索提供候选材料，程序验证结构与权限，执行层管理实际动作。各部分成功条件应单独定义。生成流畅、JSON 合法和工具调用受理，都不足以独立证明事实正确或业务已经完成...

2024-12-27

多卡推理：分片、通信与单卡峰值

两卡部署未必比一张更快，通信与不均衡分片可能成为成本。

两卡部署未必比一张更快，通信与不均衡分片可能成为成本。 张量并行、流水分片与设备间传输各有支持条件。总容量与任意单次分配不同，GPU 架构也可能限制算子。 一、问题的范围与前提 模型负责语言或特征推断，检索提供候选材料，程序验证结构与权限，执行层管理实际动作。各部分成功条件应单独定义。生成流畅、JSON 合法和工具调用受理，都不足以独立证明事实正确或业务已经完成。 二、技术分析与...

2024-12-18

首个模型会话 OOM：健康响应与资源就绪

健康接口正常而首会话显存分配失败，说明目标模式仍有初始化路径。

健康接口正常而首会话显存分配失败，说明目标模式仍有初始化路径。 基础响应、模型准备和真实请求可用不同。额外加载范围需从实现确认，不按 GPU0 报错推断另一卡可自动分摊。 一、问题的范围与前提 模型负责语言或特征推断，检索提供候选材料，程序验证结构与权限，执行层管理实际动作。各部分成功条件应单独定义。生成流畅、JSON 合法和工具调用受理，都不足以独立证明事实正确或业务已经完成。 ...

2024-12-08

V100 推理兼容：算子支持和容量分别排查

模型加载后仍失败，可能同时存在注意力实现不支持和后续峰值不足。

模型加载后仍失败，可能同时存在注意力实现不支持和后续峰值不足。 V100 的架构条件决定可用算子，量化、模型结构和后端共同影响运行。权重加载不覆盖编码器与缓存阶段。 一、问题的范围与前提 模型负责语言或特征推断，检索提供候选材料，程序验证结构与权限，执行层管理实际动作。各部分成功条件应单独定义。生成流畅、JSON 合法和工具调用受理，都不足以独立证明事实正确或业务已经完成。 二、...

2024-11-28

FEATURED TAGS
阿里云 成像 计算机视觉 工程实践 AI 工业通信 设备接入 技术复盘 系统交付 感知导航 机器人 工程验证 硬件 数据处理 系统集成 软件工程 Python 后端 接口设计 数据一致性 数据库 运维 前端 部署 Docker Web Linux 服务器 消息系统 MQTT linux ubuntu Java Spring Boot
ABOUT ME

For the next quantum leap
离开世界之前，一切都是过程

FRIENDS