edyang

我干了什么 究竟拿了时间换了什么
技术分享时间线软件开发、设备接入、视觉与运维实践

本地推理冷启动：模型加载与首请求分开测

服务启动快但首次请求慢，可能在请求时才完成额外初始化。

服务启动快但首次请求慢，可能在请求时才完成额外初始化。 权重读取、设备传输、算子初始化与缓存建立分属阶段，健康 HTTP 响应不证明目标模式就绪。 一、问题的范围与前提 模型负责语言或特征推断，检索提供候选材料，程序验证结构与权限，执行层管理实际动作。各部分成功条件应单独定义。生成流畅、JSON 合法和工具调用受理，都不足以独立证明事实正确或业务已经完成。 二、技术分析与方案取舍...

2024-01-25

llama.cpp 服务预算：上下文、KV 缓存与并发

工程助手请求含工具和代码，服务窗口必须按最终请求计算。

工程助手请求含工具和代码，服务窗口必须按最终请求计算。 上下文配置、slot 和缓存分配随实现变化，权重量化不会让全部缓存等比例缩小。长输入与并发带来不同峰值。 一、问题的范围与前提 模型负责语言或特征推断，检索提供候选材料，程序验证结构与权限，执行层管理实际动作。各部分成功条件应单独定义。生成流畅、JSON 合法和工具调用受理，都不足以独立证明事实正确或业务已经完成。 二、技术...

2024-01-15

本地模型量化：权重容量与运行内存

量化文件能放进显存，不表示长上下文和并发都能运行。

量化文件能放进显存，不表示长上下文和并发都能运行。 权重、KV 缓存、编码器和计算缓冲各有内存需求。量化降低部分权重占用，也可能改变质量，加载后仍存在请求峰值。 一、问题的范围与前提 模型负责语言或特征推断，检索提供候选材料，程序验证结构与权限，执行层管理实际动作。各部分成功条件应单独定义。生成流畅、JSON 合法和工具调用受理，都不足以独立证明事实正确或业务已经完成。 二、技术...

2024-01-05

智能体状态保存：上下文与业务进度分开

对话历史还在，任务进度却丢失，说明聊天上下文没有承担可靠状态管理。

对话历史还在，任务进度却丢失，说明聊天上下文没有承担可靠状态管理。 业务状态需要持久身份、明确转换和版本；模型上下文只提供本轮推断材料。跨步骤副作用与回执应独立保存。 一、问题的范围与前提 模型负责语言或特征推断，检索提供候选材料，程序验证结构与权限，执行层管理实际动作。各部分成功条件应单独定义。生成流畅、JSON 合法和工具调用受理，都不足以独立证明事实正确或业务已经完成。 二...

2023-12-26

知识问答缺少依据：拒答条件如何具体化

系统为了每题给答案可能编造证据，需定义什么情况只能回答有限内容。

系统为了每题给答案可能编造证据，需定义什么情况只能回答有限内容。 相关候选与直接支持不同，事实缺失、冲突和版本不明各有状态。拒答可以说明缺什么，而不等于整个系统错误。 一、问题的范围与前提 模型负责语言或特征推断，检索提供候选材料，程序验证结构与权限，执行层管理实际动作。各部分成功条件应单独定义。生成流畅、JSON 合法和工具调用受理，都不足以独立证明事实正确或业务已经完成。 二...

2023-12-16

企业知识检索：权限过滤放在哪个阶段

用户只能访问部分资料，检索和生成都需要遵守对象权限。

用户只能访问部分资料，检索和生成都需要遵守对象权限。 先取回再让模型自行隐藏内容，会把未授权数据放进上下文。索引、候选筛选、引用与缓存需共享权限范围。 一、问题的范围与前提 模型负责语言或特征推断，检索提供候选材料，程序验证结构与权限，执行层管理实际动作。各部分成功条件应单独定义。生成流畅、JSON 合法和工具调用受理，都不足以独立证明事实正确或业务已经完成。 二、技术分析与方案...

2023-12-06

工具结果进入模型：计算值、解释与引用

模型解释统计结果时，若不保留查询范围，容易把工具值扩展为没有依据的结论。

模型解释统计结果时，若不保留查询范围，容易把工具值扩展为没有依据的结论。 确定性工具负责计算，模型负责解释；输入条件、单位、版本和失败状态是结果的一部分。工具空结果不能被补成正常数据。 一、问题的范围与前提 模型负责语言或特征推断，检索提供候选材料，程序验证结构与权限，执行层管理实际动作。各部分成功条件应单独定义。生成流畅、JSON 合法和工具调用受理，都不足以独立证明事实正确或业...

2023-11-26

工业 AI 发布门槛：数据、模型与运行条件

模型文件更新后现场结果改变，发布需要同时固定前后处理、参数与成像条件。

模型文件更新后现场结果改变，发布需要同时固定前后处理、参数与成像条件。 权重只是执行的一部分，数据字典、区域模板和阈值共同决定行为。回归验证应覆盖正常与困难条件，版本不相容时禁止混用。 一、问题的范围与前提 成像质量、数据分布、算法与业务判断各自有条件。清晰图像提供可观察细节，模型和规则解释输入，业务层决定结果如何使用。视野、曝光、颜色、姿态与输入尺度变化，都可能在模型参数不变时改...

2023-11-16

工业项目复盘：算法效果与整体收益分开记录

集成项目同时包含网络、设备与平台，整体效率提升不能全部归给某个算法。

集成项目同时包含网络、设备与平台，整体效率提升不能全部归给某个算法。 指标必须有对象、时间窗口和分母，方案目标、单模块测试与整体项目成效分别表达。可核验的工程过程比漂亮百分比更有复用价值。 一、问题的范围与前提 技术交付包含环境、接口、数据、权限和验证范围。某个模块演示成功，不代表整套系统已验收。应将已有结果、工程目标和待验证条件分别记录，让读者知道结论能够应用到哪里。 二、技术...

2023-11-06

技术交付文档：部署说明与接口契约怎样对应

文档描述和代码不一致，会让现场维护依赖作者记忆。交付需要把环境、接口与验证对应起来。

文档描述和代码不一致，会让现场维护依赖作者记忆。交付需要把环境、接口与验证对应起来。 部署配置决定地址和资源，接口契约决定字段和错误，验证案例证明组合可用。版本关系比单独页数更重要。 一、问题的范围与前提 技术交付包含环境、接口、数据、权限和验证范围。某个模块演示成功，不代表整套系统已验收。应将已有结果、工程目标和待验证条件分别记录，让读者知道结论能够应用到哪里。 二、技术分析与...

2023-10-27

FEATURED TAGS
阿里云 成像 计算机视觉 工程实践 AI 工业通信 设备接入 技术复盘 系统交付 感知导航 机器人 工程验证 硬件 数据处理 系统集成 软件工程 Python 后端 接口设计 数据一致性 数据库 运维 前端 部署 Docker Web Linux 服务器 消息系统 MQTT linux ubuntu Java Spring Boot
ABOUT ME

For the next quantum leap
离开世界之前，一切都是过程

FRIENDS