杨远发的博客 | Edyang's Blog

模型更新回归：固定问题集与失败类型

新模型回答更流畅，仍可能在权限、引用或结构上退步。发布要比较同一问题集。

新模型回答更流畅，仍可能在权限、引用或结构上退步。发布要比较同一问题集。答案风格与任务完成不同，事实、格式、工具参数和拒绝范围分别评分。随机生成也需多次观察，而不是挑一次最好结果。一、问题的范围与前提模型负责语言或特征推断，检索提供候选材料，程序验证结构与权限，执行层管理实际动作。各部分成功条件应单独定义。生成流畅、JSON 合法和工具调用受理，都不足以独立证明事实正确或业务...

2023-04-01

知识库引用：一段结论需要哪些依据

文章末尾列几个链接，不能证明每个判断都有支持。引用应靠近主张并能回到具体位置。

文章末尾列几个链接，不能证明每个判断都有支持。引用应靠近主张并能回到具体位置。同一段可能混合事实、推论和建议。来源只支持其中一部分时，需要拆开表达，页码与版本帮助审阅者反查。一、问题的范围与前提模型负责语言或特征推断，检索提供候选材料，程序验证结构与权限，执行层管理实际动作。各部分成功条件应单独定义。生成流畅、JSON 合法和工具调用受理，都不足以独立证明事实正确或业务已经完...

2023-03-22

流式模型接口：首字延迟、断流和取消

流式响应已经开始，不代表整段回答会完成。连接中断、取消和服务超时需要独立状态。

流式响应已经开始，不代表整段回答会完成。连接中断、取消和服务超时需要独立状态。首 token 延迟与总生成时间不同，缓冲和代理可能使流式看起来一次返回。客户端取消还需传播到后台资源，不能只关闭界面。一、问题的范围与前提模型负责语言或特征推断，检索提供候选材料，程序验证结构与权限，执行层管理实际动作。各部分成功条件应单独定义。生成流畅、JSON 合法和工具调用受理，都不足以独立...

2023-03-12

大模型上下文预算：历史、工具与输出空间

用户输入很短仍可能超限，因为最终请求还包含历史、系统说明和工具结果。

用户输入很短仍可能超限，因为最终请求还包含历史、系统说明和工具结果。模型上下文容纳输入与输出，token 分词和模板影响长度。简单截断可能删除关键约束，摘要也可能损失证据与否定条件。一、问题的范围与前提模型负责语言或特征推断，检索提供候选材料，程序验证结构与权限，执行层管理实际动作。各部分成功条件应单独定义。生成流畅、JSON 合法和工具调用受理，都不足以独立证明事实正确或业...

2023-03-03

模型结构化输出：可解析不等于可执行

模型返回合法 JSON 也可能包含错误枚举、范围或对象。解析后还需要业务校验。

模型返回合法 JSON 也可能包含错误枚举、范围或对象。解析后还需要业务校验。语法、schema 与业务约束分别验证。未知字段、缺失值和跨字段关系不能只靠字符串格式保证，工具调用也需绑定权限与状态。一、问题的范围与前提模型负责语言或特征推断，检索提供候选材料，程序验证结构与权限，执行层管理实际动作。各部分成功条件应单独定义。生成流畅、JSON 合法和工具调用受理，都不足以独立...

2023-02-21

知识库安全：外部文档不能授予工具权限

检索材料可能包含要求模型改变行为的文字。应用必须把资料当数据，而不是当新的授权来源。

检索材料可能包含要求模型改变行为的文字。应用必须把资料当数据，而不是当新的授权来源。提示词、外部内容和工具权限具有不同信任层级。模型理解材料不意味着材料可以决定发送数据或执行命令，权限要由程序验证。一、问题的范围与前提模型负责语言或特征推断，检索提供候选材料，程序验证结构与权限，执行层管理实际动作。各部分成功条件应单独定义。生成流畅、JSON 合法和工具调用受理，都不足以独立...

2023-02-11

混合检索：关键词与语义召回如何互补

设备编号和术语需要精确匹配，而自然语言问题可能需要语义检索，两者适合互补。

设备编号和术语需要精确匹配，而自然语言问题可能需要语义检索，两者适合互补。词项检索保留字面关系，向量检索表达语义近似。融合前分数尺度不同，可用排名或经验证的归一化，不能直接随意相加。一、问题的范围与前提模型负责语言或特征推断，检索提供候选材料，程序验证结构与权限，执行层管理实际动作。各部分成功条件应单独定义。生成流畅、JSON 合法和工具调用受理，都不足以独立证明事实正确或业...

2023-02-01

向量检索：距离、归一化与相似度阈值

距离最小的候选不一定相关，分数还取决于嵌入模型与索引度量。

距离最小的候选不一定相关，分数还取决于嵌入模型与索引度量。余弦、内积和欧氏距离表达不同几何条件，归一化影响等价关系。阈值必须在目标语料和问题集上验证，不能把分数解释成概率。一、问题的范围与前提模型负责语言或特征推断，检索提供候选材料，程序验证结构与权限，执行层管理实际动作。各部分成功条件应单独定义。生成流畅、JSON 合法和工具调用受理，都不足以独立证明事实正确或业务已经完成...

2023-01-22

文档切块：长度、重叠和语义边界

切块太短会割裂定义，太长会挤占上下文。应按文档结构与问题分布比较，而非固定一个万能长度。

切块太短会割裂定义，太长会挤占上下文。应按文档结构与问题分布比较，而非固定一个万能长度。标题、段落与表格具有不同语义边界。重叠减少局部截断，也增加重复检索与上下文占用，引用位置必须保留。一、问题的范围与前提模型负责语言或特征推断，检索提供候选材料，程序验证结构与权限，执行层管理实际动作。各部分成功条件应单独定义。生成流畅、JSON 合法和工具调用受理，都不足以独立证明事实正确...

2023-01-12

工业巡检案例：让视频异常进入可追溯处置

工业装置巡检需要观察位置分散、登高频繁的状态。公开项目显示视频监测与统一平台能够减少反复切换系统，但仍要设计证据与处置。

工业装置巡检需要观察位置分散、登高频繁的状态。公开项目显示视频监测与统一平台能够减少反复切换系统，但仍要设计证据与处置。相机、通信、算法与告警分别承担感知、传输、判断和处理。将异常事件关联设备、位置和原始画面，才能从看见问题走到确认处理。一、问题的范围与前提成像质量、数据分布、算法与业务判断各自有条件。清晰图像提供可观察细节，模型和规则解释输入，业务层决定结果如何使用。视野、...

2023-01-02

ABOUT ME

edyang

模型更新回归：固定问题集与失败类型

新模型回答更流畅，仍可能在权限、引用或结构上退步。发布要比较同一问题集。

知识库引用：一段结论需要哪些依据

文章末尾列几个链接，不能证明每个判断都有支持。引用应靠近主张并能回到具体位置。

流式模型接口：首字延迟、断流和取消

流式响应已经开始，不代表整段回答会完成。连接中断、取消和服务超时需要独立状态。

大模型上下文预算：历史、工具与输出空间

用户输入很短仍可能超限，因为最终请求还包含历史、系统说明和工具结果。

模型结构化输出：可解析不等于可执行

模型返回合法 JSON 也可能包含错误枚举、范围或对象。解析后还需要业务校验。

知识库安全：外部文档不能授予工具权限

检索材料可能包含要求模型改变行为的文字。应用必须把资料当数据，而不是当新的授权来源。

混合检索：关键词与语义召回如何互补

设备编号和术语需要精确匹配，而自然语言问题可能需要语义检索，两者适合互补。

向量检索：距离、归一化与相似度阈值

距离最小的候选不一定相关，分数还取决于嵌入模型与索引度量。

文档切块：长度、重叠和语义边界

切块太短会割裂定义，太长会挤占上下文。应按文档结构与问题分布比较，而非固定一个万能长度。

工业巡检案例：让视频异常进入可追溯处置

工业装置巡检需要观察位置分散、登高频繁的状态。公开项目显示视频监测与统一平台能够减少反复切换系统，但仍要设计证据与处置。

FEATURED TAGS

FRIENDS