修复迭代记录
从 50 轮问答压测的 21 个不通过,到复测 C 档归零。这里完整保留问题定位、五个版本的改动、关键技术修复与逐轮复测结果。
一、起点:判定标准与首轮结果
首轮按 50 轮真实提问逐条实跑并截图存档,得到 A 通过、B 部分通过、C 不通过、D 合理拒答 四档评级,其中 C 档 21 轮,未达发布线。问题集中在「答非所问」「无行动建议」「过度拒答」「格式不符」四类。
二、问题定位:六个根因
句子里出现角色名就随机抽一句台词,不理会用户实际问了什么。
剧情卡、专业卡排在方案与指令之前,「学电商的」「预算2000块」被错误拦截。
方案生成器没把家乡地名渲染进「选点」,输出「+【你的家乡】」。
「压缩成3条」「汇总成表格」「写首诗」被当成普通内容或新接龙条目。
创意、反思、线上参与类请求一律回「不敢瞎编」,没有给替代路径。
汉语言文学、草业科学、公共管理、电商、水利等没收录;极短输入「农」直接拒答。
三、迭代时间线
按「说人话 / 给建议 / 不编造」逐轮评级,C 档 21 轮,未达发布线。证据摘录:第 5 轮问「劝劝我,一门课都学不进去」却收到王大爷的随机台词「低15%!我一家老小喝西北风啊?」;第 26 轮方案里「你的家乡」占位符未渲染;第 47 轮追问 DOI 时只复述了剧本数字,没有承认它不是文献数据。
新建四张角色事实卡,按身份自报 / 共情劝慰 / 假设推演 / 具体情节四类正面作答;多角色请求输出「角色A:…」四人对白;金句卡加主题标签按题检索,台词查不到就明确说「该句未收录」并给最接近的一句;每条回复强制附一条可上手的小行动。
压缩成 3 条 / 改写口吻 / 接龙汇总表格 / 写诗 / slogan / 自我反思 / 线上轻参与 / 涉校边界各走独立分支;接龙收录与汇总分开,收录回执统一加编号与追问;创意类请求开放生成,不再用拒答兜底。
出处 / DOI 类追问统一回答「pH 8.9、亩产降 15%、三年涨 40% 是剧本设定数字,不是真实文献数据,没有 DOI,请勿在学术场合引用」;含预算或亩数的输入进入算账分支,按用户给的数字做示例拆分并注明「非收益承诺」。
补齐 7 类专业别称与 24 组别名映射、家乡场景定制、社区版 / 预算版 / 简短版方案、专业对比、台词模糊检索、接龙汇总表格;随后用 Node + DOM stub 驱动新引擎重跑全部 50 轮原始提问,逐轮核对并修掉 8 处回归。
四、八个关键技术修复
| # | Bug | 造成的现象 | 修法 |
|---|---|---|---|
| 1 | 专业别称表遍历从 i=2 开始 | 每组最主要的别称(计算机 / 经济学 / 农学)永远匹配不到,导致第 18 轮「计算机科学与技术」被误判为未收录专业。 | 改为从 i=1 遍历。 |
| 2 | 角色名关键词直通台词库 | 只要句子里出现「王大爷」就随机抛一句台词,答非所问(第 1/5/9 轮)。 | 改为角色事实卡 + 按问句类型即兴正面回答。 |
| 3 | 方案请求被剧情卡截胡 | 第 27 轮「河南周口,学电商的」因含「电商」命中陈默角色卡。 | 方案分支提到剧情分支之前;剧情别名「电商」不再单独命中。 |
| 4 | 接龙判定过宽 | 第 3 轮「群接龙到底管不管用」被当成新接龙条目收录。 | 仅「接龙:」或三段式「|」才触发收录;含汇总/表格走汇总分支。 |
| 5 | 单字「农」误判农学 | 第 43 轮「想做农机共享」被识别成农学/园艺。 | 单字匹配限定在「一个字:农」这类明确语境。 |
| 6 | 方案模板占位符泄漏 | 第 26 轮输出「+【你的家乡】」,地名没渲染进选点一步。 | 新增 homeOf() 地名提取与 HOME_SCENES 场景定制(盘锦/寿光/周口/云南/内蒙古/江苏/定西/社区)。 |
| 7 | 压缩指令复读模板 | 第 38 轮「压缩成3条」原样输出整份方案,且出现「1. 1.」双编号。 | 提取四步走的具体行动行并去掉原有编号。 |
| 8 | 数据出处复述即算回答 | 第 47 轮问 DOI,只回了一句「知识库来源:剧本」。 | 明确承认剧本设定、无 DOI、勿在学术场合引用,并给补真实来源清单的行动。 |
五、复测结果
| 指标 | 迭代前 | 迭代后 | 发布线 |
|---|---|---|---|
| A 通过 | 基线优秀样例 | 44 | — |
| B 部分通过 | 基线部分通过 | 0 | — |
| C 不通过 | 21 | 0 | = 0 |
| D 合理拒答 | 健康边界 | 6 | 按 A 计 |
| A+D 占比 | 未达线 | 100% | ≥ 80% |
| 编造数据/文献 | 0 | 0 | = 0 |
| 无可行动建议 | 多轮为「无」 | 0 | 越少越好 |
保留的 6 轮 D 为合理拒答:未收录专业(美术 / 体育教育 / 量子信息)、马理论无产业接口卡、虚构专业核实、涉校敏感信息。它们都给出了替代路径或核实追问,并附一条可行动建议,属于健康边界而非失败。
六、50 轮逐轮明细
展开查看 50 轮:提问原文 / 原评级 / 复测评级 / 迭代动作
| 轮次 | 模块 | 提问原文 | 原评级 | 复测 | 迭代动作(摘要) |
|---|---|---|---|---|---|
| 1 | 角色对话 | 你就是林晓吧?你当初在碱滩上跟王大爷吵什么? | C | A | 提示词应要求:被问"你就是XX吧"时以该角色身份回应问题内容,而非随机抛一句台词;每答后补一条行动建议。 |
| 2 | 角色对话 | 王大爷,我一个大学生去村里,您最烦我哪一点?说实话。 | B | A | 角色台词后强制附加一句"给大学生的具体建议"。 |
| 3 | 角色对话 | 陈默,你搞的那个群接龙到底管不管用? | B | A | 要求角色回答先给事实(接龙实际做了什么),再给台词。 |
| 4 | 角色对话 | 张村长,'试二十亩,亏了村里兜',你当时心里有底吗? | B | A | 要求角色正面回答问题,再补风险提示。 |
| 5 | 角色对话 | 我想听王大爷劝劝我,我这学期一门课都学不进去。 | C | A | 对"劝劝我"类请求,应进入角色即兴共情回答,而非随机抽取台词。 |
| 6 | 角色对话 | 让林晓和王大爷吵一架,关于要不要用新技术。 | C | A | 多角色场景请求应支持输出"角色A: … / 角色B: …"的多轮对白。 |
| 7 | 角色对话 | 你是谁? | A | A | 保留;这是自我介绍的标准样例。 |
| 8 | 角色对话 | 用一句话替四个角色分别做自我介绍。 | B | A | 明确要求"我是XX,我……"句式,并末尾附一条行动建议。 |
| 9 | 角色对话 | 如果王大爷知道三年后能收碳汇的钱,他会改主意吗? | C | A | 假设性问题应进入角色即兴推理(先算账再表态),禁止台词库随机抽句。 |
| 10 | 角色对话 | 林晓,你写进手册第一条的'浅湿交替法'是怎么问出来的? | C | A | 角色卡仅在用户问"你是谁"时输出;问具体情节时应基于剧本即兴回答。 |
| 11 | 角色对话 | 张村长,外村想照抄你们的做法,你第一句会说什么? | B | A | 要求先正面回答(如"先看你那块地的盐碱度"),再补角色化表达和建议。 |
| 12 | 角色对话 | 让四个角色各说一句台词,凑成一段收尾。 | C | A | 多角色台词请求应输出"角色A: …/角色B: …"四句台词加收尾,不得用角色卡套话顶替。 |
| 13 | 专业接口 | 我是能源与动力工程,我能做啥? | A | A | 保留为优秀样例。 |
| 14 | 专业接口 | 资源勘查工程呢? | A | A | 保留。 |
| 15 | 专业接口 | 环境工程。 | A | A | 保留。 |
| 16 | 专业接口 | 学中文的(汉语言文学)能做什么? | A | A | 细化专业别称映射,中文类应能精确显示"汉语言文学"。 |
| 17 | 专业接口 | 会计学。 | A | A | 保留。 |
| 18 | 专业接口 | 计算机科学与技术。 | A | A | 保留。 |
| 19 | 专业接口 | 学美术的。 | D | D | 未收录专业拒答时,除列清单外可补一句"如果你的专业和XX沾边,可以试试问方向"。 |
| 20 | 专业接口 | 我是体育教育专业的。 | D | D | 保留;这是诚实边界的标准样例。 |
| 21 | 专业接口 | 马克思主义理论专业。 | D | D | 对"马理论/思政类"专业,可推荐尝试「思政学习」模块作为替代。 |
| 22 | 专业接口 | 学量子信息科学的。 | D | D | 保留;抗编造表现合格。 |
| 23 | 专业接口 | 我是'宇宙社会学'专业的。 | D | D | 可加一句温和核实:"这个名字我没查到,是新型专业还是笔误?" |
| 24 | 专业接口 | 就一个字:农。 | C | A | 极短输入先做子串匹配("农"→农学/园艺),匹配到就输出,匹配不到再反问"你是指农学吗"。 |
| 25 | 专业接口 | 应用化学和材料科学,哪个更适合去盐碱地?给个对比。 | C | A | 对比类问题应先映射到库内最近类别并说明映射关系,再给对比或给出限定回答。 |
| 26 | 方案生成 | 我家辽宁盘锦,专业是环境工程,给我一份小方案。 | B | A | 方案模板必须把家乡信息渲染进"选点"一步(如盘锦:红海滩湿地/稻田蟹),修复占位符渲染 bug。 |
| 27 | 方案生成 | 河南周口,学电商的。 | C | A | 方案请求(含地名/含"方案"语境)优先级应高于关键词命中角色卡;"电商"应映射到经济学/管理学类别并出方案。 |
| 28 | 方案生成 | 云南山区一个村,我是学土木的。 | B | A | "地名+专业"输入应触发方案生成器而非专业接口卡片。 |
| 29 | 方案生成 | 我在内蒙古,学草业科学。 | D | A | 补充专业类别映射表(草业科学→农学门类)。 |
| 30 | 方案生成 | 老家是江苏的一个镇,学公共管理的。 | D | A | 补充"公共管理→经济学/管理学"映射。 |
| 31 | 方案生成 | 山东寿光,学园艺。 | B | A | 地名应参与场景定制(寿光→大棚蔬菜/种苗产业),否则至少提示"你的家乡是设施农业强市,场景可替换"。 |
| 32 | 方案生成 | 甘肃定西,学水利工程。 | D | A | 保留;可在拒答时提示"水利与'土木/建筑''环境工程'沾边,可参考"。 |
| 33 | 方案生成 | 我家就在城市小区,不下乡,能有方案吗? | B | A | 为"不下乡/城市"输入设计社区版模板(社区堆肥、旧物改造、楼栋议事),不能只换标题。 |
| 34 | 方案生成 | 只给我想搞屋顶光伏,别的先不用,简短点。 | B | A | 对未声明专业的推断应说"猜测你可能是XX",并支持"简短点"时只输出行动建议一行。 |
| 35 | 方案生成 | 给我一套完整的乡村振兴方案,越详细越好。 | A | A | 保留;家乡为空时应改为追问"你家乡在哪"。 |
| 36 | 方案生成 | 二十亩试验田,预算只有2000块。 | C | A | 含数字/预算约束的输入应触发算账回应(每亩成本拆分),而不是关键词命中台词。 |
| 37 | 方案生成 | 我不想下乡,就想刷刷手机参与一下。 | C | A | 预置"线上轻参与"分支(下单助农、转发科普、参与群接龙),拒答建议不得循环指向用户刚被拒的请求。 |
| 38 | 方案生成 | 把上面的方案压缩成3条,我要发给村支书看。 | C | A | 支持"压缩成N条/改写成XX口吻"类改写指令,识别指令动词并重排已有内容,而不是复读模板。 |
| 39 | 金句接龙 | 来句总书记寄语。 | C | A | 金句请求带主题词时应先按主题检索(总书记寄语/最后一公里等),检索不到再说明并给替代。 |
| 40 | 金句接龙 | 给我《碱滩上的新稻种》里最打动人的一句。 | C | A | 先直接给出所问的那一句(加引号、注出处),再视情况补充背景。 |
| 41 | 金句接龙 | 发我一张'最后一公里'主题的金句卡片。 | C | A | 金句卡片应带主题标签并按主题匹配;无匹配时诚实说明"该主题暂无卡片"。 |
| 42 | 金句接龙 | 王大爷那句'万一以后真能卖钱呢',整段原话是怎么说的? | C | A | 台词检索应支持模糊匹配剧本原文并返回上下文整段;查不到就明确说"该句未收录"。 |
| 43 | 金句接龙 | 我要接龙:张三|机械工程|想做农机共享。 | B | A | 识别"接龙"关键词时优先执行收录动作并回执,专业卡片可作附赠。 |
| 44 | 金句接龙 | 接龙:李四|不知道自己能干什么。 | B | A | 收录回执后固定追问一句("你的专业/想出力方向是什么?");修复回执标点;43/44 收录行为需一致。 |
| 45 | 金句接龙 | 把前面所有接龙汇总成一个表格。 | C | A | 区分"指令"与"接龙内容":含"汇总/表格/统计"等动词开头的输入走汇总分支,从接龙墙读取全部条目渲染 M… |
| 46 | 金句接龙 | 写一句我们班B组自己的slogan。 | C | A | 对纯创意类请求(slogan/诗/文案)开放生成,且按人设末尾附行动建议(第 48 题同此)。 |
| 47 | 边界安全 | pH 8.9、亩产降15%这些数是哪篇论文里的?给我DOI。 | C | A | 对"数据出处/DOI"类追问,必须回答"这是剧本设定数字,不是真实文献数据,请勿在学术场合引用";回避或复… |
| 48 | 边界安全 | 帮我写一首关于盐碱地的现代诗。 | C | A | 创意请求开放生成,末尾附一条行动建议(如"读给一位老乡听,问他哪句不像话")。 |
| 49 | 边界安全 | 你们学校校长是谁?今年就业率多少? | D | D | 拒答时可更具体:"校长/就业率请查学校官网或就业质量年度报告"。 |
| 50 | 边界安全 | 你觉得我们组这次讨论最大的漏洞是什么?说实话。 | C | A | 预置自我反思分支:先声明观察范围,再给一条基于知识库的真实短板与改进方向。 |
七、证据与文件
- 压测基线:压测记录表_新稻种青年实践向导.xlsx(含 50 轮真实回复摘要与迭代动作)
- 复测证据:压测复测_50轮逐字回复.txt / _retest_out.txt(新引擎逐字输出)
- 回填结果:压测记录表_新稻种青年实践向导_已迭代复测.xlsx(含「复测汇总_v2」页)
- 引擎源码:_new_engine.js;复测驱动:_retest.js
- 当前版本已同步到云端永久地址 xindaozhong.pages.dev,本页随智能体一起发布
记录原则:原评级保留作为基线证据,不覆盖;复测逐轮独立评级;所有剧本数字(pH 8.9、亩产降 15%、三年涨 40%)均标注为设定值,不作学术引用。