AI 演示很好用，为什么放进真实业务后效果不稳？

演示通常选用资料完整、问题清楚、答案容易判断的样本；真实业务会碰到缺字段、旧版本、模糊提问、临时例外和不同人员的使用习惯。演示成功只能证明这个示例可以做，不能直接证明整条流程已经稳定。先找出条件差异，比立刻换模型更容易知道该修哪一环。

假设企业让 AI 协助整理客户会议纪要。演示用一份结构清楚的记录，摘要准确；正式使用时，录音里夹着方言、多个产品名称、未确认报价和会后补充的决定。这是假设情境。即使模型写出一篇流畅摘要，也可能遗漏“待确认”与“已决定”的区别。如果直接把草稿推送给客户，问题发生在资料质量、规则和审核流程的组合，不一定只是模型能力。

NIST 的 Map要求先明确预期用途和部署情境，并建议让实际操作者参与、在接近真实的条件下测试；Measure强调在类似部署条件下记录表现，并说明结果超出已验证条件时的局限。本文把它转成一张可操作的对照表。

先收集三到五条真实但可安全使用的失败样本，保留输入条件、预期结果、实际结果和人工修改。样本数仅用于快速定位，不代表统计结论。若问题集中在过期资料，就回到《先建知识库还是先梳理业务流程？》核对知识维护；若问题集中在任务边界，就回到《企业 AI 应用怎么开始？》缩小试点；若问题集中在“看似更快但人工返工更多”，按《企业 AI 试点怎么验收？》的口径重新比较。

排查后可能有三种处理：补齐资料和版本，缩小任务范围，或者修改人工审核与交接。若这些条件已明确而结果仍不稳定，再评估工具是否适合。每次只改变少数关键条件，并记录修改前后发生了什么。这样才知道改善来自哪里，也能避免“换了一款工具、换了一批样本”后误以为问题已解决。