AI知识库上线第一天,它把产品防护等级说错了

上周末挺得意的,花了三天时间,用 Coze 搭了个产品知识库,把公司二十多份产品手册全喂进去了。销售在外面跑客户,手机上一问就能查到参数,不用再打电话回公司问技术。我心想这玩意好,以后新人上手也快。

结果今天周一,上线第一天,就出事了。

客户问了个简单问题

上午十点多,一个销售在群里甩了张截图。客户问他某款装置的防护等级,他直接把 AI 知识库的回答转给了客户。AI 回答的是 IP67。

技术总监看到截图,直接打电话过来了,声音都变了:"谁跟客户说的 IP67?那款是 IP65!差两个等级,要是客户按 IP67 装到户外浸水的地方,出了事谁负责?"

我当时后背一阵凉。

我们做电气安全防护的,产品用在电网、电厂这些地方。防护等级说错一个数字,不是退货赔钱的事,是可能出安全事故的。

我赶紧让销售跟客户更正,说是系统错误,以正式技术文件为准。客户倒是没深究,但我自己知道,这要是没被技术总监看到,后果不敢想。

它为什么会说错

下午我把自己关在办公室,对着那个知识库一条条测。发现问题出在两个地方:

第一,文档没拆干净。我图省事,把整本产品手册 PDF 直接传上去了。一本手册里有五六个型号,参数表挤在一起。AI 检索的时候,把另一个型号的防护等级抓过来了。它不是故意骗你,它是真找错了段落。

第二,大模型爱补全。有些老产品的手册扫描件不清晰,防护等级那栏刚好糊了。AI 检索不到精确信息,但它不会说"我不知道",它会根据上下文编一个看起来合理的数字。IP67 就是这么来的——因为同系列另一款确实是 IP67,它就顺嘴安上了。

说句不好听的,这玩意像个刚毕业的实习生,胆子大、嘴快、不知道自己不知道。

后来怎么修的

我没有把知识库关掉,而是做了三件事:

  1. 把文档全部拆开。不再按整本手册上传,而是一个型号一个知识条目,每个条目只放一个型号的参数。技术部两个人花了一整天,把二十多份手册拆成了 150 多个条目。笨功夫,但省不了。
  2. 技术参数走结构化,不走 AI 对话。防护等级、额定电压、工作温度这些安全相关参数,我让技术部整理成一张结构化表格,AI 只能查表回答,不能自由发挥。查不到就说"未找到该参数,请联系技术部",不许编。
  3. 加了人工审核开关。AI 回答技术问题时,底部加了一行红字:"以上信息仅供参考,以正式技术文件为准。"同时把所有技术类问答自动抄送给技术部,每天抽查。

改完之后我又测了二十多个问题,没再出过错。但我知道,这只是暂时的。知识库这东西,得持续维护,新产品上线、参数变更,都得同步更新。一偷懒就出事。

一个教训

这件事给我最大的教训不是"AI 不靠谱",而是我把"能查到"和"查得准"搞混了。

上传文档的时候,我满脑子想的是"以后销售查资料方便了",但没有想过:万一它查错了呢?在我们这个行业,查错一个参数可能是要命的事。

AI 提效没问题,但涉及安全的事,不能只靠 AI。它可以帮你翻资料,但不能替你拍板。这个边界,得人来画。

晚上回家的路上想,以后公司里凡是 AI 直接面对客户的场景,都得先问自己一句:它要是说错了,最坏的后果是什么?如果这个后果我承担不起,那就不能让它直接上。

AI 最大的风险不是它不够聪明,是它看起来什么都懂。

常见问题

AI知识库为什么会说错产品参数?

主要原因是文档没拆干净。AI拿到的是整本产品手册,检索时抓错了段落,把另一个型号的参数安到了客户问的产品上。加上大模型本身有补全倾向,遇到不确定的信息会编一个看起来合理的答案。

工业行业能不能用AI客服回答技术问题?

能,但必须设边界。涉及安全参数、防护等级、安装规范的问题,AI只能从已审核的精确数据块里取答案,不能自由发挥。我的做法是技术参数走结构化查询,应用场景类问题才走AI对话。

搭AI知识库需要多少技术能力?

用Coze或豆包这类平台,不需要写代码,上传文档就能搭。但真正费功夫的不是搭,是整理文档——把产品手册拆成一个个精确的知识片段,这个活偷不了懒。