接什么问题
本场景结论在最前端加一道意图识别，把问题分到问答 / 查订单 / 办业务 / 转人工等不同路径，先分流再处理。
我们在权衡什么
- 分类准确率：路由错了，用户会在错误路径里打转
- 高风险路径识别：该转人工却没转，是最严重的失误
- 分类延迟：它是所有后续步骤的前置，延迟会直接叠加
不同场景怎么选（高亮 = 当前场景）
🏦 银行
重点保高风险路径识别率——大额、账户安全、合规争议必须稳稳转人工，误转可以容忍。
🛒 大型电商促销
分类延迟压到 50ms 内，意图类别随促销活动快速增减，分类器要能快速更新。
🚀 创业公司 FAQ
意图类别少，先用关键词规则做简单分类，不必训练分类器。
PM 视角
意图边界（「什么算高风险」「什么算超出能力」）是业务决策，不是技术判断——必须 PM 来定。
答案从哪来
本场景结论把 PDF/Word/网页解析进来，再切成检索片段（Chunk）。切分边界是 RAG 里最易被忽视、却最影响质量的一环。
我们在权衡什么
- 解析完整性：表格、多栏文字有没有被正确提取
- 切分边界：关键信息会不会被切成两半导致召回缺失
- 入库效率：知识更新频繁时，慢解析会拖出过时回答
不同场景怎么选（高亮 = 当前场景）
🏦 银行
解析完整性优先，哪怕慢、哪怕要人工审查也值得；切分宁可块大、噪音高，也不能切断条款。
🛒 大型电商促销
入库效率同等重要——SKU/促销天天变，慢入库就等于回答过时。
🚀 创业公司 FAQ
固定分块 + 托管解析服务起步，别在这层花太多工程时间，先跑通。
PM 视角
真实案例：某电商退货政策横跨两个 Chunk，系统只召回前半句「支持7天无理由退换」，漏掉「但以下情形不适用」，引发客诉。加 Chunk 重叠后消失。
怎么找到对的内容
检索层 · 混合检索 + Reranker
共同决策
▸
本场景结论向量检索懂语义但漏精确词（订单号、条款编号），BM25 关键词检索相反——两路融合的混合检索是生产标配。Reranker 精排是可选项，要数据说话。
我们在权衡什么
- 召回率@K / MRR：找没找到、排得靠不靠前
- 精确匹配率：编号、SKU 这类字符串能不能命中
- Reranker 边际收益：精排提升是否值回 50-200ms 延迟
不同场景怎么选（高亮 = 当前场景）
🏦 银行
适当提高 BM25 权重——条款编号精确命中比语义相似更关键；准确率敏感，优先评估上 Reranker。
🛒 大型电商促销
稠密 0.7 / 稀疏 0.3 起步；延迟敏感，Reranker 要量化延迟增量再决定，谨慎引入。
🚀 创业公司 FAQ
纯向量检索起步，先不上混合、不上 Reranker——数据不足以支撑 A/B 验证。
真实案例 / 数据
据生产对比研究，混合检索把召回率从约 78% 提到 91%，精确字符串场景提升尤其明显。
查看来源 ↗
查订单这类硬数据怎么办
检索层 · Text-to-SQL
PM 主导
▸
本场景结论「我的订单到哪了」答案不在文档里，在数据库表里。让 LLM 把自然语言转成 SQL 查询，再把结果组织成回答。
我们在权衡什么
- SQL 准确率：生成的查询能不能返回用户真正想要的数据
- 执行安全：必须硬拦截 DELETE/UPDATE —— 这是一票否决项
- 权限控制：用户只能查自己的数据，不能用自然语言绕过权限
不同场景怎么选（高亮 = 当前场景）
🏦 银行
SQL 准确率 + 执行安全一票否决；权限必须在数据库层实现，不能只靠 Prompt 约束 LLM。
🛒 大型电商促销
关注数据库查询性能——慢查询会阻塞整条响应链路。
🚀 创业公司 FAQ
订单量小、表结构简单时可后置；先把文档型 FAQ 跑通再接数据库。
PM 视角
数据库的业务语义（哪张表存什么、字段什么含义）要 PM 提供并注入 LLM context，算法无法独立完成。
怎么答好
主模型怎么选 + 答案约束
生成层 · 选型 + Prompt + 幻觉控制
共同决策
▸
本场景结论主模型选型不是纯技术决策——质量、成本、合规、工程四个维度，合规是硬过滤（先过合规再谈能力）。System Prompt 是 PM 能直接设计的核心，幻觉控制要输入侧预防 + 输出侧检测双管齐下。
我们在权衡什么
- 指令遵循 + 幻觉率：能不能严守「不承诺退款」这类禁区、不捏造
- 数据驻留 / 服务协议：数据会不会出境、会不会被拿去训练
- 成本与延迟：Token 单价、首 token 时延，规模化后差距悬殊
不同场景怎么选（高亮 = 当前场景）
🏦 银行
质量（指令遵循 + 幻觉率）> 合规 > 成本；Faithfulness 与约束违反率必须极高，宁可拒答。
🛒 大型电商促销
延迟与成本优先——简单问题走轻量模型、复杂问题走大模型的成本路由，稳定后再上。
🚀 创业公司 FAQ
工程成熟度优先——选生态完善的商业 API，早期规模小，成本不是主要矛盾。
真实案例 / 数据
2024 年 Air Canada 因客服机器人编造退票政策被判赔 812.02 加元，法院认定企业要为 AI 输出担法律责任——幻觉不只是技术问题，是业务风险。
查看来源 ↗
怎么管对话 & 兜底
本场景结论人工接管是系统的安全阀。置信度不足、情绪激动、问题循环、高风险场景、用户主动请求——满足任一就触发。阈值设在哪，是 PM 持续调的业务平衡。
我们在权衡什么
- 该转未转率：应转人工却没转，最严重，直接砸体验
- 误转率：能处理却转了人工，推高人工成本
- 转接后解决率：转了还没解决，说明问题在流程不在系统
不同场景怎么选（高亮 = 当前场景）
🏦 银行
死守该转未转率——误转可以高，宁可多转人工也不能让 AI 给出高风险错误回答。
🛒 大型电商促销
两率都要严控——人工是成本中心，促销期过多误转直接冲击运营成本。
🚀 创业公司 FAQ
先保该转未转率（兜底可靠），初期误转率天然偏高，之后再逐步收紧阈值。
PM 视角
触发阈值是典型的「需要 PM 持续监控调整」的指标——它直接决定人工成本和用户满意度之间的平衡点。
怎么知道好不好
怎么衡量系统够不够好
评估层 · 北极星 + RAGAS
PM 主导
▸
本场景结论没有评估就没有迭代方向，只能靠直觉猜。北极星指标建议是「不转人工就解决问题的比率」，而不是点赞率——用户会对流利的错误回答点赞。
我们在权衡什么
- Faithfulness / 答案相关性：有没有幻觉、有没有答非所问
- Context 召回 / 精确：该召回的有没有召回、召回的是不是噪音
- RAGAS 指标 → 技术层映射：指标偏低能定位到具体哪一层
不同场景怎么选（高亮 = 当前场景）
🏦 银行
每次修复必须过评估集验证，把 Faithfulness 当一票否决线。
🛒 大型电商促销
盯线上代理指标（Thumbs down 率、转人工率、会话完成率）+ A/B 量化每次变更。
🚀 创业公司 FAQ
从第一天起收集 Thumbs down + 人工抽检，先不搭自动化 RAGAS，攒够 100 条再上。
PM 视角
评估集（Golden Dataset）的代表性和 Golden Answer 的业务正确性，PM 必须深度参与——哪些问题有代表性、正确答案是什么，算法无法独立判断。
怎么越用越好
本场景结论一个没有迭代闭环的 LLM 系统，质量会随时间衰减而非提升。用户反馈 → Badcase 归因 → 修复 → 回归测试 → 灰度上线，让飞轮转起来。这是 AI PM 最难被替代的环节。
我们在权衡什么
- 反馈可操作性：收上来的反馈能不能归因到具体技术层
- 归因到修复的速度：周期越短，飞轮转得越快
- 系统化而非个案化：找共性根因，而不是一个个打补丁
不同场景怎么选（高亮 = 当前场景）
🏦 银行
每次修复都要过评估集回归——修一个问题可能引入新问题，不能为速度跳过验证。
🛒 大型电商促销
知识库更新环节高度自动化——高频变更靠人工维护成本不可持续。
🚀 创业公司 FAQ
主动设计反馈收集机制——冷启动期自然反馈少，要主动触发（如要求客服标注转人工原因）。
PM 视角
PM 是飞轮的「编辑」——决定哪些反馈值得投入修复、哪些 Badcase 优先处理；算法是「执行」。少了 PM 的优先级判断，飞轮会退化成「什么都改一点、什么都没改善」。
怎么跑得起来
上线工程底线
工程层 · 延迟 / 缓存 / 可观测
算法主导
▸
本场景结论生产标准通常要求首 token 时延 p90 < 2 秒。Streaming 几乎所有系统都该默认开；语义缓存对高重复场景降本显著，但知识更新时必须主动失效。
我们在权衡什么
- TTFT p90：用户感知的「第一个字多久出现」
- 语义缓存命中率 / 误命中率：复用回答省钱，但别复用错
- 可观测性：每次请求的完整调用链要可追踪，否则无法排障
不同场景怎么选（高亮 = 当前场景）
🏦 银行
强权限过滤 + PII 脱敏 + Prompt 注入防护，安全指标纳入监控。
🛒 大型电商促销
语义缓存是核心降本手段（高重复率场景命中率高），但要配套失效机制。
🚀 创业公司 FAQ
默认开 Streaming（成本最低的体验改善），暂不做语义缓存。
真实案例 / 数据
据生产数据，语义缓存可将 LLM API 成本降低约 68.8%；缓存旧内容比没有缓存更危险，知识更新时必须清除相关缓存。
查看来源 ↗