如何做出真正值得信赖的 AI 分析

AI 常给出看似自信实则错误的用户洞察。本文作者分享四种常见的 AI 分析失效模式，包括伪造证据和虚假洞察。通过特定的提示词技巧与严格的验证流程，产品团队可有效提升 AI 辅助研究的可靠性，确保决策基于真实数据而非模型幻觉。

在 Substack 出版的《Lenny's Newsletter》中，特邀作者 Caitlin Sullivan 深入探讨了如何利用 AI 进行可靠的用户分析。

文章开篇指出，当前的 AI 工具虽然输出总是充满自信，但往往充斥着谎言：杜撰的引语、虚假的见解以及完全错误的结论。正如 Sullivan 所言：这些错误在利益相关者提问或数月后决策破裂时才会暴露，例如所谓的客户证据背后隐藏着巨大漏洞。

作为用户体验研究领域的资深人士，Caitlin 曾在 Canva 和 YouTube 等公司担任顾问，培训了数百名产品和研究人员掌握高效的 AI 驱动客户研究方法。她分享了四种最有效的技巧，以从大型语言模型（LLM）中获取真实、可信且可操作的洞察。

每个人都试图用 AI 分析客户数据，但结果往往是“垃圾”——充满幻觉、错误结论以及简单的复读。将相同的对话记录输入两个不同的模型，往往会得到截然不同的叙事和建议，尽管它们都表现得同样自信。

左边的输出通常具有误导性：它只选取几条热情的引语就急于给出建议，而不询问这些数据是否代表整体。这是一种典型的 AI 版确认偏误。

右边的输出则更困难但也更真实：它挑战表面请求，按实际需求细分用户，并用具体的时间戳标记价格风险。这虽然看起来不整洁，却是真实的。

这种差异源于处理常见失败模式的关键步骤。没有这些检查，虚假但看似可信的洞察就会进入演示文稿，误导百万美元的决策。

访谈是混乱且非结构化的。 一个 45 分钟的研究访谈往往充满离题、自我矛盾。大模型倾向于强加结构并过早下结论，提取符合主题的最佳引语，产生整洁的总结，却忽略了真正的细微差别。

即使调查数据看似结构化，其实不然。 看似干净的 CSV 表格也可能非常复杂。不同工具的导出格式各异，有时甚至包含不应被视作客户声音的内部元数据列。如果未明确指示，AI 会将所有信息视为信号进行分析。

并非所有大语言模型都适合分析工作。根据对比测试：

推荐： 如果有选择，建议使用 Claude 进行分析工作，因为它能在保持扎根于实际数据的同时覆盖更广的范围。

经过超过 2000 小时的测试，Sullivan 确定了 AI 分析的四种独特失效模式，并为每种模式提供了可靠的修复方法。

问题表现： 尽管理性模型已有巨大进步，幻觉仍然普遍存在。主要表现为完全虚构的引语，或者由多个来源缝合而成的“弗兰肯斯坦”式引语，看起来像用户的原话，实则不是。

原因： LLM 不像搜索引擎那样检索引语，而是根据上下文生成最可能的文本。当上下文涉及某种情绪时，它会生成“听起来合理”的语言，但这并不代表原始记录。

解决方案：引语选择规则 + 验证

定义有效的引语规则： 在提示词中加入明确的规则，例如“思想开始处开始，完整表达结束”，“保留模糊语和情感语言”，“引用参与者 ID 和时间戳”，“不要合并不同部分的陈述”。
使用前验证： 使用专门的验证提示词，要求 LLM 逐条核对引语是否在源文本中确切存在。状态应标记为 VERIFIED（已验证）、PARAPHRASE（改写）或 NOT FOUND（未找到）。