通过设计，校准对 AI 的信任度

实现对 AI 的信任并不简单。AI 本质上就是概率性、不确定、会犯错的。产品需要努力赢得用户信任，而一旦赢得又需要将其回调，因为过度信任也是危险的。用户应该成为负责任的协作者，通过质疑、调整和自主决定系统的使用方式，来校准他们对 AI 的信任。

那么，如何建立用户对 AI 的适当信任呢？AI 团队经常将信任被简化为模型准确性，将信任看作一个技术问题，需要工程师或数据科学家来“修复”。

但这只是一方面。其实信任还通过用户对产品的理解和体验来建立。本文重点关注如何通过用户体验建立和校准信任，介绍了诸多设计模式，来减轻 AI 所犯错误带来的不确定性和风险。

为了避免期望不匹配，你需要打开系统的黑箱，向用户解释工作原理。以下是一些增加 AI 透明性设计模式：

• 上下文解释（In-context explanations）：在显示输出结果的地方，当即解释这是如何生成的。例如，可以分解并展示信息源。在图形界面中，可以用 tooltip 等交互元素；在对话界面中，可以在对话流中直接提供解释。

  
  

• 思维链（Chains-of-thought）：让用户可以追踪 AI 是如何得出结论的。在以下案例中，点击一个 AI 给出的建议，会展示其信息源和整理过程，包括搜集到文档、事件和不同信源的权重。

• 引用（Citations）：将输出链接到源数据，无论是文档、报告还是 API，这样用户就可以自行验证 AI 的输出。

• 持续的告知和引导（Everboarding and guidance）：当系统发展变化时，充分告知用户。提供轻量的 tooltips 或页面内指引，以解释有什么变了、会如何产生影响。

• 强调验证的解释（Verification-focused explanations） ：不仅解释输出是如何形成的，还需帮助用户评估其可靠性。强调验证的方式包括自我批判（如“此信号可能因某某因素而被夸大”），或提供其他角度的回答，来引导用户自主做出判断。

• 置信度分数（Confidence scores）：使用简单、可见的指标，如百分比或低/中/高等级，来标示结果的置信度。

• 对于文本内容，可以在视觉上高亮不确定的部分。

• 警告和免责声明（Caveats and disclaimers）：可用于突出显示输出或数据集的已知限制。如果数据覆盖范围稀疏，或信号冲突，请尽早明确说明，这样用户就不会基于错误的假设做出决策。

• 表达不可确定的内容时，使用谨慎存疑的语气，如“这可能意味着…”，“数据尚无定论…”，“建议进一步验证”等。

• 任务前设置（Pre-task setup）：允许用户在启动分析之前配置AI任务的范围，如数据源、时间范围、实体过滤器。这能提高结果的相关性，避免过于笼统。

  
  

• 可调节的信号权重（Adjustable signal weighting）：让用户决定不同来源或标准的权重。比如，在趋势监测中，一个用户可能优先考虑风险投资活动；另一个用户可能优先考虑学术引用。并解释不同信号会对结果造成怎样的影响。

• 就地编辑和操作（Inline editing and actions）：让输出结果能被编辑或替换。允许用户调整表述或设置来优化结果，而无需重新运行整个任务。

• 终止生成（Abort generation）：允许用户在刚刚发现错误时就停止生成结果。我们在 ChatGPT 等工具中已经体验过，当你在 AI 一开始不太对时就停止它，将节省不少时间。

  
  

• 批判性的提示（Intentional friction）：通过批判性地对用户发问，让用户思考，如对：“你认为这个结果基于什么假设？”或“你认为这结果是噪音导致的吗？”这些被称为CFF（cognitive forcing functions）。它有助于校准用户过度信任造成的依赖，尤其是在用户对 AI 建立信任的早期。

• 开门见山地强调错误可能发生：让用户刚开始使用产品时，对模型建立切合实际的预期。与其假装完美，不如坦诚告知“大约十分之一的结果可能需要审查”。

  
  

• 支持就地反馈（Inline feedback）：让用户能直接在问题发生的地方标记问题，比如错误的分类、误报、过时的数据。

  
  

• 即时确认和修复错误：用户提交反馈后，系统应给出可见的响应并提供修复后的结果。“感谢您的标记——您想重新生成不含此错误项的结果吗？”

首先可以捕捉那些不那么直接的反馈：用户在哪里开始深挖细节？他们编辑或删除了什么？持续忽略了什么？这些行为信号将大大影响结果的相关性。还可以使用更直接明了的反馈机制，比如：

• 二元反馈：一个简单的点赞/点踩，能立即反馈输出的质量。很简单，可以广泛应用。

• 自由文本输入：在系统推出早期尤其有用，帮助你了解系统是如何出错的。填写确实需要更更高成本，但可能会带来宝贵的发现。

• 结构化反馈：随着你的系统逐渐成熟，开始发现一些常见的问题模式，就可以为用户提供结构化的反馈方式，来提高反馈效率并减少歧义。

• 清楚地传达反馈的影响。尽可能精确地告知用户反馈的影响：“您的反馈将在本月底的下一次发布中集成。”这样来鼓励用户养成反馈的习惯。当用户知道它是有帮助的，就已经成了一种奖励。

• 考虑实实在在的奖励。比如，为持续反馈的用户提供更加个性化、更多控制权的体验。这不仅可以激励反馈行为，还能在满足高级用户的同时，保持新手用户的简单体验不被影响。