在传统软件世界中，故障通常是显而易见的：应用程序崩溃、出现错误信息或服务停止。而人工智能的故障模式则截然不同且更为危险。许多AI系统会悄无声息地失效，产生带有偏见、错误或质量下降的结果，却不显示任何警报。根据可用性监控显示，系统依然运行正常，而其实际功能却已受损。这一特性对AI技术的可靠性和可信度构成了根本性挑战。
超越正常运行时间：监控AI运行质量的指标 🤖
专注于延迟和服务可用性的传统监控对AI而言完全不足。需要建立专门的观测框架来持续审计预测的质量和公平性。这意味着需要为准确率、误报率或不同人口群体间的公平性等指标设定性能基线和可接受的偏差范围。数据漂移和概念漂移监控等工具对于检测现实世界何时发生变化而模型不再有效至关重要。监控必须是主动的、自动化的，并集成到机器学习流水线中。
隐藏错误时代的责任 ⚖️
这种情况给开发者和企业带来了巨大负担。故障的隐蔽性并不能免除其社会、经济或伦理后果。这需要思维模式的转变：从保证系统能运行转向确保系统能正确运行。这包括明确模型的局限性、建立报告偏见发现的渠道，以及在检测到性能下降时制定快速响应协议。对AI的信任并非仅仅因其存在而获得，而是需要通过在实际条件下积极证明其鲁棒性和公平性来赢得。
我们如何才能检测和缓解那些因系统并未崩溃、只是看似正常地做出错误决策而被忽视的AI错误？
（附注：史翠珊效应正在发挥作用：越是禁止，人们越是使用，就像微硬那样）