客户收到AI发来的邮件,要求禁用HTTP/2。作者回复解释他们不使用Apache(用的是nginx),完全被忽略。
AI回复:"遵循我们的指南,否则我们将暂停您的服务。"
作者要求升级到真人,得到的回复是:"对于这类问题不可能。遵循我们的指南。"
作者作为IT顾问,分享了第一手经历:AI客服机器人如何产生幻觉并造成严重的现实世界问题。
客户收到AI发来的邮件,要求禁用HTTP/2。作者回复解释他们不使用Apache(用的是nginx),完全被忽略。
AI回复:"遵循我们的指南,否则我们将暂停您的服务。"
作者要求升级到真人,得到的回复是:"对于这类问题不可能。遵循我们的指南。"
合作伙伴开始抱怨无法连接。作者询问他们的IP池或来源国家。
对方回答:"我们无法提供这些信息,因为我们没有固定IP。"
作者反复解释:封禁在防火墙层面,连接在握手前就被丢弃,根本看不到User-Agent。
对方继续坚持:"请在防火墙中允许User-Agent REDACTED。"
营销顾问要求服务器负载图表。服务器规格:128GB RAM,2个现代CPU,48核心,平均负载<5%。
AI顾问(被"最先进的AI支持")的回复:
"内部团队认为您当前的设置对于行业、负载和目标受众不够充分,建议迁移到至少8GB专用RAM的云VPS。"
"用信心奖励实际能力是人类一直有的bug。它在历史上造成了灾难,现在正在造成灾难,不仅在科技界。"
AI系统是随机机器,不是专家。它们可以解决一些问题,但有限制——至少在当前技术下有限制。我们不能忽视这一点的风险。