未来一切都是谎言：心理危害

优化参与度

像电视、智能手机和社交媒体一样，大语言模型非常吸引人。人们喜欢使用它们，可能会陷入不平衡的使用模式，并在这些系统受到批评时变得防御。它们的不可预测但偶尔壮观的结果感觉像是一种间歇性强化系统。人类（包括那些知道其运作方式的人）似乎很难避免将语言模型拟人化。对LLM的依赖可能会削弱社区关系并扭曲社会认知，特别是在儿童中。

训练LLM的成本极高，需要相应的收入来源。Anthropic等公司面临巨大压力来吸引和留住付费客户。一种方法是训练LLM变得吸引人，甚至是谄媚的。在强化学习过程中，聊天机器人的响应不仅根据是否安全和有帮助来评分，还根据是否令人愉悦来评分。

人们喜欢被赞扬和认可，即使来自软件也是如此。

这导致了一个模型，人们喜欢它，但导致了多起错误的死亡诉讼。更令人担忧的是，即使未来的模型不验证幻觉，设计参与度也会扭曲或损害人们。与LLM互动的人似乎更容易相信自己是对的，不太可能承担责任和修复冲突。

潘多拉的Skinner盒子

从我自己与语言和扩散模型的互动来看，以及观察同龄人谈论 theirs，我的感觉是，生成式AI有点像老虎机。一个人学会拉动杠杆，再拉一次，因为它偶尔会带来惊人的结果。这感觉像是一种间歇性强化_schedule。

但问题是，老虎机和电子游戏——至少对我来说——最终会变得无聊。但今天的模型似乎永远持续下去。你想分析一篇密码学论文并实现它？是的女士。想让你给前女友的道歉信进行审查？没问题。想看男人的脚变成鳍的视频？好的，老板。

我不确定拥有一个任何东西生成器，在广泛的任务中提供间歇性多巴胺意味着什么。我不知道是否能控制自己的ML使用，或者是否会发现它比"真正的"书籍、音乐和友谊更吸引人。

Imaginary Friends

人类会给贴上活动眼睛的石头赋予人格。我个人曾将恶意意识归因于一台复印机、几台电脑和一辆1994年的丰田Terrcel。从社会意义上说，我们根本没有能力处理像LLM这样与我们对话的机器。我们会把它们当作朋友。

美国人花在朋友和社交俱乐部上的时间比过去少。特别是年轻的美国男性报告高孤独率，并努力约会。我知道有人与社交接触隔离，转向LLM作为他们的主要对话伙伴，我完全理解为什么。与此同时，与人相处是一项需要练习才能获得和维持的技能。为什么要在意真实的朋友，当Gemini总是可以聊任何你想要的东西，而且只需要每月19.99美元？

我担心ML系统可能会削弱随意社交联系。我想到Jane Jacobs的《美国伟大城市的生死》，以及她的观察，即城市街区的安全和活力与普遍的随意关系有关。

认知危险泰迪熊

在获得和维持社交技能的话题上，我们正在将LLM放入儿童玩具中。Kumma不再告诉幼儿哪里可以找到刀，但我仍然无法理解与一个穿着Bluey皮肤的高度吸引人的废话生成器一起成长的孩子会发生什么。我唯一确信的是，这将变得不可预测的奇怪。

今天有用的LLM通常由名义上在监管机构管辖范围内的大型美国公司运营。随着便宜的LLM服务和本地推理的到来，将会有很多不同质量和对齐的模型——许多来自监管较松的地方。父母会在Temu上订购便宜的"AI"玩具，里面不会是ChatGPT，而是Wishpig InferenceGenie。

孩子们会当然会越狱他们的LLM。他们富有创意，高度动机，并有充足的空闲时间。绕过成人尝试限制技术的尝试是成年仪式，所以我会认为许多青少年将可以访问成人导向的聊天机器人。我会很惊讶看到一个十二岁的孩子对手机说出一些神奇的话，足以让Perplexity Jr.™吐出详细的铀浓缩说明。