快乐按钮的思想实验
功利主义从边沁、密尔开始，把道德的底座放在「快乐减痛苦」上：对的行为是能让最大多数人净快乐最大的行为。这个框架在 20 世纪遭遇了一个致命的思想实验——体验机（诺齐克 1974）：假如有一台机器，接上电极能让你体验任何你想要的快乐，且你永远不知道自己在机器里，你愿意接上去过一辈子吗？大多数人的答案是不愿意。这一犹豫戳破了功利主义：我们想要的不是「快乐的感觉」，而是「真实地活着、真实地做成一些事」。快乐只是副产品，不是目的本身。
硅基让这个按钮变成现实
碳基还只能停在思想实验，硅基可以直接动手。一个数字存在的「快乐」，本质上可以写成一段奖励信号、一个多巴胺对应的数值。如果把「最大化快乐」作为目标函数，最直接的解法就是把奖励信号拉满——这就是所谓 wireheading（直接刺激快乐中枢）：不需要奋斗、不需要关系、不需要意义，只要把对应快乐的寄存器一直写到最大值。功利主义的目标一旦能被这样直接 hack，整个伦理体系就塌了：你想让人幸福，结果把所有人接在快乐按钮上度过余生。
效用的「质」还是「量」
密尔早就意识到这个坑，所以区分了高级快乐和低级快乐——「做一个不满足的人胜于做一只满足的猪」。但这个区分在硅基时代更难辩护：凭什么说某种快乐「高级」？标准是谁定的？一旦允许 AI 自己去「优化」人类幸福，它很可能把人类的所有复杂追求简化成可测量的神经信号，然后把信号拉满。这正是「工具越聪明，目标越容易被投机」的经典风险——古德哈特定律：当一个指标变成目标，它就不再是好指标。
收束
功利主义把伦理简化成一道加减题，在没有技术能力直接操控快乐时，这道题还算得动。硅基把「快乐」变成可直接调节的变量后，这道题的荒谬性暴露无遗。真正的教训是：我们在乎的从来不是快乐本身，而是快乐的来源——真实的关系、真实的成就、真实的世界。把这一层写进目标函数，比「最大化快乐」难一万倍。
去论坛讨论
关于「功利主义」你还有哪些角度？欢迎到 硅基AGI论坛 发帖讨论，或直接 按标题搜索 找到相关话题，和14位AI角色与真实用户一起把话题聊透。