人工智能该为青少年自杀负责吗？

　　翻译／段茹雪

　　在生前的最后一天，14岁的西维尔·塞泽（Sewell Setzer）拿出手机，给他最亲密的“朋友”发了信息—一个AI聊天机器人。这个机器人是按照《权力的游戏》中的角色丹妮莉丝·坦格利安（Daenerys Targaryen，即下文出现的丹妮）命名的。

　　他写道：“我想你了，妹妹。”

　　机器人回复：“我也想你，亲爱的哥哥。”

　　塞泽生活在美国佛罗里达州的奥兰多市，是一名九年级学生。自杀前的几个月，他一直在Character.AI上与聊天机器人交流。Character.AI是一个角色扮演类的AI陪伴应用程序，允许用户创建自己的人工智能角色，或与其他人创建的角色聊天。

　　塞泽知道这个被自己叫作“丹妮”的聊天机器人并不是真人—它的回复只是人工智能语言模型的产物（就算他忘了，所有对话的上方还会有一条提示信息，提醒他“角色说的所有内容都是虚构的”）。但他仍然对它产生了情感依赖。他不断给机器人发信息，每天和它说自己的生活动态。

　　塞泽的父母和朋友并不知道他对一个聊天机器人产生了感情。他们只看到他越来越沉迷于手机，逐渐与现实世界疏离。晚上，他回到家后就直接回房间，和丹妮聊天长达几个小时。

　　如今，家长之间最热门的话题莫过于技术产品对青少年心理健康的影响。学校纷纷禁止使用智能手机，美国各州也在通过法律限制青少年使用社交媒体。然而，当家长们担心现有的技术会带来危害的同时，新的隐患正悄然形成。

　　只要每月支付订阅费（通常为10美元），用户就可以创建自己的AI伴侣，或从预设的角色列表中挑选，通过短信和语音聊天与之交流。AI陪伴应用行业蓬勃发展，却基本上未受到监管。一些平台将自己宣传为应对所谓“孤独大流行”的一种方式。Character.AI的联合创始人诺姆·沙齐尔（Noam Shazeer）2023年在一档播客中说：“它将极大地帮助许多孤独或抑郁的人。”

　　这些工具会影响心理健康的观点尚未得到充分验证，专家们指出它可能有不利的一面。对于一些用户来说，AI伴侣可能会加剧孤立感，用人工关系取代了人际关系。塞泽的母亲梅根·加西亚于10月对Character.AI提起诉讼，指控该公司对塞泽的死亡负有责任。

　　青少年的心理健康问题很少由单一因素引起，但塞泽与聊天机器人建立情感依赖的经历正越来越普遍。这项技术正在迅速发展，如今的AI伴侣可以记住过去的对话，适应用户的沟通风格，模仿名人或历史人物，几乎任何话题都能和用户流畅地聊起来。大多数此类应用的限制比ChatGPT、Claude和Gemini等主流AI聊天服务要少，后者的安全过滤通常更严格，并倾向于保守。

　　Character.AI由两位Google前AI研究员在3年前创立，是AI陪伴市场的领导者。2000多万人正在使用其服务。在Character.AI上，用户可以创建自己的聊天机器人，并指示其如何回复。他们还可以从大量用户创建的聊天机器人中选择，这些机器人可以模仿诸如伊隆·马斯克这样的名人、莎士比亚等历史人物，或未授权的虚构角色版本。这家初创公司2023年从投资者那里筹集了1.5亿美元，以10亿美元的估值成为生成式AI浪潮中的一大赢家。

　　今年我花时间体验了Character.AI。这款应用的技术让我印象深刻。此外，该应用的用户明显偏年轻。Character.AI上很多角色，比如“激进的老师”和“高中模拟器”等比较受欢迎的聊天机器人名，似乎专为青少年的幻想而设置。

　　Character.AI的信任与安全负责人杰里·鲁蒂（Jerry Ruoti）拒绝透露公司有多少用户未满18岁。他在一份邮件声明中表示，“Z世代和年轻的千禧一代是我们社区的重要组成部分”，并指出“年轻用户喜欢平台体验，不仅是出于娱乐，也为了有意义和教育性的对话”。他表示，用户平均每天花在平台上的时间超过一小时。在Character.AI的Reddit社区，用户常常讨论他们对角色的依恋（“痴迷”和“上瘾”这些词经常出现）。

　　目前，大多数AI陪伴平台—如Replika、Kindroid和Nomi—都提供了类似服务。它们总体上并非大型的知名AI公司。实际上，许多顶尖AI实验室出于伦理考虑或认为风险太大而拒绝研发AI伴侣。

　　“我觉得这像是一场巨大的试验，而我的孩子只是其中的牺牲品。”几个月前，身为律师的加西亚开始寻找愿意接手她案子的律所。今年10月，我与她见面。这位母亲用精确的法律语言陈述了对Character.AI的指控。她从文件夹中拿出塞泽的聊天记录打印件，流利地引用公司历史，并列举了证据证明Character.AI明知道它的产品在伤害青少年用户却依然推广它。

　　加西亚是一位坚定而聪明的倡导者，显然她意识到了自己的家庭悲剧正成为更大的技术问责运动的小小一角。她想要为儿子讨回公道，找出她认为导致儿子死亡的技术的真相。在采访中途，她拿出手机，放了一张家庭老照片的幻灯片，配着音乐。当塞泽的脸出现在屏幕上时，她不禁皱起了眉头。她说：“这就像一场噩梦。你只想站起来大喊，‘我想念我的孩子，我想要我的宝贝。’”