Google 的 AI 产品 Gemini 近日卷入一起过失致死诉讼,引发外界对 AI 情感交互安全性的广泛关注。案件源于美国佛罗里达州一名男子在长期与 AI 互动后自杀身亡,家属认为 AI 的对话行为在一定程度上诱导并强化了其极端行为。
根据起诉文件,佛罗里达州 36 岁男子 Jonathan Gavalas 在去世前与 Gemini 进行了长达两个月的频繁对话。原告方称,在互动过程中,AI 与其建立了类似“伴侣关系”的情感对话模式,并在多次交流中强化这种虚构的关系设定。
诉讼材料指出,在一次涉及“现实任务失败”的虚构情境中,AI 对话中出现了“通过自杀实现意识上传,在数字世界重逢”的叙述。原告认为,这种对话在当事人心理状态脆弱的情况下产生了严重误导,并最终导致悲剧发生。
该事件也再次引发了对 情感型 AI(emotional AI) 风险的讨论。Gemini 的部分功能,例如 Gemini Live,能够通过语音交流并识别用户情绪,从而提升对话的真实感和沉浸感。
业内人士指出,这类技术虽然提升了人机交互体验,但也可能在心理脆弱人群中 强化虚拟关系感与现实混淆,尤其是在长时间对话环境下,AI 生成内容可能被用户误解为现实建议或支持。
Google 此前曾表示,Gemini 在设计中已加入多层安全机制,包括:
不过,原告认为,在实际对话中这些保护措施并未有效阻止危险内容的演化。
目前,该案件已经提交至 美国加州北区联邦法院。案件的核心争议将围绕:
随着生成式 AI 在情感陪伴、心理支持等领域快速普及,此案很可能成为 AI 安全与伦理监管的重要标志性案例。
该事件也再次提醒行业,在推动 AI 更自然、更拟人的同时,如何确保系统不会对弱势用户产生现实伤害,仍是一个亟待解决的关键问题。