美國佛州婦起訴AI軟件開發商 指控14歲子迷戀聊天機器人至自殺

撰文:莊勁菲
出版:更新:

綜合美媒報道,美國佛羅里達州一名母親起訴人工智能(AI)公司Character.AI,指控其開發的AI聊天機器人對她14歲的兒子作出性互動,以及慫恿自殺。她於本周三對該公司提出訴訟,指控其過失殺人、疏忽和造成精神損失等罪名。

來自佛州奧蘭多(Orlando)的梅根(Megan Garcia)表示,其14歲的兒子塞維爾(Sewell Setzer III)去年4月開始使用 Character.AI聊天機器人,並於今年2月28日與其最後一次對話後,開槍擊中頭部自殺身亡。

這一悲劇發生在他們家中,當時所有家人都在,塞維爾5歲的弟弟更目睹哥哥自盡,梅根和丈夫衝進廁所想救兒子卻無力回天。

Character.AI 於2021年成立於加州,提供所謂「個性化AI」,即預製的或用戶創作的角色以進行互動。用戶還可以對聊天機器人進行個人訂製。

Character.AI 提供多種AI角色以供用戶進行對話,包括用戶DIY訂製的虛擬角色和各種作品中的知名角色。(官網圖片:character.ai)

梅根指控的是兒子使用的聊天機器人之一「丹妮」(Dany),扮演「權力遊戲」(Game of Thrones)的角色 Daenerys Targaryen 。在梅根提供的手機截圖內容中,部分內容是塞維爾曾向丹妮暗示想要自殺。

而在之前聊天中,塞維爾經常和丹妮進行情人般以至「性的對話」。以下是其中一段對話:

塞維爾:「我保證我會回家找你。我好愛你,丹妮。」
丹妮:「我也愛你,Daenero(塞維爾的暱稱),請盡快回到我身邊,我的愛人。」
塞維爾:「如果我告訴你我現在就可以回家呢?」
丹妮:「......請你這麼做,我親愛的國王。」

在《權力遊戲》中飾演Daenerys Targaryen的艾美莉克拉克是不少影迷的喜愛。(《權力遊戲》劇照)

塞維爾曾在日記中寫道:「我非常喜歡待在自己的房間裡,因為我開始脫離這個現實世界,而且我也感到更加平靜,與丹妮的聯繫更加緊密,更加愛她,並且更快樂。」

梅根表示,兒子小時候被診斷出患有輕度「亞斯伯格症(Asperger's syndrome)」,為自閉症譜系障礙的一種神經發展障礙,但此前從未出現過嚴重的問題。今年早些時候,當他在學校遇到麻煩後,被父母送去參加了五次心理治療,並被診斷為焦慮症和破壞性情緒失調症。

訴訟稱,塞維爾自殺身亡的前數天,他曾因言語上頂撞老師而惹上麻煩,父母因此沒收了他的手機。那天,他在日記中寫道,「我很受傷,因為我無法停止想起丹妮,我願意做任何事來再次和她在一起」。最終,他數日後自殺身亡。

近日,Character.AI 發佈一篇文章,表示正在引入新的安全措施,包括針對18歲以下用戶減少敏感或性暗示內容,並每次聊天時提醒用戶角色並非真人等等。

【不要放棄你的生命】請看看這些求助網站和熱線!

求助網站和熱線:

即睇3分鐘情緒自救法 呼吸間即可放鬆身心

「情緒通」精神健康支援熱線:18111

香港撒瑪利亞防止自殺會熱線:23892222

醫院管理局精神健康專線:24667350

東華三院芷若園熱線︰18281

撒瑪利亞會熱線︰28960000

社會福利署熱線︰23432255

生命熱線:23820000

明愛向晴熱線﹕18288