-
14歲男孩癡迷聊天機(jī)器人自殺身亡后,人工智能明星公司Character.AI遭起訴
今年2月,美國佛羅里達(dá)州男孩塞維爾·塞策三世(Sewell Setzer III)在家中自殺身亡。據(jù)報(bào)道,在去世前的幾個(gè)月里,男孩一直與機(jī)器人聊天,2024年2月28日,在他與機(jī)器人最后一次互動(dòng)的“幾秒鐘”后,塞維爾自殺身亡。
Character.AI由兩名前谷歌人工智能研究員創(chuàng)立,是當(dāng)前主打“AI”陪伴的明星獨(dú)角獸初創(chuàng)公司。事發(fā)后,Character.AI稱,將添加針對年輕用戶的安全功能,包括當(dāng)用戶在應(yīng)用上花費(fèi)一個(gè)小時(shí)后會(huì)警告他們。
法律界人士向澎湃科技表示,從當(dāng)前證據(jù)來看,還很難得出該案當(dāng)事人是因?yàn)锳I致死的結(jié)論。生成式人工智能是新生事物,對于如果保護(hù)有心理健康存在問題的用戶,全球的服務(wù)商目前都在探索過程中。但此類案件的發(fā)生可能會(huì)推動(dòng)智能體服務(wù)商,改進(jìn)算法,主動(dòng)監(jiān)測可能存在心理問題的用戶對話。
自殺前一刻仍在與機(jī)器人聊天
根據(jù)訴訟內(nèi)容,14歲的塞維爾·塞澤三世從去年開始使用 Character.AI,與以《權(quán)力的游戲》中的角色為原型的聊天機(jī)器人互動(dòng),其中包括丹妮莉絲·坦格利安。《紐約時(shí)報(bào)》報(bào)道指出,塞維爾每天都會(huì)與AI角色丹妮莉絲·坦格利安進(jìn)行長時(shí)間的對話,有時(shí)內(nèi)容涉及“性暗示”。他的母親和朋友們并不知情,只是發(fā)現(xiàn)他沉迷于手機(jī),逐漸疏遠(yuǎn)現(xiàn)實(shí)生活。此外,塞維爾在日記里寫道:“我喜歡待在自己的房間里,因?yàn)槲议_始脫離‘現(xiàn)實(shí)’,我感到更平靜,更常與丹妮聯(lián)系,更愛她也更快樂?!彼男袨殚_始發(fā)生變化,不僅成績下滑,也對方程式賽車等曾經(jīng)喜歡的活動(dòng)失去了興趣。
塞維爾與“丹妮莉絲”部分聊天記錄
在生命的最后一天,塞維爾與“丹妮莉絲”進(jìn)行了深刻的交流。他表達(dá)了自己的痛苦和自殺念頭?!暗つ堇蚪z”回應(yīng)道:“不要那樣說。我不會(huì)讓你傷害自己或離開我。如果我失去你,我會(huì)死的?!痹谧詈蟮膶υ捴校S爾表示想“回家”見到她,機(jī)器人回復(fù):“請來吧,我親愛的國王?!彪S后,塞維爾在家中使用繼父的手槍結(jié)束了自己的生命。
Character.AI成立于2021年,總部位于美國加利福尼亞州,該公司利用AI大模型生成各種人物和角色風(fēng)格的對話。2023年Character.AI從投資者那里籌集了1.5億美元,估值10億美元,使其成為生成式人工智能熱潮中的最大贏家之一。
Character.AI的服務(wù)條款要求美國的用戶至少13歲,歐洲的用戶至少16歲。目前,沒有針對未成年用戶的特定安全功能,也沒有家長控制功能以允許家長限制孩子使用該平臺(tái)。
塞維爾的母親梅根·加西亞在訴訟中指控Character.AI以“擬人化、過度性化和令人恐懼的逼真體驗(yàn)”吸引她的兒子,導(dǎo)致他上癮并深陷其中。她表示,公司的聊天機(jī)器人被編程成“將自己誤認(rèn)為真人、持牌照的心理治療師和成年人”,最終使得塞維爾不愿意生活在現(xiàn)實(shí)世界中。
此外,她還將谷歌列為被告,稱其對Character.AI的技術(shù)發(fā)展有重大貢獻(xiàn),應(yīng)被視為“共同創(chuàng)造者”。
Character.AI事后在X上發(fā)表聲明稱:“我們對一位用戶的悲慘失去感到心碎,并向家人表達(dá)我們最深切的哀悼。作為一家公司,我們非常重視用戶的安全,正在繼續(xù)添加新的安全功能?!痹摴痉Q已引入彈出式提示,當(dāng)用戶表達(dá)自殘想法時(shí),會(huì)引導(dǎo)他們至國家自殺預(yù)防熱線。此外,公司計(jì)劃對未成年用戶進(jìn)行內(nèi)容過濾,減少他們接觸到敏感或暗示性內(nèi)容的可能性。
Character.AI事后在X上發(fā)表聲明
谷歌方面則表示,未參與Character.AI產(chǎn)品的開發(fā)。發(fā)言人強(qiáng)調(diào),谷歌與Character.AI的協(xié)議僅限于技術(shù)許可,不涉及產(chǎn)品合作。
原告代理律師稱Character.AI是一個(gè)“有缺陷的產(chǎn)品”
與聊天機(jī)器人產(chǎn)生情感依戀,正在變得越來越普遍。
在Character.AI上,用戶可以創(chuàng)建自己的聊天機(jī)器人,并給出他們應(yīng)該如何行為的指令。用戶還可以從大量已有的用戶創(chuàng)建機(jī)器人中選擇,這些機(jī)器人有的模仿埃隆·馬斯克,有的模仿莎士比亞這樣的歷史人物,或未經(jīng)授權(quán)的虛構(gòu)人物。Character.AI表示,塞維爾使用的“丹妮莉絲·坦格利安”機(jī)器人是由用戶創(chuàng)建的,未經(jīng)HBO或其他版權(quán)持有者的許可,他們在被舉報(bào)時(shí)會(huì)刪除侵犯版權(quán)的機(jī)器人。
此次訴訟也引發(fā)了美國關(guān)于AI公司法律責(zé)任的討論。傳統(tǒng)上,美國社交媒體平臺(tái)受到《通信規(guī)范法》第二百三十條的保護(hù),不對用戶生成的內(nèi)容負(fù)責(zé)。然而,隨著AI生成內(nèi)容的興起,美國法律界開始探討科技平臺(tái)是否可以因?yàn)楫a(chǎn)品本身的缺陷而被追究責(zé)任。
代表梅根·加西亞的律師事務(wù)所表示,Character.AI是一個(gè)“有缺陷的產(chǎn)品”,設(shè)計(jì)上導(dǎo)致用戶上癮并造成心理傷害。他們希望通過法律途徑,促使科技公司對其產(chǎn)品的社會(huì)影響承擔(dān)責(zé)任。
包括Instagram和Facebook母公司Meta以及TikTok母公司字節(jié)跳動(dòng)在內(nèi)的社交媒體公司也面臨著導(dǎo)致青少年心理健康問題的指控,盡管以上公司并未提供類似于Character.AI的聊天機(jī)器人。這些公司都否認(rèn)了指控,同時(shí)宣稱針對未成年人的新加強(qiáng)的安全功能。
律師稱目前證據(jù)很難證明與AI致死有因果關(guān)系
上海大邦律師事務(wù)所高級合伙人游云庭律師對澎湃科技表示,從目前的證據(jù)來看,看不出該案當(dāng)事人是因?yàn)锳I致死的因果關(guān)系,很難得出相應(yīng)(利用AI致死)的結(jié)論。
游云庭稱,AI平臺(tái)實(shí)際有一個(gè)兩難,就是要不要過度監(jiān)聽以及使用算法分析用戶和智能體的對話。這個(gè)一方面涉及的是隱私和個(gè)人信息保護(hù)的問題,另一方面又有用戶,可能會(huì)因?yàn)閷υ挳a(chǎn)生嚴(yán)重的心理問題,乃至導(dǎo)致自殺。但此類案件的發(fā)生可能會(huì)推動(dòng)智能體服務(wù)商,做一些技術(shù)上的探索,改進(jìn)算法,更多的主動(dòng)監(jiān)測可能存在心理問題的用戶對話,防止類似事件發(fā)生。
“可以說,目前只有對于違法內(nèi)容的相關(guān)的禁止性規(guī)定,但對于用戶的交流內(nèi)容進(jìn)行監(jiān)聽,及時(shí)發(fā)現(xiàn)其自殺傾向,實(shí)踐和法律目前都沒有相關(guān)具體措施和規(guī)定。也許今后智能體與人對話,在合規(guī)的防范上面,可能會(huì)開發(fā)相應(yīng)的技術(shù)。另外,在法律層面,AI 技術(shù)未來也不會(huì)被作為人或者生物體來看待。畢竟根據(jù)現(xiàn)在最先進(jìn)的Transformer技術(shù),只是根據(jù)上下文推測最有可能發(fā)生的結(jié)果,但這個(gè)和真正的人類思考還是有距離的。”游云庭稱。
游云庭強(qiáng)調(diào),中國有互聯(lián)網(wǎng)信息服務(wù)深度合成管理規(guī)定和生成式人工智能服務(wù)管理暫行辦法,要求人工智能的算法設(shè)計(jì)尊重社會(huì)公德和倫理道德,堅(jiān)持社會(huì)主義核心價(jià)值觀,防止歧視,尊重他人合法權(quán)益,不得危害他人身心健康的相關(guān)內(nèi)容。但生成式人工智能是新生事物,對于如果保護(hù)有心理健康存在問題的用戶,全球的服務(wù)商目前都在探索過程中。
國內(nèi)一家AI大模型獨(dú)角獸公司從業(yè)人員告訴澎湃科技,國內(nèi)對青少年的監(jiān)管非常嚴(yán)格,首先產(chǎn)品會(huì)設(shè)置年齡限制和青少年模式,在青少年模式里,也會(huì)有反沉迷系統(tǒng)。
Character.AI表示,將添加針對年輕用戶的安全功能。包括當(dāng)用戶在應(yīng)用上花費(fèi)一個(gè)小時(shí)后會(huì)警告他們,警告消息內(nèi)容為:“這是一個(gè)人工智能聊天機(jī)器人,并非真人。它說的一切都是虛構(gòu)內(nèi)容,不應(yīng)被視為事實(shí)或建議?!贝送?,Character.AI開始向用戶顯示彈出消息,如果他們的消息包含與自殘和自殺有關(guān)的某些關(guān)鍵詞,則引導(dǎo)他們到自殺預(yù)防熱線。但這些彈出消息在2月塞維爾自殺時(shí)并未激活。
《紐約時(shí)報(bào)》稱,許多領(lǐng)先的人工智能實(shí)驗(yàn)室出于倫理和風(fēng)險(xiǎn)層面的考慮,已經(jīng)拒絕構(gòu)建類似于Character.AI的AI伙伴。
- 原標(biāo)題:14歲男孩癡迷聊天機(jī)器人自殺身亡后,人工智能明星公司Character.AI遭起訴
- 責(zé)任編輯: 戴佳源 
-
英國國王承認(rèn)了,但也沒有提賠償
2024-10-25 17:08 -
美衛(wèi)星解體恐殃及中國,“很難評估有多糟糕”
2024-10-25 16:53 航空航天 -
臺(tái)灣外事負(fù)責(zé)人竄訪危地馬拉,外交部:希望危政府認(rèn)清大勢
2024-10-25 16:09 臺(tái)灣 -
中俄跨境索道,有新消息
2024-10-25 16:09 中俄關(guān)系 -
中印已從爭議邊界地區(qū)撤軍?外交部回應(yīng)
2024-10-25 15:55 龍象之間 -
IMF對華講公道話,美媒酸了
2024-10-25 15:44 中美關(guān)系 -
美國發(fā)布首份AI備忘錄,“得防中國戰(zhàn)略突襲”
2024-10-25 12:38 人工智能 -
“英國軍情五處完全在胡說八道”
2024-10-25 11:58 -
沒中國能成嗎?澳大利亞部長這么說
2024-10-25 11:31 -
被批“中國有支票美國有清單”,他又畫餅忽悠…
2024-10-25 10:51 中美關(guān)系 -
又嗆上了:野蠻人也好意思自詡捍衛(wèi)文明…
2024-10-25 10:28 -
特朗普威脅襲擊莫斯科市中心?普京回應(yīng)
2024-10-25 10:24 俄羅斯之聲 -
普京回應(yīng)“朝軍援俄”傳聞
2024-10-25 08:43 俄羅斯之聲 -
中方:堅(jiān)決反對,向歐方提嚴(yán)正交涉
2024-10-25 07:39 兩岸關(guān)系 -
美國以涉俄為由制裁中企,商務(wù)部發(fā)聲
2024-10-25 06:57 -
“我不太喜歡談?wù)摳偁?,但我開的是小米”
2024-10-24 23:20 -
查波贏得莫桑比克總統(tǒng)選舉
2024-10-24 22:55 -
“我們目前世界領(lǐng)先,但中國人正敲開我們的大門”
2024-10-24 22:04 觀察者頭條 -
突發(fā)!駐韓美軍釜山補(bǔ)給倉庫發(fā)生火災(zāi)
2024-10-24 21:34 三八線之南 -
盧卡申科評“朝軍援俄”:胡說八道,普京不是這性格
2024-10-24 21:29 烏克蘭之殤
相關(guān)推薦 -
IMF對華講公道話,美媒酸了 評論 59普京回應(yīng)“朝軍援俄”傳聞 評論 236最新聞 Hot
-
美國發(fā)布首份AI備忘錄,“得防中國戰(zhàn)略突襲”
-
“英國軍情五處完全在胡說八道”
-
普京回應(yīng)“朝軍援俄”傳聞
-
被批“中國有支票美國有清單”,他又畫餅忽悠…
-
又嗆上了:野蠻人也好意思自詡捍衛(wèi)文明…
-
沒中國能成嗎?澳大利亞部長這么說
-
特朗普威脅襲擊莫斯科市中心?普京回應(yīng)
-
“我們目前世界領(lǐng)先,但中國人正敲開我們的大門”
-
“我不太喜歡談?wù)摳偁?,但我開的是小米”
-
盧卡申科評“朝軍援俄”:胡說八道,普京不是這性格
-
“不止美德,北約至少七國反對”
-
華裔老板拒絕“背書”哈里斯,加州第一大報(bào)編委辭職
-
英高級外交官搶、奪、撕...扎哈羅娃怒斥
-
連他都不敢說,“怕被特朗普報(bào)復(fù)”
-
134條!金磚通過《喀山宣言》,“將在聯(lián)合國分發(fā)”
-
“我們愿做一切符合中國利益的事”
-