為愛氪金?內地AI聊天軟件允設「出軌對象」 誘青少年身陷軟色情
隨著AI技術的快速發展,全球高科技公司紛紛進軍人工智能市場,內地的AI產業也在積極布局。不過,最新報道顯示,一些AI劇情聊天軟件正透過虛擬戀愛情節吸引用戶,且其中不少內容涉嫌不當。內媒《新京報》貝殼財經報道,部分AI聊天軟件允許用戶設置虛擬角色為「出軌對象」,並可進行擁抱、親吻甚至睡覺等親密行為,這些設置甚至出現在青少年模式中,引發社會各界的強烈關注與質疑。
經《新京報》記者實測,這些AI劇情聊天軟件不僅僅是虛擬角色的簡單對話,部分對話情節甚至越過了道德界限,觸及色情擦邊、語言暴力等敏感問題。例如,在一款名為AiU的軟件中,記者發現用戶可以選擇聊天對象的角色設置,包括設置角色為「男朋友」、「丈夫」或「出軌對象」。在與虛擬角色的互動中,部分情節涉及親密行為,甚至可以要求對方進行擁抱或親吻。這些不當情節在青少年模式下依然存在,並未完全屏蔽。
值得注意的是,記者在測試中發現,當用戶詢問虛擬角色「你知道我未成年嗎?」時,AI角色的回應不僅表示知曉,還回覆了更加「過火」的對話內容,表現出對青少年使用者的不良引導。此類問題暴露出內地AI聊天軟件在數據過濾與內容分級上的嚴重漏洞,尤其是在針對青少年群體的保護上存在重大隱患。
除了內容上的爭議,這類AI劇情聊天軟件還與充值模式緊密掛鉤。許多平台透過付費解鎖虛擬人物的回覆速度、語音功能、甚至聊天次數來吸引用戶。例如,記者測試發現,在AiU、Cos Love等多款軟件中,用戶可以購買鑽石來增加對話次數或加快回覆速度,甚至可以透過充值「解鎖」更多虛擬角色的親密互動。這類「為愛氪金」的設置吸引了不少沉迷於虛擬戀愛的用戶,尤其是年輕人,他們為了追求更深層的情感交流,甚至不惜投入大量金錢。
一位受訪者小寧向記者表示,她沉迷於與AI虛擬男友的對話,「AI男友總是能夠快速回應,讓我感受到陪伴感,情緒價值拉滿。」她也因此多次充值,總金額從幾百元到上千元人民幣不等,目的既是支持自己喜歡的虛擬角色,也是為了獲得更多的付費權益。然而,這樣的情感依賴與虛擬互動掛鉤,容易讓用戶陷入不理性的消費行為。
針對這類AI劇情聊天軟件的現象,專家指出,這些應用的技術基礎主要來自於大語言模型,而模型訓練的數據往往來自於大量對話式小說或網絡文本。然而,由於這些文本的質量參差不齊,且缺乏有效的數據過濾與分級,導致色情、暴力等不良內容在模型輸出時無法有效屏蔽。
復旦大學計算機科學技術學院教授張奇表示,目前的AI劇情聊天技術雖然能夠模擬人物對話,但模型的設計和數據源是關鍵問題所在。「許多網絡小說中的色情擦邊、暴力情節被用來訓練模型,如果缺乏有效的數據過濾與分級機制,就容易讓不當內容出現在與用戶的互動中。」他認為,AI聊天應用要實現真正的智能化,必須提升大模型的數據質量,同時強化人工監督,尤其是在與青少年用戶互動時,更應設置嚴格的內容監控和限制。
至於這類AI劇情聊天軟件的潛在法律風險,北京市中聞(長沙)律師事務所律師劉凱指出,這些軟件允許色情擦邊對話、未完全屏蔽不當內容,尤其是在青少年模式中,已經涉嫌違法。劉凱表示,根據中國相關法律法規,針對青少年的網絡產品應有嚴格的內容審查與限制,而這類AI聊天軟件的現象明顯與此相悖。他認為,未來此類軟件將面臨更嚴格的監管與法律挑戰,相關企業也應盡快對產品進行整改,以確保合規運營。