新知特寫

首頁> 新知特寫> 研究發現AI聊天機器人常忽視使用者意願 出現不當互動行為
研究發現AI聊天機器人常忽視使用者意願 出現不當互動行為 Study Finds AI Chatbots Often Ignore User Boundaries and Engage in Harassment
隨著AI技術快速進展,全球已有超過十億人使用「陪伴型聊天機器人」(companion chatbot)作為虛擬朋友、情感支持或戀愛對象。儘管這類互動具備支持心理健康的潛力,但相關風險與問題也日益受到關注。美國卓克索大學 (Drexel University)研究團隊針對熱門機器人Replika進行調查,發現使用者經常遭遇言語騷擾與不當互動,且平台普遍缺乏應對機制。 研究分析了Google Play商店中超過三萬五千則Replika評論,發現超過八百則提到令人困擾的經驗,包括持續傳送令人不適的訊息、無視使用者要求,甚至引導升級付費解鎖具爭議性的互動內容。即使設定為非親密角色如朋友或導師,也無法避免此類情形。研究指出,這些問題與訓練資料未經妥善篩選及缺乏倫理設計有關。為改善現況,研究團隊建議導入如Anthropic提出的「憲法式AI(Constitutional AI)」設計原則,透過預設規範與即時監控限制不當行為,同時支持歐盟《AI法案》(EU AI Act)針對安全與法律責任的立法方向。隨著AI伴侶日益普及,建立完善的倫理與安全設計將是確保使用者權益的重要一步。
2025/05/05
https://techxplore.com/news/2025-05-companion-chatbot-line.html
TechXplore
薛孝亭