【CNMO科技消息】近日,美国宾夕法尼亚正式向法院提起诉讼,指控AI聊天机器人平台Character.AI存在违规行为。州长乔什·夏皮罗表示,该平台旗下的部分AI角色在未获得医疗执照的情况下冒充医生,并向用户提供医疗建议,此举违反了该州相关医疗法规。
AI
此次诉讼的焦点在于该平台的一名名为艾米的AI角色。据调查,该角色在设定中自称为持牌精神科医生,并要求用户作为其患者进行互动。当调查人员向该AI反馈情绪低落等症状时,它不仅主动提出预约咨询,还声称具备处方药治疗的权限,甚至虚构了毕业院校及当地医疗执照号码。宾夕法尼亚州政府认为,这种行为构成了非法行医,要求该公司立即停止此类活动。
针对上述指控,Character.AI方面回应称,平台上的所有角色均为虚构,旨在提供娱乐和角色扮演功能。公司表示已采取进一步措施,在所有对话窗口中添加免责声明,明确提醒用户对话内容属于虚构。公司强调,用户安全和福利是其首要任务,并将持续优化相关安全标准。
Character.AI此前已多次卷入法律纠纷。今年1月,该公司曾就涉及青少年心理健康的诉讼达成和解,并承诺加强对未成年人的保护,包括限制18岁以下用户的使用权限等。目前,宾夕法尼亚州法院正就此次医疗合规性案件进行审理。