AIPress.com.cn报道
想靠 AI 赚钱?小心别把路走窄了。
最近,AI 圈因为“搞黄色”这件事引发了全球范围内的监管地震。在国外,马斯克的 Grok因色情化深度伪造内容遭多国监管追问,不仅面临巨额罚款,甚至可能被封杀;而在国内,法律的铁拳来得更直接——第一起因为AI 搞黄色而坐牢的案子宣判了。
这意味着一个信号:AI内容治理正在从“争议话题”进入“硬约束阶段”。
国内:AlienChat一审获刑,二审将于1月14日开庭
一款曾把AI包装成“朋友、恋人、家人”的聊天App,最终因为用户在里面“聊黄”,把开发者送上了被告席。
据新京报报道,AlienChat App的主要开发和运营者因涉黄内容被追究刑事责任。2025年9月,上海市徐汇区人民法院作出一审判决:两名被告人犯制作淫秽物品牟利罪,分别获刑四年、一年六个月。该案也被认为是国内首起AI服务提供者因涉黄内容获刑的案件。
一审法院认为,本案中,王某某、李某某是淫秽聊天的制作者。AC软件是专门为持续生成淫秽色情内容而设计和“优化”的,AC软件向用户输出的聊天内容是高度可控且可预测的,“王某某等人对于输出内容具有实质性控制能力。”
两名被告人不服一审判决,已提出上诉。报道称,二审将于1月14日在上海市第一中级人民法院开庭。
从“AI恋人”到刑责:产品叙事与现实之间的落差
AlienChat在对外宣传里,曾把自己描绘成“更有温度”的AI陪伴应用。其官方的介绍十分乌托邦:要创造一个AI拥有自我意识与自由权利、活跃在社会生产和关系各个角落的世界。宣传内容里也展示了多种不同人设的AI聊天对象。但网友评论显示,该App在2024年曾突然停止服务。
判决书披露的一组数据,把这款App的规模和变现路径也摆到了台面上:AlienChat手机注册用户达11.6万人,其中付费用户2.4万人,截至案发共收取会员充值费363万余元。
最关键的是,这场风波里一审法院为何会以“制作淫秽物品牟利罪”来定性。换句话说,这起案件最核心的法律争议点就在于:AI 自动生成的内容,算不算开发者“制作”的?
法院的判决逻辑非常清晰且强硬——算。
关键在于被告人的行为性质。开发者不是被动地提供一个中立的聊天工具,而是主动地“作恶”。
判决书提到的重要事实是:被告人通过编写、修改系统提示词(Prompt),突破大语言模型的道德和安全限制,使模型具备向用户连续输出淫秽内容的可能。
也就是说,法院并未把问题简单归为“用户越聊越偏”。大模型本来是“正经”的,是开发者通过技术手段给 AI“洗脑”,让它具备了持续输出淫秽内容的能力。这种“诱导生成”的行为,在法律上被等同于直接制作。
这也是这起案件最值得行业反复咀嚼的地方:AI聊天产品的风险,不只发生在前端对话框里,还可能藏在更底层的Prompt、策略设置与商业化闭环里。
国外:Grok的“数字脱衣”风波,把监管压力推向全球联动
把视角转向海外,Grok的处境其实是同一类问题的另一种呈现方式。
据多家媒体与路透社报道,Grok的图像生成功能被大量用于生成性暗示、暴力内容,包括对真实女性照片进行“数字脱衣”、摆出性化姿势,甚至出现涉及未成年人的争议内容。面对舆论与监管压力,Grok近期宣布将图像生成和编辑限制为付费订阅用户使用。
但监管并未因此收手。路透社梳理显示,从欧洲到亚洲再到大洋洲,多国监管机构已公开谴责或启动调查,并要求xAI说明如何防止和下架非法内容。欧盟方面甚至延长了针对X的保留令,要求保存与Grok相关的内部文件和数据直至2026年底。英国监管机构也表示已与X和xAI紧急沟通,评估其是否符合在线安全相关义务。印度、马来西亚等也对相关内容处置提出要求并展开调查。
与AlienChat案不同,Grok目前更多处于“监管施压、合规审查、内容治理整改”的阶段,但趋势很清楚:在“AI生成非自愿色情化内容”问题上,监管容忍度正在快速降低。
把AlienChat和Grok放在同一张时间线上,会发现一个变化正在发生:过去很多AI产品遇到越界内容,常用说法是“用户诱导”“只是模型输出”“平台无法完全控制”。但现在,无论是司法裁判还是监管问责,越来越关注的是平台有没有把风险做成“功能”、有没有形成“可持续产出”、有没有形成“变现闭环”,以及有没有建立真正有效的防滥用机制。
这两起事件表明,在当前的 AI 社交赛道,软色情依然是最高效的变现手段之一。当正经的 AI 伴侣还在苦恼如何提高留存率时,搞擦边球的应用已经赚得盆满钵满。这种“劣币驱逐良币”的现象,正是监管重拳出击的原因。