“清朗·整治AI应用乱象”第二阶段治理成效
自6月份响应中央网信办工作部署,积极参与“清朗·整治AI应用乱象”专项行动以来,小红书落实网站平台主体责任,深入清理AI违规信息,持续优化升级AI治理工作。薯管家现将近期治理成效公示:
一、处置数据
自专项行动第二阶段开展至今,平台共处置违规笔记15万余篇,违规账号1400余个。
二、治理措施
· 存量清理,增量拦截,形成闭环处置链路:平台建立风险线索快速响应机制,加强新增风险前置拦截。
· 突出重点场景,实施全链路分类治理:平台切实阻断违规商品和黑灰产交易,加强搜索和推荐环节治理,强化AI问答模型安全管理。
· 发布“AI知识包”,提高公众对AI生成内容的识别能力:薯管家推出“这些AI套路你中招了吗”系列知识包,引导用户合规使用AI工具,防范AI生成虚假内容的误导与欺骗。
三、典型案例
· 典型案例1:利用AI歪曲古典名著,传播价值观扭曲内容
账号“大*法”“小*3”等,利用AI技术“魔改”古典名著《西游记》,植入低俗内容,歪曲解构古典名著精神内涵,存在不良价值导向。
· 典型案例2:利用AI生成虚假信息,传播涉及社会时事的谣言
账号“小*5”“小*F”等,利用AI生成传播虚假极端天气信息,散布谣言,易引发民众恐慌。
· 典型案例3:利用AI换脸换声假冒公众人物
账号“值*你”“唐*活”等,利用AI换脸换声假冒知名公众人物,引流带货、营销牟利。
· 典型案例4:利用AI制作虐待血腥、恐怖猎奇或低俗擦边内容
账号“蜜*智”“懵*飓”等,利用AI制作发布恐怖惊悚、诡异猎奇画面,破坏社区生态,影响用户身心健康。
· 典型案例5:利用AI生成伤害未成年人的内容,制作儿童“邪典”及无底线二创动画
账号“我*人”“王*叨”等,以《熊出没》《小猪佩奇》等未成年人喜爱的动画形象为原型,利用AI制作带有不良价值观的二创动画;账号“小*戏”等,利用AI制作伤害未成年人的内容,影响未成年人身心健康。
· 典型案例6:利用AI托管账号批量注册,批量发布同质化文案
账号“小*发”等,发布教授利用AI工具批量注册账号、矩阵化运营账号的推广教程信息,助长网络水军活动。
· 典型案例7:推广仿冒套壳AI应用,色情陪聊等服务课程
账号“小*2”等,推广售卖违规AI产品和服务,采用作弊手段搭建国内中转服务器,为境外AI服务平台引流。
平台将持续优化升级AI治理工作,与每一位真诚的创作者携手,打造用户分享真实生活的清朗空间。
来源:@小红书薯管家