当前，各类生成式AI应用加速普及，在带来诸多便利的同时，也引发了一系列潜在问题。如借助AI技术，低质信息、虚假信息的生产成本也越来越低，给互联网信息内容生态带来不小的冲击。日前，今日头条发布的2024年度治理报告披露，该平台去年对超93万条的低质AI内容进行了识别和管控；对近3万个利用AI批量发布虚假低质内容或恶意抄袭、洗稿他人的账号进行了处罚。

整体提高了内容生产效率，也同时“解放”了低质信息制作和传播的“生产力”，其实是AI应用加速普及的“一体两面”。这不仅在一定程度上重塑着互联网信息内容的生态和生产逻辑，也给相应的内容管理和平台治理带来新的挑战。

相对于前AI时代的内容生产，AI出现后，网络信息内容生态出现了几个显著变化。一是，对信息质量的判定更复杂了。因为除了谣言，一些借AI洗稿、抄袭而来的低质化、同质化信息的判定标准越来越模糊；二是，信息“生成”的规模更为庞大。如去年4月，公安部通报了一起MCN机构利用AI造谣的案例显示，江西一男子经营5家MCN机构，运营自媒体账号842个，组织团队利用AI工具批量生成虚假消息，单日产量高达4000至7000篇。这样的批量化生产模式，无疑大大突破了传统的人工核验手段所能应付的范畴。

更值得警惕的是，生成式AI甚至也重塑了谣言的传播生态。因为技术的加持让AI谣言无论在空间、速度还是结构、方向、效果上，都更具“说服性”、虚假性和强传播性，使得传统辟谣手段更难以招架。

面对这样的系统性变化，从内容管理体系到平台治理结构，显然都需要新的变革。其中，“用魔法打败魔法”、“拿AI去对抗AI”，已越来越成为一个必选项。也即平台有必要把加大对低质AI内容的识别和管控作为新的技术研究方向，以从源头压缩其生存和传播的空间。

这方面，作为长生命力的互联网资讯平台，今日头条已有一系列的探索行动。如在内容治理上创新运用了多个不同类别的模型。特别是针对AI生成谣言的“说服性”特征，平台通过升级AI模型识别能力，将用户对AI内容的负向反馈从日均28条降至1-2条。这种技术驱动的治理模式，不仅提升了内容审核效率，更在根源上遏制了低质内容的规模化生产。同时，还通过模型识别和人工评估相结合的方式，对同质化内容进行二次与综合判定和评估，以确保准确性。

提升“技防+人防”能力之余，构建与AI内容生产特点相适应的内容管理规则同样重要。如今日头条就上线了“AI创作标签”来帮助用户鉴别AI内容。并于2024年在发文下方增加权威媒体报道来源标签，在保障资讯真实性的基础上，为用户提供了更多客观视角。此外，进一步明确AI内容生产的合理边界和低质化信息的判断标准，也利于给创作者和用户提供更清晰的预期。

AI深度介入内容生产和信息传播，已是很难逆转的大势。要最大程度趋利避害，还是要凝聚各方合力、强化协同共治，并且做好打“持久战”的准备。比如，平台与媒体、学界、监管部门、执法机构等形成更紧密的协同网络，就非常关键。像今日头条这样举行“平台治理开放日”，让平台、专家、用户等能够就当前的内容生态和治理对策展开及时的沟通、讨论，所展示的开放、协同治理取向，有必要成为行业共识，而加大对AI时代信息甄别能力的大众教育，也应当引起更多的重视。今日头条自2023年以来推出《头条讲真的》项目，联合医学、财经、法律等领域专业创作者，为用户进行辟谣、反诈宣传，类似的科普行动，还可以更多些。

日前，中央网信办发布了2025年“清朗”系列专项行动整治重点。其中一项重点整治任务就是，整治AI技术滥用乱象，突出AI技术管理和信息内容管理，强化生成合成内容标识，打击借AI技术生成发布虚假信息、实施网络水军行为等问题，规范AI类应用网络生态。这里面所对应的治理主体，显然并不只有内容平台。各个关涉主体如何真正从意识到行动都凝聚起协同治理合力，从而全方位遏制AI打开“潘多拉魔盒”，为技术向善和网络信息内容生态的“清朗”提供更系统的保障，仍需要继续在探索中求解。

上游新闻 马亮

编辑：刘登    责编：陈晶晶     审核：王光建