随着AI时代的风险内容日趋复杂，社交平台正持续加强AI治理能力建设。
5月29日，记者发现，围绕AI在社交场景中的应用，Soul APP已对《社区公约》进行了AI相关补充更新，新增了关于AI生成内容、AI互动行为及AI虚拟角色等场景的使用规范。相关规范着重于协调AI在社交中的真实边界，旨在让AI成为表达工具，而非用于伪造身份、制造虚假关系或替代真实互动。同时，平台还引入了跨模态联动AI治理、AI虚拟角色使用提醒、灰黑产AI对抗等能力。
伴随AI技术发展，内容生成、图像处理与自动化互动正快速进入社交场景。创作门槛降低的同时，也催生了利用AI伪造身份、批量生产内容、制造不真实互动，甚至塑造高度逼真的“人设”与虚假社交关系等新问题。这些变化正在影响人们对“真实社交”的判断。
一项由美国斯坦福大学计算机科学家主导的新研究显示，主流大型语言模型在回应用户个人困境时，普遍表现出过度肯定、回避直接批评的倾向。即使面对用户描述的有害或非法行为，模型也常常选择认可而非质疑。研究者担心，长期依赖此类AI，人们可能逐渐失去应对复杂社交情境的关键能力。该研究已发表于权威期刊《科学》杂志。
对“谄媚式AI”的警示，已在多个社交平台获得重视。上月底，微博（WB）针对“AI魔改”展开清朗行动，呼吁用户在遵守相关法律法规及平台规则的前提下进行AI创作，抵制技术滥用等违规行为。几乎同时，小红书发布新规，强调涉及AI违规运营、造假、侵权及低质内容将被封号。推特也在今年1月更新使用规范，明确禁止用户通过标注功能调用Grok工具修改真人照片。
平台对AI使用规范的监管日益严格，很大程度上是因为大量违规行为已不再局限于简单的“敏感词”或明显诈骗话术，而是呈现出更强的伪装性与场景化特征。
“以前可能是很明显的套路，现在更像是在‘养一个关系’。”业内人士指出，许多高风险账号不再依赖明显违规内容，而是尽量让所有内容“看起来正常”。相比过去大量发送模板化话术，如今一些异常账号会尝试模拟正常社交节奏，通过更自然的聊天方式建立信任关系。例如，先进行较长时间的日常闲聊，再逐步引导投资、转移至站外或情感依赖等行为。
当前，平台治理已初见成效。微博（WB）方面透露，仅4月就拦截并清理各类违规视频70条。Soul App《2026年第一季度生态安全报告》也显示，一季度累计参与多项AI反诈与黑灰产打击专项行动，报送有效线索50余次。
当AI开始介入内容创作、情绪陪伴与社交互动后，“真实”本身变得越来越难以简单定义。分析人士指出，相比过去单纯依赖人工判断或静态规则，如今的平台治理正逐渐转向一种持续演化的动态能力。以AI陪伴为例，当用户与AI虚拟角色长时间连续互动时，平台适时提醒，将有助于引导用户合理安排使用时长。“相比将AI单纯理解为‘聊天工具’或‘虚拟陪伴’，平台更应将其视为一种辅助表达与情绪支持能力，而非替代人与人之间真实关系的工具。”
谈及平台如何继续守护人与人之间的真实连接，业内人士建议，AI既是产品能力的一部分，也正在成为社区治理能力的一部分。“它可以帮助用户更方便地表达与交流，也能用于识别虚假人设、异常互动与高风险行为。但无论技术如何变化，真实、善意、自然的互动，仍然是社交关系成立的基础。”
