社交机器人检测：大模型时代的挑战与深度学习实战

1. 任务简介

本次汇报聚焦于“社交机器人（Social Bot）检测”任务。社交机器人是指在社交媒体平台上通过模拟、影响或操纵人类用户进行交流的自主软件代理。 报告涵盖了从早期的规则脚本到当前由大语言模型（LLM）驱动的第三代拟人化机器人的演变过程。核心目标是识别出那些用于操纵舆论、传播虚假信息、进行金融诈骗或破坏网络生态的恶意自动化账号。

2. 研究动机

随着 AI 技术的发展，社交机器人检测面临严峻的现实挑战与安全需求：

1. 社会危害升级：机器人已从简单的垃圾广告演变为干预民主选举（如 2016 美国大选）、加速假新闻传播（比真新闻快 70%）以及操纵金融市场（加密货币欺诈）的工具。
2. LLM 带来的范式危机：ChatGPT 等技术的出现使得基于文本内容的检测方法失效（Challenge 1），生成的文本在统计特征上与人类难以区分；同时机器人具备了对抗性规避能力（Challenge 2）。
3. 现有方法局限：传统的启发式规则易被绕过，特征工程成本高且泛化弱；而现有的检测模型往往难以兼顾内容语义与复杂的时序行为模式。

3. 方法设计（综述视角 + 模型实战）

报告从宏观趋势与微观模型两个维度展开：

1）LLM 时代的检测范式转移（Paper 1: Survey by Emilio Ferrara）

• 核心论断：基于内容的检测已过时，必须转向“行为-网络-上下文”中心。
• 新兴机遇：
  • 生成式智能体（Generative Agents）：利用 AI 构建虚拟社交世界，模拟大规模人类行为并注入 Bot 进行红队演练，解决数据稀缺问题（最具颠覆性）。
  • 多模态与跨平台：整合图像、音频及跨平台（如 X + Telegram）关联行为。
  • 联邦学习：解决数据孤岛与隐私限制，实现跨平台协作检测。

2）基于混合深度学习的检测架构（Paper 2: IEEE TIFS 2023）

• 模型架构：提出了一种包含三个 LSTM 模块与全连接层的混合架构，分层处理不同维度的信息。
  • LSTM_TC：处理推文内容语义（Tweet Content），利用 GloVe 嵌入理解文本。
  • LSTM_T：处理时序与元数据模式（Temporal & Metadata），将推文语义与发布间隔、互动数据拼接，捕捉行为模式。
  • LSTM_AD：处理账户描述语义（Account Description）。
• 融合决策：最后通过全连接层（FC）融合上述模块输出及账户静态元数据，输出真假概率。

4. 实施细节

数据构建与处理：

• 数据集：Paper 2 整合了四个经典数据集（如 cresci-2017 等）并重新爬取，构建了包含 2276 个活跃账户的 Mixed-2021 混合数据集，以覆盖多样化的机器人类型。
• 特征工程：输入特征不仅包含文本 Embedding，还精细化提取了元数据特征，如发帖时间间隔（天/时/分）、Hashtag 数量、是否地理定位等。

训练策略：

• 不平衡更新处理：针对单条推文更新频率高于其他模块的问题，探索了 Full Training（全训练）、Partial Training（冻结部分层）和 On-Off Training（交替训练）三种方案。实验表明 Full Training 简单且有效。
• 参数设置：基于 PyTorch 实现，使用 Adam 优化器，Batch Size=1，输入序列长度 l=10（即最近 10 条推文）。

5. 实验与结论

主要实验结果（Paper 2）：

• 性能优势：在 Mixed-2021 数据集上，该混合模型的 Accuracy、Recall 和 F1-Score 均显著优于基线模型，包括当时的 SOTA 商业工具 Botometer v4。
• 消融实验：移除“推文元数据”（行为特征）导致性能下降最严重，证明了行为模式（如发布节奏、互动方式）比单纯的文本内容对检测机器人更为关键。
• 鲁棒性：在 20 次随机划分实验中，模型表现出极高的稳定性，Recall 始终领先。

综述总结（Paper 1）：

• 未来的检测将是一场“AI vs. AI”的军备竞赛。单纯依赖文本特征已死，未来的方向在于合成数据训练、可解释性（XAI）以及对长尾/低资源语言的支持。 本次组会内容下载链接