孤立森林 · 异常即信号

当恶意样本极度稀少,连 "规律" 都无从总结的时候

南京大学计算机学院    杨已彪

计算机软件新技术全国重点实验室

yangyibiao@nju.edu.cn

从朴素贝叶斯到孤立森林 · 一个自然的追问

一个网空场景: 0-day 攻击的发现

某部内网运行正常,每天产生海量流量日志。

已部署基于规则的 IDS,但攻击者使用 0-day 漏洞 进入内网。

什么是异常检测?

异常检测 = 在海量数据中发现 "少数派"

孤立森林的核心思想

异常点更容易被 "隔离" 出来。

孤立森林的核心思想 · 图解

为什么叫 "森林"?

孤立森林 = 多棵 "孤立树" 的集合

孤立树构建过程

%%{init: { 'theme': 'base', 'themeVariables': { 'fontSize': '17px', 'fontFamily': 'LXGWWenKai, \"Noto Sans SC\", sans-serif' }, 'flowchart': { 'nodeSpacing': 12, 'rankSpacing': 18 } } }%%
flowchart LR
    A["📊 原始数据"]
    --> B["🎲 随机选特征"]
    --> C["✂ 随机选切分点"]
    --> D["📦 切分为两组"]
    --> E{"是否隔离?"}
    E -->|否| B
    E -->|是| F["✅ 记录路径长度"]
    style A fill:#1a2a3a,stroke:#268bd2,stroke-width:2px,color:#fff
    style B fill:#1a2a3a,stroke:#f39c12,stroke-width:2px,color:#fff
    style C fill:#1a2a3a,stroke:#f39c12,stroke-width:2px,color:#fff
    style D fill:#1a2a3a,stroke:#268bd2,stroke-width:2px,color:#fff
    style E fill:#1a2a3a,stroke:#e74c3c,stroke-width:2px,color:#fff
    style F fill:#1a2d1a,stroke:#27ae60,stroke-width:2px,color:#27ae60

路径长度 · 核心指标

一个具体例子:外连频率

异常得分 · 最终输出

将路径长度转换为 异常得分(0~1):

Sklearn 实践 · 生成数据 + 训练模型

import numpy as np
from sklearn.ensemble import IsolationForest
# 1. 生成正常数据(1000 个,集中在原点附近)
normal = np.random.randn(1000, 2)
# 2. 生成异常数据(20 个,远离正常区域)
outliers = np.random.uniform(low=6, high=8, size=(20, 2))
# 3. 合并数据
X = np.vstack([normal, outliers])
# 4. 训练孤立森林
model = IsolationForest(contamination=0.02, random_state=42)
model.fit(X)

contamination 参数: 预期异常比例,这里设为 2% (20/1020 ≈ 2%)

Sklearn 实践 · 预测与得分

# 1. 预测异常(-1=异常, 1=正常)
pred = model.predict(X)
print(np.unique(pred, return_counts=True))
# 输出: (array([-1,  1]), array([20, 1000]))
# 2. 查看异常得分(值越小越异常)
scores = model.score_samples(X)
print(scores[:10])
# 3. 查看 Top 5 异常点
top5_idx = np.argsort(scores)[:5]
print(f"Top 5 异常索引: {top5_idx}")
print(f"Top 5 异常得分: {scores[top5_idx]}")

关键理解: sklearn 的 score_samples 输出负的异常分,越负越异常;取相反数或归一化后,就对应上一页 0~1 的异常得分(越接近 1 越异常)。

孤立森林 · 优缺点(网空视角)

孤立森林在网空领域的典型应用

随堂思考题

某部内网部署了异常检测系统。 数据: 1 万条流量日志(无任何标注) 已知: 其中可能存在 0-day 攻击的痕迹,但不知道有多少 方案 A: 用决策树训练(需要人工标注数据) 方案 B: 用孤立森林检测(无需标注) 问题: 你选择哪个方案?孤立森林发现异常后,下一步应该做什么?

如何选择? —— 方案对比

选择:方案 B(孤立森林)

本部分总结 · 孤立森林

综合回顾 · 四种思维 · 四把武器

一句话记忆: 规则找判据,距离找团伙,概率算风险,孤立抓异常。

课程总结

今天一起走过四种思维: ✅ 📜 决策树 —— 从 "专家经验" 到 "自动判据" ✅ 📏 K-Means —— 没有答案时,让数据自己 "抱团" ✅ 🎲 朴素贝叶斯 —— 用概率量化不确定性 ✅ 🚨 孤立森林 —— 异常本身就是信号

今天这四种是 "思维原型" —— 具体算法原理的展开,后续课程还会继续深入。

结束语