决策树 · Decision Tree

从 "专家经验" 到 "自动判据" 的桥梁

南京大学计算机学院    杨已彪

计算机软件新技术全国重点实验室

yangyibiao@nju.edu.cn

一个网空场景

攻击者如何进来? 如何藏?

决策树的核心思想

不断提问,逐层判定。以流量检测为例:

%%{init: { 'themeVariables': { 'fontSize': '18px' }, 'flowchart': { 'nodeSpacing': 16, 'rankSpacing': 24 } } }%%
flowchart TD
    A["📡 外连请求 · 20 条<br/>(10 正常 / 10 恶意)"]
    --> B["❓ 端口 = 443 ?<br/>(10 正常 / 10 恶意)"]
    B -->|否| C["❓ 频率 > 10/min ?<br/>(2 正常 / 6 恶意)"]
    B -->|是| D["❓ 载荷 > 1400B ?<br/>(8 正常 / 4 恶意)"]
    C -->|是| E["🔴 恶意 C2<br/>(0 正常 / 6 恶意)"]
    C -->|否| F["🟢 正常<br/>(2 正常 / 0 恶意)"]
    D -->|是| G["❓ 间隔 < 5s ?<br/>(2 正常 / 4 恶意)"]
    D -->|否| H["🟢 正常<br/>(6 正常 / 0 恶意)"]
    G -->|是| I["🔴 恶意 C2<br/>(0 正常 / 4 恶意)"]
    G -->|否| J["🟢 正常<br/>(2 正常 / 0 恶意)"]
    style A fill:#dceaf5,stroke:#268bd2,stroke-width:2px,color:#073642
    style B fill:#f7e5d4,stroke:#cb4b16,stroke-width:2px,color:#073642
    style C fill:#f7e5d4,stroke:#cb4b16,stroke-width:2px,color:#073642
    style D fill:#f7e5d4,stroke:#cb4b16,stroke-width:2px,color:#073642
    style G fill:#f7e5d4,stroke:#cb4b16,stroke-width:2px,color:#073642
    style E fill:#f7dcdc,stroke:#dc322f,stroke-width:2px,color:#dc322f
    style I fill:#f7dcdc,stroke:#dc322f,stroke-width:2px,color:#dc322f
    style F fill:#e3eed4,stroke:#859900,stroke-width:2px,color:#859900
    style H fill:#e3eed4,stroke:#859900,stroke-width:2px,color:#859900
    style J fill:#e3eed4,stroke:#859900,stroke-width:2px,color:#859900

什么是 "好特征"?

网空场景: 某内网采集了 1000 条外连(出站连接)日志(500 正常 + 500 恶意)

好特征 = 能把 "混杂" 快速降为 "纯净"

熵 · 衡量 "混乱程度"

信息增益 · 特征 "好" 的量化指标

定义: \[ Gain(D, A) = H(D) - \sum_{v} \frac{|D_v|}{|D|}\, H(D_v) \]

翻译成人话: 划分前多乱,划分后多不乱 —— 差值越大,这个特征越值得用。

决策树家族 · 时间线

%%{init: { 'theme': 'base', 'themeVariables': { 'fontSize': '20px', 'fontFamily': 'LXGWWenKai, \"Noto Sans SC\", sans-serif' }, 'flowchart': { 'nodeSpacing': 30, 'rankSpacing': 35 } } }%%
flowchart TB
    A["CART<br/>1984"]
    --> B["ID3<br/>1986"]
    --> C["C4.5<br/>1993"]
    --> D["Random Forest<br/>2001"]
    --> E["XGBoost<br/>2014"]
    style A fill:#1a2a3a,stroke:#586e75,stroke-width:2px,color:#839496
    style B fill:#1a2a3a,stroke:#268bd2,stroke-width:2px,color:#fff
    style C fill:#1a2a3a,stroke:#268bd2,stroke-width:2px,color:#fff
    style D fill:#1a2a3a,stroke:#586e75,stroke-width:2px,color:#839496
    style E fill:#1a2a3a,stroke:#586e75,stroke-width:2px,color:#839496

ID3 的问题:偏爱 "取值多" 的特征

场景接上文: 1000 条外连日志,每条 Log ID 唯一。若交给 ID3 选划分特征,它会选中谁?

C4.5 的改进:增益率

增益率 = 信息增益 ÷ 惩罚项 IV \[ GainRatio(A) = \frac{Gain(D, A)}{IV(A)},\qquad IV(A) = -\sum_{v} \frac{|D_v|}{|D|} \log_2 \frac{|D_v|}{|D|} \]

类比: ID3 是第一代预警系统,容易被 "花哨" 特征欺骗; C4.5 是第二代,加了 "公平性检查",更可靠。

ID3 与 C4.5

网空落地: 流量特征多为连续值(频率、包长),日志常有缺失字段 —— C4.5 的这两项能力,正是它比 ID3 更适合实战的原因。

决策树如何生成检测规则?

%%{init: { 'theme': 'base', 'themeVariables': { 'fontSize': '20px', 'fontFamily': 'LXGWWenKai, \"Noto Sans SC\", sans-serif' }, 'flowchart': { 'nodeSpacing': 16, 'rankSpacing': 24 } } }%%
flowchart LR
    A["📡 已标注数据"]
    --> B["🔍 找最佳特征"]
    --> C["⚙ 生成规则"]
    --> D["🌿 构建完整树"]
    --> E["✅ 输出判据链"]

Sklearn 实践 · 核心代码

from sklearn.datasets import make_classification
from sklearn.model_selection import train_test_split
from sklearn.tree import DecisionTreeClassifier
# 1. 生成模拟数据(10 维特征, 2000 样本)
X, y = make_classification(n_samples=2000, n_features=10,
                           n_informative=6, random_state=42)
# 2. 划分训练/测试集
X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size=0.3, random_state=42)
# 3. 训练决策树(限制深度防过拟合)
model = DecisionTreeClassifier(max_depth=5, random_state=42)
model.fit(X_train, y_train)
# 4. 评估
print(f"Accuracy = {model.score(X_test, y_test):.4f}")

核心优势 · 可解释性

from sklearn.tree import export_text
rules = export_text(model, feature_names=[
    f'feature_{i}' for i in range(10)
])
print(rules)

输出:

|--- feature_3 <= 0.75
|   |--- feature_7 <= -0.23
|   |   |--- class: 0
|   |--- feature_7 > -0.23
|   |   |--- feature_1 <= 0.45
|   |   |   |--- class: 1
|   |   |--- feature_1 > 0.45
|   |   |   |--- class: 0
|--- feature_3 > 0.75
|   |--- feature_5 <= 0.32
|   |   |--- class: 1
|   |--- feature_5 > 0.32
|   |   |--- class: 0

每条规则都可追溯: 为什么拦截这个 IP ? —— 因为满足规则链 A → B → C。

决策树 · 优缺点(网空视角)

决策树在网空领域的典型应用

随堂思考题

某部内网部署流量检测系统。 方案 A: 深度学习模型(准确率 92%,黑盒) 方案 B: 决策树模型(准确率 87%,白盒) 作为技术负责人,你倾向哪个?为什么?

参考答案 · 决策树的价值在哪?

网空核心命题: 我们要的是 "确定性的可执行规则",而非 "概率性的黑盒判断"。

本部分总结 · 决策树

下一部分预告