K-Means · 让数据自己 "抱团"

当你不确定恶意行为 "长什么样" 的时候

南京大学计算机学院    杨已彪

计算机软件新技术全国重点实验室

yangyibiao@nju.edu.cn

从决策树到 K-Means · 一个自然的追问

核心转折: 决策树需要 "有答案" 的数据。但网空场景中,大量数据是没有标签的。

一个网空场景:未知威胁的发现

某部内网,数千台主机产生海量流量日志。 已知: 部分主机已被标记为恶意(已知家族) 未知: 是否存在从未被发现的异常行为模式?

一句话理解聚类: 分类是 "对答案",聚类是 "找朋友"。

本部分目标: 没有 "标准答案" 时,让算法自动发现数据中的结构。

聚类 vs 分类 · 一个直观对比

K-Means 的核心思想

一句话:让相似的数据聚在一起,形成 "团伙"。

%%{init: { 'theme': 'base', 'themeVariables': { 'fontSize': '20px', 'fontFamily': 'LXGWWenKai, \"Noto Sans SC\", sans-serif' }, 'flowchart': { 'nodeSpacing': 16, 'rankSpacing': 20 } } }%%
flowchart TB
    A["📡 内网主机行为数据 <br/> (无标签)"]
    --> B["🔍 K-Means 自动聚类"]
    --> C["📊 发现 3 个行为群体"]
    C --> D["🟢 簇 A<br/> 正常业务行为"]
    C --> E["🟢 簇 B<br/> 正常业务行为"]
    C --> F["🔴 簇 C<br/> ⚠ 行为异常 <br/> 与任何已知模式不同"]
    F --> G["🎯 重点排查 <br/>→ 未知威胁线索"]
    style A fill:#1a2a3a,stroke:#268bd2,stroke-width:2px,color:#fff
    style B fill:#1a2a3a,stroke:#f39c12,stroke-width:2px,color:#fff
    style C fill:#1a2a3a,stroke:#268bd2,stroke-width:2px,color:#fff
    style D fill:#1a2d1a,stroke:#27ae60,stroke-width:2px,color:#27ae60
    style E fill:#1a2d1a,stroke:#27ae60,stroke-width:2px,color:#27ae60
    style F fill:#2d1b1b,stroke:#e74c3c,stroke-width:2px,color:#e74c3c
    style G fill:#1a2a3a,stroke:#e74c3c,stroke-width:2px,color:#e74c3c

K-Means 的 "K" 是什么?

K = 你想要分成几组(簇) 以网空场景为例:

K-Means 的 "Means" 是什么?

Means = 每个簇的 "中心点" (均值)

每个簇用平均特征代表 —— 群体的 "典型画像"。

K-Means 工作流程 · 网空版

%%{init: { 'theme': 'base', 'themeVariables': { 'fontSize': '18px', 'fontFamily': 'LXGWWenKai, \"Noto Sans SC\", sans-serif' }, 'flowchart': { 'nodeSpacing': 16, 'rankSpacing': 24 } } }%%
flowchart LR
    A["📡 无标注数据"]
    --> B["🎯 随机选 K 个<br/>初始中心"]
    --> C["📏 计算每个点<br/>到各中心距离"]
    --> D["📦 分配到<br/>最近簇"]
    --> E["🔄 更新中心<br/>(重算均值)"]
    --> F{"收敛?"}
    F -->|否| C
    F -->|是| G["✅ 输出 K 个群体<br/>(供研判)"]

第一步:随机选 K 个初始中心

第二步:分配每个点到最近的簇

计算每个点到 3 个中心的距离(欧氏距离,后文详解),加入最近的那个:

第三步:更新中心点(向重心移动)

每个簇重新计算中心 = 该簇所有点的平均值:

第四步:收敛!最终聚类结果

经过 2 轮迭代,中心点不再移动:

迭代过程追踪:

距离如何计算? —— 欧氏距离

网空场景示例: 两台主机的行为特征:

距离越大 → 两台主机行为差异越大

K-Means 的优化目标

为什么需要优化目标?

目标函数

人话: 让每个点都离自己的中心点尽可能近。

实际做法:多次运行,选最优

K-Means 为什么有效?

算法不断重复两步:

%%{init: { 'theme': 'base', 'themeVariables': { 'fontSize': '17px', 'fontFamily': 'LXGWWenKai, \"Noto Sans SC\", sans-serif' } } }%%
flowchart LR
    A["📦 分配<br/>每个点到最近簇"]
    --> B["📊 更新<br/>重新计算中心"]
    B -->|重复| A
    B --> C["✅ 收敛"]
    style A fill:#1a2a3a,stroke:#268bd2,stroke-width:2px,color:#fff
    style B fill:#1a2a3a,stroke:#f39c12,stroke-width:2px,color:#fff
    style C fill:#1a2d1a,stroke:#27ae60,stroke-width:2px,color:#27ae60

如何选择 K ? —— 肘部法

绘制: K 值 → 误差平方和(簇内距离平方和)

随着 K 增加,误差持续下降。

出现明显拐点 → 即较优 K 值。

拐点之前,增加 K 收益大;拐点之后,收益递减。

肘部法回答 "选几个 K";下一个问题:分出来的簇,质量到底好不好?

如何衡量聚类质量?

轮廓系数 · 综合评分

将 "紧密度(a)" 和 "分离度(b)" 合并为 一个数值: \[ s = \frac{b - a}{\max(a, b)} \]

取值范围: [-1, 1]

💡 整体轮廓系数 = 所有样本轮廓系数的平均值,越高越好(通常 > 0.5 为良好)。

Sklearn 实践 · 生成数据 + 训练模型

from sklearn.datasets import make_blobs
from sklearn.cluster import KMeans
# 生成 1000 个样本, 4 个 "团伙"
X, y_true = make_blobs(n_samples=1000, centers=4,
                       cluster_std=1.0, random_state=42)
# 训练 K-Means (K=4)
model = KMeans(n_clusters=4, random_state=42)
model.fit(X)
# 查看每个点的簇标签
labels = model.labels_
print(labels[:20])  # 输出: [0 0 0 1 1 2 ...]

Sklearn 实践 · 聚类中心与可视化

# 查看聚类中心
print(model.cluster_centers_)

输出:

[[-1.2  7.8]
 [ 5.3  0.9]
 [-7.1 -6.4]
 [ 3.5 -4.2]]

import matplotlib.pyplot as plt
plt.scatter(X[:, 0], X[:, 1], c=labels, cmap='viridis')
plt.scatter(model.cluster_centers_[:, 0],
            model.cluster_centers_[:, 1],
            marker='X', s=200, color='red')
plt.title('K-Means Clustering (K=4)')
plt.show()

Sklearn 实践 · 肘部法选 K

inertia = []
for k in range(1, 11):
    model = KMeans(n_clusters=k, random_state=42)
    model.fit(X)
    inertia.append(model.inertia_)
plt.plot(range(1, 11), inertia, 'bo-')
plt.xlabel('K')
plt.ylabel('误差平方和')
plt.show()

K-Means 优点 · 网空视角

K-Means 固有局限 · 网空视角

K-Means 在网空领域的典型应用

随堂思考题

某部内网采集了主机行为数据: K-Means 聚类后发现一个簇:

• 外连频率:极高

• 数据外传量:极低

• 工作时间占比:几乎为 0

• 通信目标数:极少 问题: 这个簇可能代表什么?如果你是分析人员,下一步怎么做?

参考答案:疑似 C2 受控主机

本部分总结 · K-Means

下一部分预告