CKA（中心化核对齐）

CKA（Centered Kernel Alignment）是一种衡量两个神经网络表征相似度的度量方法，输出 0-1 之间的相似度分数。CKA = 1 表示表征完全相同，CKA = 0 表示完全独立。

应用场景

• 模型比较：不同架构/训练策略的表征差异
• 训练动态：训练过程中表征演化
• 知识蒸馏：教师-学生模型的表征对齐
• 模型剪枝：识别冗余层

在 Engram 研究中，CKA 用于量化 Engram-27B 与 MoE 基线各层表征的相似度。

与 LogitLens 的互补

• LogitLens：定性分析（模型在想什么）
• CKA：定量分析（表征有多相似）

关联

• LogitLens — CKA 的互补分析工具
• Engram — 使用 CKA 验证记忆模块效果