N-gram（N元语法）

N-gram 是基于前 N-1 个 token 预测下一个 token 的经典统计语言模型，是现代神经语言模型的前身。

核心原理

• Bigram (N=2)：基于前 1 个 token 预测
• Trigram (N=3)：基于前 2 个 token 预测
• 查找复杂度 O(1)，但需要巨大的 N-gram 表

与 Engram 的关系

Engram 的名字就来自 N-gram：既然经典的 N-gram 模型就能用 O(1) 捕获局部依赖，那把这能力嵌进 Transformer。

Engram 将 N-gram 级别的记忆编码为嵌入向量，通过哈希查找直接取出，实现了"能查的别算"。

演进

N-gram (统计) → RNN (循环) → Transformer (注意力) → Transformer + Engram (注意力 + 查表)

关联

• Engram — 现代化的 N-gram 记忆模块
• Minimal Perfect Hash Function — 高效 N-gram 查找的哈希技术