关系度量：从内积到注意力

这个系列讲什么

协方差 (Covariance)、相关系数 (Correlation Coefficient)、互相关 (Cross-correlation)、卷积 (Convolution)、注意力 (Attention)、互信息 (Mutual Information) 分别出现在统计、信号处理、深度学习和信息论的教材里，通常各讲各的。它们背后其实有一个共同的结构：把两个对象放在一起比较，得到一个刻画关系强弱的数，再用这个数做后续计算。

这个结构最基本的形式是内积 (Inner Product)：

$$\langle x, y \rangle = \sum_i x_i y_i$$

两个向量越”匹配”，内积越大。系列中的其他概念，都可以看成在内积上依次加了一个操作：中心化、归一化、平移、让参与比较的向量由输入生成、去掉线性假设。

沿着这条主线，可以给出一个比较精确的论断：

现代表示学习 (Representation Learning) 的一个核心机制，是比较表示、度量它们之间的关系，再按关系强弱选择和聚合信息，形成新的表示。CNN 与 Transformer 是这一机制的两种结构化实现。

两者的区别在于”拿什么和什么比”。CNN 用一组共享的、训练得到的局部模板，在每个位置上与局部区域做内积。Transformer 由输入本身生成 query 和 key，对任意两个位置两两打分，再按分数对 value 加权求和。

这条主线也有它的边界，系列中会明确讨论两点。

第一，它说明了两类网络”在算什么”，但不足以解释它们”为什么有效”。归纳偏置 (Inductive Bias)、残差连接与归一化带来的可优化性、数据与算力的规模，都同样关键。这部分放在第 3 章。

第二，这些概念不在同一个层次上。协方差、相关系数和互信息是关系的度量；互相关、卷积和注意力是利用关系的计算机制；混淆矩阵 (Confusion Matrix) 则是模型的评价工具。混淆矩阵与互信息之间确实有严格的联系，第 4 章会给出，但不能因此把三者混为一谈。

每一章都会落到机器人与视觉中的具体用法：SLAM 中的协方差矩阵、立体匹配中的归一化互相关、特征匹配网络中的注意力、相机–LiDAR 外参标定中的互信息。

章节之间的关系

每一章只在上一章的基础上增加一个操作：

1. 内积、协方差与相关系数：从内积出发，先中心化得到协方差，再归一化得到相关系数。相关系数正是中心化后两个向量夹角的余弦。
2. 互相关与卷积：加入平移，在每个位置做一次内积。归一化互相关 (Normalized Cross-Correlation, NCC) 就是窗口上的相关系数；卷积与互相关只差一次核翻转。
3. 从卷积到注意力：把固定模板换成由输入生成的 query 与 key，比较对象从”模板与局部区域”变成”任意两个位置之间”，再用 softmax 权重聚合 value。
4. 互信息：去掉线性假设，用概率分布度量任意形式的统计依赖。在高斯情形下，互信息完全由相关系数决定；混淆矩阵也可以读作一张联合分布表。

整条链可以写成：

$$\text{内积} \;\rightarrow\; \text{中心化 / 归一化} \;\rightarrow\; \text{平移} \;\rightarrow\; \text{输入相关的比较} \;\rightarrow\; \text{去线性化}$$

第 1、2 章不需要深度学习背景。第 3 章依赖前两章。第 4 章主要依赖第 1 章，可以在读完第 1 章后直接阅读。

预备知识

• 线性代数：向量内积、范数、矩阵乘法。第 1 章会用到 Cauchy–Schwarz 不等式，并给出证明。
• 概率：期望、方差、联合分布与边缘分布、独立性。
• 深度学习（仅第 3 章）：知道全连接层和反向传播的基本概念即可，不要求事先了解 CNN 或 Transformer 的细节。
• 信息论（仅第 4 章）：不需要预备知识，熵会从定义讲起。
• 代码：示例使用 Python 与 NumPy，第 2 章另外用到 SciPy 和 OpenCV。