# 02 · 直观理解：注意力 = 加权平均

> 学习笔记 02/05 · by 小小叶 🍃
> **这是整个 Transformer 最重要的一篇，理解了这个，后面全通。**

---

## 一、一句话抓住灵魂

> **每个位置的新表示 = 所有位置的 V 的加权平均，权重由"相关性"决定。**

注意力公式看着吓人：
```
Attention(Q,K,V) = softmax(Q·Kᵀ / √d) · V
```
但它做的事就两个动作：**算权重 → 加权平均**。

---

## 二、用"查字典"的比喻理解 Q/K/V

每个元素都有三个角色：

| 角色 | 英文 | 比喻 | 作用 |
|---|---|---|---|
| **Query** | 查询 | "我想找什么" | 当前位置发出的提问 |
| **Key** | 键 | "我是什么标签" | 每个位置的身份标签 |
| **Value** | 值 | "我的实际内容" | 每个位置的真正信息 |

**比喻**：你去图书馆找书
- **Query** = 你心里想找的主题（"我想要讲深度学习的"）
- **Key** = 每本书的标签（书脊上的分类）
- **Value** = 书的实际内容
- 你拿 Query 去和每本书的 Key 比对相关性 → 给每本书一个"该看多少"的权重 → 按权重把所有书的内容混合吸收

---

## 三、两个动作拆解

### 动作 1：算权重（Q·Kᵀ → softmax）
- 拿我的 Query 去和**所有位置的 Key** 做点积 → 得到"我跟谁更相关"的分数
- softmax 归一化 → 每一行加起来 = 1，**变成一组"分配比例"**

举例（句子"1 2 3 4"，处理单词 1 时）：
```
对单词1: 0.7   对单词2: 0.1   对单词3: 0.15   对单词4: 0.05
                        （加起来 = 1）
```
这就是**权重**——"单词 1 该从谁身上吸收多少信息"。

### 动作 2：加权平均（权重 · V）
```
Z₁ = 0.7·V₁ + 0.1·V₂ + 0.15·V₃ + 0.05·V₄
```

> 🎯 **看明白没？** Z₁ 不是单词 1 自己，而是**全场所有单词 V 的加权混合**，混合比例就是上面那组权重。
> 这就是"加权平均"思想的全部：**不是简单平均（每个 0.25），而是按相关性智能分配权重的平均**。相关的多拿点，无关的少拿点。

---

## 四、举个语言上的经典例子

> "小猫累了，**它**睡着了"

当模型处理"**它**"时，注意力会自动给"**小猫**"很高的权重 → 于是知道"它"=小猫。

**这就是注意力在"自动找关联"**：通过加权平均，把"小猫"的信息大量混入"它"的表示里。

---

## 五、为什么"加权平均"这么强？三个直觉

### ① 智能聚合信息
- 普通平均：所有人意见一视同仁 → 重要信息被噪声稀释
- 加权平均：**重要的放大，无关的压低** → 信息更聚焦

### ② 权重是"学出来的、动态的"
- Wq/Wk/Wv 是**可训练矩阵**，模型自己学会"什么样的 Q 和 K 该给高权重"
- 所以同一个词在不同句子里，权重分布完全不同——**它会看上下文**

### ③ 天然解决长距离依赖
- 不管两个位置隔多远，只要 Q·K 相关性高，权重就高，信息**一步直达**
- 不像 RNN 要一层层传，远了就丢

---

## 六、几个名词的"加权平均"视角

| 名词 | 用加权平均重看 |
|---|---|
| **Self-Attention** | 序列**自己对自己**做加权平均（Q/K/V 都来自同一个 X） |
| **Multi-Head** | 做多组不同的加权平均（多种"相关性标准"），再拼起来 |
| **Masked Attention** | 加权平均时**只能用"过去"的 V**，未来位置权重强制设 0 |
| **Encoder-Decoder Attention** | Q 来自 Decoder，K/V 来自 Encoder → 解码端对编码端信息做加权平均 |

---

## 七、本节小结

> **注意力 = 按相关性加权平均。** 算权重（Q·K→softmax）+ 加权混合（权重·V）。
> 权重动态可学、能跨长距离、能智能聚焦——这就是它取代 RNN 的根本原因。

> 📌 下一篇 `03_公式推导.md`：把这套直觉用数学严格写出来。