# 05 · 代码实战与可视化

> 学习笔记 05/05 · by 小小叶 🍃
> 可运行代码 + 真实实验结果，**亲眼看到"加权平均"自动发现周期规律**。

---

## 一、完整代码

完整脚本见同目录 **`ts_transformer_attention_viz.py`**（已可直接运行）。

核心结构：
- `make_data()`：造**双周期正弦**序列（短周期 sin(t) + 长周期 0.5·sin(0.25t) + 噪声），模拟真实时序
- `PositionalEncoding`：sin/cos 位置编码
- `AttnBlock`：自定义注意力块，`need_weights=True` 提取注意力权重
- `TSTransformer`：投影→位置编码→注意力→取最后时刻预测
- 训练 40 epoch，提取权重画 2 张图

### 运行方式
```bash
pip install torch numpy matplotlib
python ts_transformer_attention_viz.py
```

### 关键代码片段（提取注意力权重）
```python
class AttnBlock(nn.Module):
    def __init__(self, d_model, nhead):
        super().__init__()
        self.attn = nn.MultiheadAttention(d_model, nhead, batch_first=True)
        ...
    def forward(self, x):
        # need_weights=True 才返回权重; average_attn_weights 把多头平均
        out, w = self.attn(x, x, x, need_weights=True, average_attn_weights=True)
        self.attn_weights = w.detach()   # [B, seq, seq] ← 这就是加权平均的"权重"
        ...
```

---

## 二、训练结果

```
Epoch 10 | test MSE 0.0142
Epoch 20 | test MSE 0.0139
Epoch 30 | test MSE 0.0131
Epoch 40 | test MSE 0.0129   ← 收敛良好
```

---

## 三、🔥 最关键的实验发现

预测下一个点时，模型把权重分给了这些历史时刻（Top5）：

```
step 46 (1 步前)  : 权重 0.150   ← 最近点，最高
step 47 (0 步前)  : 权重 0.099
step 45 (2 步前)  : 权重 0.082
step 24 (23 步前) : 权重 0.075   ← 🌟 划重点！
step 44 (3 步前)  : 权重 0.067
```

### 为什么 step 24（23 步前）会冒出高权重？
它**不挨着**当前点，却获得高权重——

> **这就是模型自动发现了"周期规律"**：23 步前那个位置，正好对应数据里 0.25 频率长周期上的关键相位点。
> 模型自己学会了："预测现在，要回头参考一个周期前的那个时刻"。

**这正是第 02/04 篇讲的"加权平均自动找关键历史时刻"的实锤证据。**

---

## 四、两张可视化图

### 图1：注意力热力图 `attn_heatmap.png`
- 横轴 = 被关注的历史时刻（Key），纵轴 = 发出关注的时刻（Query）
- **亮 = 权重高**
- 看点：**斜向的亮纹** = 周期性（固定间隔的历史点被反复关注）

### 图2：预测时的权重分配 `attn_laststep.png`
- **这张图直接就是"加权平均"的可视化**
- 每根柱子 = 预测下一点时，某历史时刻被分配的权重
- 看点：最近几根高柱（近期趋势重要）+ 中间 step24 冒出的那根（周期点）

---

## 五、想进阶可以改的地方

1. **多步预测**：输出 `pred_len=12`，一次预测未来 12 步
2. **多变量**：`Linear` 输入维度改成变量数（温度+湿度+风速）
3. **换真实数据**：把 `make_data` 换成读 CSV（股价/电力负荷）
4. **加因果 Mask**：用 `nn.Transformer` 的 `src_mask` 做正经自回归
5. **堆叠多层**：多个 AttnBlock 串联，能力更强

---

## 六、全系列总结 🎓

从 5 篇笔记你应该建立起这条认知链：

```
RNN 太慢+健忘  →  Transformer 用注意力一次看全局
                      │
              注意力 = 加权平均（灵魂）
                      │
       算权重(Q·Kᵀ→softmax) + 加权混合(权重·V)
                      │
        Multi-Head 多视角 + 位置编码补顺序 + Mask 防偷看
                      │
              时序也是序列 → 直接套用
                      │
        实验证实：模型自动发现周期、关注关键历史时刻 ✅
```

> 🍃 学完了！从原理到代码闭环。复习时回到 `00_总目录.md` 按需跳读即可。