Day 26 · 长期课（一）：看懂 Transformer 与注意力

今日目标

用一晚看懂大模型的核心机制，把「为什么材料质量决定产出」从直觉变成原理。

学什么

3Blue1Brown《深度学习》系列中文配音版（B 站官方）：GPT 与注意力机制两集，配合暂停回看，约 40 分钟。

要点速记

• 注意力机制一句话：模型读每个词时，会回头在上文里「找和它最相关的词」并按相关程度加权——它不是在读你的全文，是在按权重采样你的上下文。
• 这解释了 Day 7 的经验：关键约束放开头结尾、给具体范例——都是在帮它的注意力落到正确的地方。
• 上下文越干净、越结构化，相关权重越集中，产出越稳；把无关材料堆进去，等于主动稀释它对关键信息的注意力。
• 理解机制的实际用途：以后 AI 答得不对，你能判断是「材料没给对」还是「任务超出能力」，而不是只会换一句提示重试。

今日练习

用一句外行能听懂的话解释「注意力机制」发我，我看有没有把核心说准。

打卡清单

• 两集视频看完
• 能一句话讲清注意力机制
• 能举一个它解释过的实际现象