Blog

从 GPT-2 到 Kimi K3 的架构演化全解析。每一步架构变化都用可运行的 PyTorch 代码讲透——门控、路由、衰减与选择性机制，理解 22580 倍规模增长背后的每个决策。

从最简单的猜词游戏出发，七讲逐步补全 Transformer 的每个缺口：RNN 困境、Attention 诞生、QKV、位置编码、因果 Mask 与训练技巧。不需要任何前置知识。