学习手册 / 交互实验室课程官网 ↗

THE SYSTEMS WORKBENCH

改一个参数,看清一种关系。

三个透明的简化模型,帮助建立直觉。结果是算例,不是实测性能,也不会调用模型或产生费用。

EXPERIMENT 01

便宜的请求,一定更划算吗?

配套教程 ↗

比较同一组任务的累计调用成本。单价是假设值,金额单位由你统一设置;这里默认美元 / 百万 token。

总成本 = 任务数 × (累计输入 × 输入单价 + 累计输出 × 输出单价) / 1,000,000

成功任务成本 = 总成本 / 成功数。此处假设任务用量一致;实际评测应逐次累计,包含失败与重试,区分缓存计费,另计工具和 GPU 费用。

EXPERIMENT 02

上下文增长,显存去了哪里?

配套教程 ↗

计算普通 Transformer 注意力的 K、V 张量原始容量。GQA 使用 KV 头数;这里不估计权重、激活、碎片和运行时预留。

KV bytes = 2 × 层数 × KV 头数 × 头维度 × token 数 × 序列数 × 元素字节数

2 代表 K 和 V 两份张量,1 GiB = 2³⁰ bytes。滑动窗口、共享前缀、MLA 与分布式切分需要额外建模;低比特缓存另有比例因子等开销。

EXPERIMENT 03

一个请求结束后,空位交给谁?

配套教程 ↗

假设所有请求同时到达,每个活跃请求每 tick 生成一个 token,忽略 prefill 和资源竞争。静态批次等整批结束再换新请求;连续批处理在下一 tick 补空位。

最多 12 个请求,每个长度为 1–40 的整数。

横条表示开始到完成的 tick 区间。吞吐 = 总输出 token / 总 tick。真实服务还受显存、抢占、prefill、批大小和队列策略影响,仿真收益不能直接当作 GPU 加速比。

TAKE THE LAB HOME

在本机,把代码跑起来。

三个 Python 标准库实验:Agent 循环、固定任务评测与调度仿真。无需 API key,无需 GPU。

python3 agent_loop.py
python3 evaluate.py
python3 scheduler.py
python3 -m unittest test_labs.py
下载离线实验包 ↓查看实验说明 ↗