学习手册 / 项目实战课程官网 ↗

ONE SYSTEM, FIVE MILESTONES

让学习长成一个项目。

下面是围绕官方五次作业主题设计的自学里程碑,包含本站建议的交付物。正式提交、模型限制和评分规则,请阅读官方作业。

打开官方作业要求 ↗
01

Mads-Lens

观察执行过程

用一个真实任务记录 Agent 的每次工具调用,整理可阅读的执行轨迹。

环境 · 本地 Python;使用商业工具时需自行准备访问权限

实施顺序

  1. 挑选一个可以用脚本检验的小任务,明确输入与预期输出。
  2. 运行离线 agent_loop.py,理解日志字段,再观察一个你实际使用的 Agent。
  3. 制作轨迹列表,显示步骤、工具参数、工具结果、状态和耗时。

完成的证据

  • 成功和失败的执行都能被展示。
  • 能指明一次无效调用的原因,而非只展示最终答案。
回到对应教程 →
02

Mads-Loop

写自己的循环

搭建带参数校验、重试预算与终止条件的 Agent runtime。

环境 · Python 标准库;接入真实模型是可选扩展

实施顺序

  1. 从 tools 和 model 两个接口开始,让模拟模型走完工具调用闭环。
  2. 加入未知工具、非法参数和失败工具的测试任务。
  3. 接入自己的模型 API 前,先用离线测试验证所有终止路径。

完成的证据

  • 失败会返回结构化错误,不会无限重试。
  • 达到步数预算能够终止,trace 可以复现行为。
回到对应教程 →
03

Mads-Opt

测量后再优化

固定评测集,在保持任务质量的约束下比较两个策略的成本。

环境 · Python 标准库;真实 API 费用另计

实施顺序

  1. 运行 evaluate.py,识别成功判据与模拟 token 口径。
  2. 将任务分成开发集和保留集,预先写下改动假设。
  3. 只改变一项策略,报告成功率、总成本和成功任务成本。

完成的证据

  • 保留失败任务,不挑选漂亮的样本。
  • 成本表标明模拟、估算或真实账单的来源。
回到对应教程 →
04

Mads-Serve

接管推理服务

在合适硬件上部署开放权重模型,评估质量差异与延迟。

环境 · 需要兼容的计算环境;没有 GPU 可先做计算与调度实验

实施顺序

  1. 先用实验室估算 KV cache,列出权重和运行时额外显存。
  2. 按 vLLM 当前官方文档选择支持的硬件、模型和版本。
  3. 复用已有评测集,记录 TTFT、输出 token 数、请求耗时和成功率。

完成的证据

  • 提供硬件、精度、上下文长度、并发和版本记录。
  • 对能力损失分类,区分模型能力与工具协议错误。
回到对应教程 →
05

Mads-Stack

完成全栈实验报告

用可复现的实验说明,哪一层的优化对整个任务最有效。

环境 · 继承前面项目环境;无需为了形式使用多 Agent

实施顺序

  1. 画出模型、工具和排队的耗时分布,选取最大且可改变的一项。
  2. 写出假设、控制变量、预期指标,再做优化。
  3. 运行同一负载,保存原始记录,解释收益与质量代价。

完成的证据

  • 至少一组对照实验,失败假设也要保留。
  • 别人能根据环境与命令复现结果,结论不超出测量范围。
回到对应教程 →

用同一份实验记录贯穿五个阶段

假设:我认为 ______ 是瓶颈,因为 ______。
基线:任务集 / 版本 / 硬件 / 并发 / 模型 / 重复次数。
改动:本轮只改变 ______。
观测:成功率 ______;成本 ______;p50 / p95 延迟 ______。
结论:收益 ______;代价 ______;下一步验证 ______。