A SHARED VOCABULARY
读到陌生概念，来这里。
先用一句话建立直觉，再回到对应章节看完整机制与边界。
28 个概念
- Agent
- 能够根据观察选择行动，并通过工具反馈继续推进任务的系统。读对应章节 →
- Harness
- 包围模型的运行环境，负责上下文、工具执行、预算、重试与终止。读对应章节 →
- Tool calling
- 模型生成工具调用请求，由程序校验参数并执行，再把结果送回模型。读对应章节 →
- JSON Schema
- 描述 JSON 数据结构与约束的格式；结构合法不等于业务授权或事实正确。读对应章节 →
- Context window
- 单次调用可容纳的 token 上限。输入、历史、工具结果和输出预算共同竞争空间。读对应章节 →
- Prompt injection
- 外部内容把数据伪装成指令，试图改变 Agent 的行为或权限边界。读对应章节 →
- RAG
- 先检索相关证据，再让模型依据证据回答；检索命中并不自动保证答案正确。读对应章节 →
- Agent memory
- 跨步骤或跨会话保留的状态与信息；需要来源、更新时间及失效策略。读对应章节 →
- Multi-agent
- 用多个拥有各自上下文或职责的 Agent 分解工作，需要处理通信和结果合并成本。读对应章节 →
- Trace
- 按时间记录模型调用、工具调用、耗时、结果与错误的执行轨迹。读对应章节 →
- Baseline
- 比较优化收益之前固定下来的系统版本、任务集与测量方法。读对应章节 →
- Success rate
- 成功任务数除以评测任务总数；必须先定义可执行的成功判据。读对应章节 →
- Cost per success
- 评测总成本除以成功任务数，包含失败任务花费；没有成功时应报告不可用或无穷。读对应章节 →
- Routing
- 按任务条件把请求分配给模型、工具或服务实例，需计入分类与失败回退成本。读对应章节 →
- Prefill
- 处理输入 token、生成后续推理所需状态的阶段，长输入往往使这一阶段更重。读对应章节 →
- Decode
- 利用已有状态逐 token 生成输出的阶段，资源瓶颈与 prefill 不一定相同。读对应章节 →
- TTFT
- Time To First Token，从请求起点到首个输出 token 的时间，口径应说明是否含排队和网络。读对应章节 →
- ITL / TPOT
- ITL 是相邻输出 token 的间隔；TPOT 常按首 token 后的总时间除以剩余 token 数计算。读对应章节 →
- KV cache
- 缓存注意力中的 Key 与 Value，避免对历史 token 重复计算；仍需读取缓存。读对应章节 →
- GQA
- Grouped-Query Attention，多组查询头共享较少的 KV 头；KV 缓存按 KV 头数计算。读对应章节 →
- Prefix caching
- 复用已经计算过的相同输入前缀状态，主要减少重复前缀的 prefill 工作。读对应章节 →
- Continuous batching
- 在生成迭代之间移除已完成请求、加入新请求，提高服务资源利用率。读对应章节 →
- Throughput
- 单位时间完成的工作量，可按请求/秒或 token/秒度量，必须给出口径。读对应章节 →
- Tail latency
- 延迟分布的高分位数，如 p95、p99；平均值可能隐藏少量很慢的请求。读对应章节 →
- Quantization
- 用较低精度表达权重或激活，减少存储与传输，但速度和质量收益依赖实现与负载。读对应章节 →
- Speculative decoding
- 先由草稿机制提出候选 token，再由目标模型验证；效率取决于接受率和验证开销。读对应章节 →
- Profiling
- 测量各阶段实际耗时与资源使用，以证据定位性能瓶颈。读对应章节 →
- Amdahl’s law
- 只优化系统的一部分时，加速上限受未被优化部分限制。读对应章节 →