Knock — AI 可观测性：Prompt、Tool Call、Trace、Token 全链路追踪
TL;DR
28 KB 长文——AI 可观测性的四大维度方法论：
| 维度 | 关键指标 | 工具 |
|---|---|---|
| Prompt | 模板版本、变量、token 数 | LangSmith / Langfuse |
| Tool Call | 每次工具的入参 / 出参 / 耗时 | OpenTelemetry + 自定 attr |
| Trace | 多 Agent 协作链路 | OpenTelemetry |
| Token | input/output / 成本 / 缓存命中 | Helicone / Portkey |
关键论点
- 用户”有时候好用有时候不好用” → 必须从这 4 个维度同时追踪才能复现
- 传统 OTel 不够用 —— 必须扩展 4 类 AI 专属 attribute
- 采样策略：高价值 trace（高 token / 失败 / 慢）100% 采，常规请求 1% 采