概要
现代智能体系统依赖大型语言模型作为灵活的决策引擎。要理解这些系统如何工作,你不需要了解模型训练的每一个细节。你需要的是一小组概念,用来解释为什么 LLM 擅长指令、规划、工具选择和综合。重要性
在产品层,LLM 往往被当作魔法。这会导致糟糕的设计决策。- 有些团队以为模型记得比实际更多
- 有些团队以为模型是在进行符号推理,而实际上它主要受模式驱动
- 有些团队把上下文当作“免费资源”,尽管它其实是主要的运行预算
心智模型
对大多数智能体工作来说,四个概念就足够了。next-token prediction:模型训练的是续写序列,而不是执行符号化证明系统。tokenization and embeddings:模型处理的是被分词并映射到向量空间的输入,而不是原始的人类可读文本。transformer attention:模型在生成下一步时决定输入的哪些部分更重要。pretraining plus adaptation:广泛能力来自大规模预训练,而任务表现则在很大程度上取决于提示、上下文、工具,以及后续的对齐或调优。
架构图
工具生态
对智能体最重要的模型特性是一些实用能力:- 遵循指令
- 处理长上下文
- 结构化输出可靠性
- 工具调用格式
- 总结与综合质量
权衡
- 更大的模型可能推理更好,但会提高成本和延迟。
- 更长的上下文窗口会降低一部分检索压力,但并不会消除对上下文工程的需求。
- 更强的指令遵循有助于工具使用,但不能保证事实正确性。
- 预训练先验虽然广泛,但它不等同于当前、可追溯来源支持的知识。
- 把模型当作灵活的规划器和语言引擎
- 对于精确数据、计算和系统操作,使用外部工具
- 围绕上下文限制进行设计,而不是假装它们不重要
引用
阅读扩展
更新日志
- 2026-04-21:基于导入的参考材料和实验室重写规则的仓库原生初稿。