跳转到主要内容

概要

现代智能体系统依赖大型语言模型作为灵活的决策引擎。要理解这些系统如何工作,你不需要了解模型训练的每一个细节。你需要的是一小组概念,用来解释为什么 LLM 擅长指令、规划、工具选择和综合。

重要性

在产品层,LLM 往往被当作魔法。这会导致糟糕的设计决策。
  • 有些团队以为模型记得比实际更多
  • 有些团队以为模型是在进行符号推理,而实际上它主要受模式驱动
  • 有些团队把上下文当作“免费资源”,尽管它其实是主要的运行预算
基础模型素养有助于你设计更好的提示、检索系统、工具接口和评估闭环。

心智模型

对大多数智能体工作来说,四个概念就足够了。
  • next-token prediction:模型训练的是续写序列,而不是执行符号化证明系统。
  • tokenization and embeddings:模型处理的是被分词并映射到向量空间的输入,而不是原始的人类可读文本。
  • transformer attention:模型在生成下一步时决定输入的哪些部分更重要。
  • pretraining plus adaptation:广泛能力来自大规模预训练,而任务表现则在很大程度上取决于提示、上下文、工具,以及后续的对齐或调优。
对于智能体系统而言,关键含义是:模型擅长模式压缩和灵活的语言控制,但如果没有外部结构,就难以保证正确性。

架构图

工具生态

对智能体最重要的模型特性是一些实用能力:
  • 遵循指令
  • 处理长上下文
  • 结构化输出可靠性
  • 工具调用格式
  • 总结与综合质量
这些能力既受基础模型质量影响,也受系统设计影响。好的智能体不会要求模型在内部完成所有事情。它们会把模型与工具、记忆、检索和控制逻辑结合起来,以弥补模型的弱点。

权衡

  • 更大的模型可能推理更好,但会提高成本和延迟。
  • 更长的上下文窗口会降低一部分检索压力,但并不会消除对上下文工程的需求。
  • 更强的指令遵循有助于工具使用,但不能保证事实正确性。
  • 预训练先验虽然广泛,但它不等同于当前、可追溯来源支持的知识。
有用的默认做法:
  • 把模型当作灵活的规划器和语言引擎
  • 对于精确数据、计算和系统操作,使用外部工具
  • 围绕上下文限制进行设计,而不是假装它们不重要

引用

阅读扩展

更新日志

  • 2026-04-21:基于导入的参考材料和实验室重写规则的仓库原生初稿。