如何让 AI 高效工作

6小时前
椰子皮
3
0
0
文章

“ 让 AI 高效工作:从「写个好提示词」到「设计一套可验证的系统」 关于「如何让 AI 高效工作」,最流行的答案往往落在提示词技巧上:角色设定、分步思考、给出示例。但这些技巧的收益很快就会趋于平稳。真正决定一个 AI 工作流能否稳定产出可用结 ”

让 AI 高效工作:从「写个好提示词」到「设计一套可验证的系统」

关于「如何让 AI 高效工作」,最流行的答案往往落在提示词技巧上:角色设定、分步思考、给出示例。但这些技巧的收益很快就会趋于平稳。真正决定一个 AI 工作流能否稳定产出可用结果的,是上下文如何组织、约束如何表达、失败如何验证、成本如何核算。这篇稿子从开发者视角拆开这几个环节,讲清楚每项做法的原理、代价和适用边界。

先把问题问对:瓶颈很少在「模型不够聪明」

一个普遍的错位是:当 AI 的输出不符合预期,第一反应是换一个更强的模型,或者再打磨一版提示词。换模型确实能在某些任务上带来跳变,但多数「不够高效」的场景,问题出在系统层面,而不在模型层面:

  • 信息供给不足:模型不知道你的代码规范、表结构、接口约定、历史决策,只能靠猜。此时再强的模型也只能生成「看起来对」的东西。
  • 要求不可验证:「写得好一点」「优化一下性能」这类要求,模型无法判断自己是否达标,人也无法判断输出是否合格。
  • 缺少反馈回路:一次生成就交付,中间没有编译、测试、类型检查、lint 这些确定性环节把关,错误被直接带到下游。
  • 集成方式粗糙:把 AI 塞进一个需要来回复制粘贴的对话框里,人的操作成本反而成了新瓶颈。

把这些归拢起来,可以提炼出一个判断:AI 的工作效率,约等于它能在多大程度上被当作一个「有明确输入、有明确验收标准、有自动反馈」的软件组件来使用。 提示词工程只是这个组件的一小部分接口定义。

下面按「上下文—约束—循环—检索—评测—成本—人」这条链路展开,这条链路的顺序大致对应一个 AI 功能从能跑到能用的演进路径。

上下文是一种预算,不是仓库

窗口变大,不等于有效信息变多

上下文窗口(context window)是模型单次能看到的 token 总量。窗口从几千扩到几十万,直观上像是「可以塞更多资料了」,但工程上必须区分两件事:能放进去 和 能被用上。

自注意力机制对上下文长度是近似平方级的计算增长,长上下文意味着更高的显存占用和更长的首 token 延迟;更关键的是,在长上下文中,模型对首尾信息的利用率往往高于中段,把关键约束埋在几万字材料的中间,是最常见的隐性失效。这带来两个直接的设计原则:

  1. 关键约束放两端:任务目标、硬性限制、输出格式放在最前或最后,参考资料放中间。
  2. 不确定就不要塞:与当前任务无关的上下文不只是浪费 token,它会稀释注意力,提高模型「抓错重点」的概率。检索环节的召回质量,比塞入数量重要得多。

前缀缓存的工程含义

推理侧普遍采用 KV 缓存:模型在生成时会把已计算的注意力键值对缓存下来,避免重复计算。当多次请求共享完全一致的前缀时,这段前缀的计算可以被复用,首 token 延迟和成本都会显著下降——这就是常说的 prompt caching。

它对工程结构的约束非常具体:前缀必须逐字节稳定。任何一处变化(时间戳、随机 ID、会话开头的一句寒暄、动态拼进去的用户信息)都会让缓存从变化点开始失效。所以真正吃到缓存收益的写法是:

  • 系统提示词、工具定义、few-shot 示例、长文档等稳定内容放最前面,且不要在其中插入动态变量;
  • 用户输入、时间、会话状态等易变内容放最后;
  • 如果必须在开头带动态信息(比如当前用户 ID),考虑把它移到末尾的用户消息里,而不是拼进系统提示词。

这类优化的特点是:不改变模型能力,只改变请求的组织方式,却能同时改善延迟和账单。它也是「上下文工程」和「提示词工程」的分野——后者关心句子怎么写,前者关心整个请求的结构怎么排。

把要求翻译成可验证的约束

自然语言是一种宽松的接口。对人来说这很友好,对程序来说这是灾难:下游代码没法可靠地解析一段「大意如此」的文本。所以 AI 工作流里最划算的一类改造,是把自然语言要求翻译成机器可校验的约束。

结构化输出与约束解码

结构化输出(JSON Schema、函数参数 schema 等)解决的是「格式自由」问题。实现上通常有两条路:一条是在解码阶段做约束,通过限制候选 token 的采样空间,让输出在语法上必然合法;另一条是生成后再解析、校验、失败重试。

前者把「格式正确」从概率问题变成确定性问题,代价是约束本身会轻微影响生成质量(模型被限制在某个 token 子集内,可能选不到语义最优的表达),并且复杂嵌套 schema 会拖慢解码。后者实现简单,但重试意味着额外延迟和成本,且重试次数需要有上限,否则会陷入死循环。

实践建议是分层的:结构用 schema 约束,语义靠提示词引导,最终靠校验兜底。 不要把校验全部押在 schema 上——schema 只能保证「是个合法的对象」,保证不了「字段值是对的」。

工具调用:把不确定性外包给确定性代码

工具调用(function calling / tool use)是同一个思路的更大版本。模型负责判断「该做什么」,具体执行交给确定性代码:查数据库、调接口、跑命令、读文件。这样做的好处不只是准确,更是可审计——工具调用的入参和返回值都是结构化记录,出问题时能定位到具体是哪一步错了。

设计工具时有几个反复被验证的经验:

  • 工具粒度要贴近人的操作习惯,而不是贴近底层 API。一个 search_orders(user_id, status, date_range) 比 execute_sql(query) 好用得多,也更安全。
  • 描述即接口文档。模型选择工具的唯一依据是名称和描述,描述写得含糊,工具就不会被正确调用。参数说明里应该写清楚单位、枚举值、默认行为。
  • 错误信息要面向模型写。工具返回 {"error": "invalid status"} 时,最好附带合法取值列表,让模型有机会自行纠正,而不是让人来猜。
  • 写操作必须设防。删除、支付、发消息这类不可逆操作,要么加人工确认,要么做成幂等 + 可回滚。

Agent 循环:收益、代价与失控点

当任务无法一次生成完成,就需要循环:模型观察当前状态 → 决定下一步动作 → 调用工具 → 拿到结果 → 再决定。这就是所谓的 Agent。

循环的基本结构与三个易错点

结构本身不复杂,难的是三件事:

终止条件。 必须有硬性上限(最大轮数、最大 token、最大耗时),并且要区分「正常完成」和「耗尽预算」。很多失控案例不是模型能力问题,而是循环没有刹车。

状态管理。 每一轮的工具返回都会追加进上下文,上下文会持续膨胀。一个跑了二十轮的 Agent,后半程看到的可能是大量冗余的中间结果,注意力被稀释,决策质量下降。常见的缓解手段是分层:把已完成子任务的结论压缩成摘要写回上下文,把原始细节落盘到文件或外部存储,需要时再读回来。外部文件系统在这里扮演的是「可寻址的外部记忆」,比塞进上下文更可靠。

错误累积。 前面一步判断错了,后面所有步骤都在错误的基础上推进,而且模型往往不会主动回头质疑已经「确认」过的结论。缓解方式是在关键节点插入确定性检查(编译、测试、schema 校验),让错误尽早暴露,而不是靠模型自我反省。

拆分子任务:并行与隔离

单 Agent 的长循环会同时遇到上下文膨胀和错误累积两个问题。一种有效的拆法是主从结构:主 Agent 只做规划和汇总,具体子任务派给只拿到局部上下文的子 Agent。好处是每个子任务的上下文干净、可以并行、单点失败不污染全局;代价是子 Agent 看不到全局信息,可能做出与整体目标不一致的局部决策,需要主 Agent 在汇总时做一致性检查。

这本质上和人类团队的协作结构同构:协调者的价值在于信息汇聚和取舍,执行者的价值在于局部专注。什么时候该拆、拆多细,取决于任务之间是否存在强依赖——强依赖的任务强行并行,只会制造返工。

代价要说清楚

Agent 不是免费的。多轮循环意味着延迟成倍增加、token 成本成倍增加,而且延迟的方差很大(有的任务三轮结束,有的二十轮还在绕)。对交互式产品来说,「平均快、偶尔极慢」的体验往往比「稳定中等」更糟。所以更务实的做法是分级:简单请求走单次生成,复杂请求才进循环,并在 UI 上把中间过程暴露出来,让用户知道系统在做什么、可以中断。

检索:不是万能药,失败模式很具体

RAG(检索增强生成)几乎是所有「让 AI 懂我司知识」方案的第一选择。它的价值确实成立——把事实性知识放在外部、按需检索,避免了微调的知识更新难题。但它的失败点也很集中:

切分(chunking)破坏了语义。 按固定长度切分会把一个完整的定义、一段代码、一张表格拦腰截断。检索到的片段看着相关,实际上缺少了理解所需的上下文。按结构切(标题、段落、函数边界)通常优于按长度切。

纯向量检索不擅长精确匹配。 错误码、函数名、产品型号这类标识符,语义相似度意义不大,关键词匹配反而更准。所以混合检索(向量 + 关键词)再加一层重排(rerank),几乎是标配;只做向量召回,遇到精确查询就会失手。

召回了错的,比没召回更糟。 一段看似相关实则过时的文档进入上下文,模型很可能照着它编出一个自洽但错误的答案。所以检索结果需要带元信息(来源、更新时间、适用范围),并且在提示词里明确「资料不足以回答时就说不知道」。

评测检索比评测生成更被忽略。 应该单独衡量召回率:给定一批真实问题,正确文档是否在 top-k 里。生成质量差,很多时候根因在召回这一层,但优化精力全花在了提示词上。

没有评测集,就没有工程

这是整个话题里最不性感、但区分「玩具」和「产品」的一条。

提示词是可以被随意修改的,而自然语言修改的影响面不可预测——改了一句话,可能在 A 类任务上变好、在 B 类任务上变差。没有评测,你无法知道这次改动是净收益还是净损失,只能靠感觉。于是团队会陷入一种典型状态:谁也不敢动提示词,改动靠玄学,回归问题靠用户投诉发现。

一个最小可用的评测体系包含:

  • 一组真实任务的样本集,覆盖典型场景和已知的边界情况,来自真实日志而不是凭空想象。
  • 可判定的评分方式。能用规则判定的(格式是否合法、字段是否齐全、代码是否通过测试、SQL 是否可执行)绝不用模型判定;只有主观质量才用模型打分,并且要用人工标注校准过的一致性来约束它。
  • 回归机制。每次改提示词、换模型、调检索参数,都跑一遍全集,看通过率变化而不是单看几个样例。

用模型当裁判(LLM as judge)时要清楚它的偏差:它倾向于给长回答、格式漂亮的回答更高分,对位置顺序敏感,对自家风格的输出有偏好。所以裁判提示词要明确指出评分维度和扣分项,能做成 pairwise 比较(A/B 哪个更好)就尽量别用绝对打分。

有了评测集之后,很多争论会自动消解:某个技巧到底有没有用,跑一遍就知道;某次模型升级是不是真的更好,跑一遍就知道。评测集是把「AI 效果」从主观感受变成可管理指标的唯一途径。

成本与延迟:可运营的 AI 才谈得上高效

一个 demo 只需要证明「能行」,一个产品必须证明「划算」。这两件事的优化手段完全不同。

模型路由。 不是所有请求都需要最强的模型。按任务复杂度分流——简单分类、抽取、格式转换交给小模型,复杂推理才上调——能在质量损失可控的前提下大幅降低成本。路由本身可以用规则(输入长度、任务类型)实现,也可以用一个小模型做预判。关键是路由错了要有回退:小模型置信度低或输出校验失败时,升级到大模型重试。

并行化。 多个互不依赖的子任务(比如同时分析十个文件)应该并发请求,而不是串行等待。这一步的收益通常比任何提示词优化都大,但很容易被忽略,因为串行写起来更自然。

流式输出。 对交互式场景,首 token 时间比总时长更影响体感。让用户尽早看到内容开始生成,即使总耗时不变,感知效率也会明显改善。

缓存分层。 除了前面说的前缀缓存,还有语义缓存(相似问题复用答案)和结果缓存(确定性工具调用复用返回值)。语义缓存要谨慎,阈值设得太松会把不该复用的答案复用出去,在事实性场景里这是危险的。

预算上限。 每个请求、每个用户、每个任务类型都应该有 token 和轮数上限。这不只是省钱,也是防失控——一个陷入循环的 Agent,成本曲线是指数级的。

人在回路:把审查点放在正确的位置

「AI 高效工作」的完整表述应该是「人和 AI 组成的系统高效工作」。人的介入不是效率的损失,而是必要环节,关键在于放在哪里。

放错位置的典型:让 AI 生成一大段代码,人逐行读、逐行改。这比人自己写还慢,因为阅读和判断的成本并没有降低。

放对位置的典型:

  • 在输入端:人提供目标、约束、验收标准,这些恰恰是 AI 最缺的信息,也是人最擅长的部分。
  • 在关键决策点:不可逆操作、涉及外部副作用的动作、超出置信度阈值的判断,交给人确认。其他环节让 AI 自动跑。
  • 在输出端做抽检而非全检:配合自动校验(测试、类型检查、lint),人只需要看校验通过但语义存疑的部分。
  • 在失败后做归因:把失败的案例沉淀进评测集,让它变成系统的改进输入,而不是一次性的人工修补。

一个值得强调的点:AI 的输出必须可追溯。用了哪些资料、调了哪些工具、依据是什么,这些信息要能还原。否则人在回路里做的不是审查,而是重新做一遍。

一些更底层的判断

把上面这些串起来,可以得到几个不太依赖具体模型的结论:

收益递减发生在提示词层,收益递增发生在系统层。 提示词技巧的门槛低、传播广,所以显得重要;但它的上限也很低,因为模型缺的是信息和反馈,不是措辞。把工程投入从「怎么问」转到「给它什么、怎么验、错了怎么办」,回报曲线完全不同。

确定性越多,系统越可靠。 AI 的价值在于处理那些无法用规则穷举的部分;一旦某个环节可以被规则、被 schema、被测试覆盖,就应该从模型手里拿走。一个成熟的 AI 系统,模型负责的部分应该越来越窄,而不是越来越宽。

上下文质量比上下文数量重要一个数量级。 无论是 RAG、长文档理解还是 Agent 的记忆,核心问题始终是「此刻该让它看到什么」,而不是「能塞多少」。

没有评测的优化都是猜测。 这条在前面的段落里已经说过一次,但它值得重复,因为它是把 AI 应用从「玄学调参」变成「工程实践」的分水岭。

还悬着的问题

有几个方向目前没有标准答案,值得持续观察:

一是长上下文与检索的关系。窗口足够大之后,很多人主张「全塞进去,别做检索」。但成本和延迟是实打实的,而且长上下文的中间信息利用率并没有随窗口扩大而线性改善。短期内两者会并存:检索负责缩小范围,长上下文负责保留完整语境。

二是Agent 的可靠性边界。当前多数 Agent 在任务步数超过一定规模后,成功率下降明显。是靠更强的模型解决,还是靠更严格的任务分解和验证机制解决,目前工程界的实践更偏向后者。

三是在多 Agent、多工具的环境下,工具定义与权限的标准化仍在早期。工具描述怎么写、权限怎么收敛、调用怎么审计,各家做法不一。这一层如果收敛出共识,AI 工作流的搭建成本会显著下降。

回到最初的问题:让 AI 高效工作,本质上不是找一个更好的提示词模板,而是把它当成一个需要接口、需要校验、需要监控、需要成本核算的软件组件去设计。这句话听起来不如「三招让你的 AI 效率翻倍」诱人,但它是唯一能随模型迭代持续生效的部分。


📚 参考来源

  1. 如何使用AI让工作变得更高效 —— mp.weixin.qq.com
赏
支付宝微信
0
关注公众号获取更多内容
真狠啊,DeepSeek 开放全家桶 API。
没有了
暂无评论,快抢沙发吧