给 Agent 配齐 6 类 API 工具

📍 Agent 通用知识

适用信息

• 适合谁：中级（想给 agent 或自动化流程接上外部能力的人）
• 需要准备：读懂这篇不用准备；真要接，得在对应服务注册、申请 API Key（调用接口用的密钥），多数按用量付费
• 中国大陆能否直接用：部分能。表里标 ✅ 的国内服务（豆包、MiniMax、阿里云百炼、昆仑 Mureka、DeepSeek、博查等）能直接用；OpenAI、Anthropic、Google 不向中国大陆提供服务，其他海外服务也不保证能用
• 核对日期：2026-09-26（Claude Code 2.1.283）；看图模型表里 OpenAI 一行核对于 2026-10-12；DeepSeek 搜索接口和它的收费核对于 2026-10-19

一个让人困惑的现象

你看了 Subagents（子智能体），以为 agent 就能干所有事。可真用起来——尤其是用纯聊天模型，或者自己拿大模型 API 拼 agent 的时候——你会发现：

• 你说「帮我画个海报」—— 它回：「我不能直接生成图片」
• 你说「给我这段文案配个背景音乐」—— 它说：「我没法生成音频」
• 你发一段录音问内容 —— 它说：「我不能处理音频」
• 你丢一张截图让它读上面的字 —— 主模型不支持看图的话（比如 deepseek-v4-pro），它说：「我看不到图」
• 你让它「查一下今天的新闻」—— 没接联网工具，它只能凭训练时学到的旧知识回答，最近的事要么不知道，要么瞎编
• 你说「帮我打开网页，登录，然后截个图」—— 它说：「我没办法操作浏览器」

怎么回事？这不是号称 AI agent 吗？

💡 Claude Code 已经自带了一部分（核对于 Claude Code 2.1.283，见官方工具说明）：

• 联网：WebSearch（搜索）和 WebFetch（抓网页正文）是内置工具
• 看图：Read 工具能直接看 PNG、JPG 截图
• 操作浏览器：Claude 付费订阅用户可以用 claude --chrome 接上 Claude in Chrome 扩展；用 API Key 登录，或者走 DeepSeek 时用不了

按 DeepSeek 配置篇接 DeepSeek（模型用 deepseek-flash）时，搜索和看图也能用；但 WebFetch 抓网页前要先连 Anthropic 做域名安全检查，网络连不上时会失败。按 DeepSeek 官方说明，这时 Claude Code 会通过服务端的工具调用用到 DeepSeek 自家的搜索和抓取接口（Search / Fetch），这部分北京时间 2026-11-01 起按次收费，每 1000 次成功请求 5 元（截至 2026-10-19，见官方价目页）。Claude Code 仍然做不了的是画图、配乐、出语音和处理音频——这几样必须外接 API。

---

一句话先答

大模型只是大脑，agent 还要手脚眼耳。

你平时用的 Claude / DeepSeek / 豆包，核心都是大语言模型：能读文字，大多也能看图（豆包的 Seed 2.0 lite 还能听懂音频），但只会输出文字——不能画图、配乐、说话，也不知道训练之后发生的事。DeepSeek 目前只有 deepseek-flash 能看图，deepseek-v4-pro 不能。豆包 App 里能画图、能语音通话，是背后另接了生图模型（Seedream）和语音模型，这正是本篇要讲的「配工具」。

要让它真的能画图 / 配乐 / 说话和听录音 / 看图（主模型看不了时）/ 查最新信息 / 操作网页，得给它配 6 类 API 工具：

工具	比喻	例子
1. 图片生成 API	给 agent 装画笔（手）	gpt-image-2 / FLUX / Grok Imagine
2. 音乐 / 音效生成 API	给 agent 装作曲台（创意输出）	ElevenLabs 音乐和音效 / Google Lyria / 昆仑 Mureka
3. TTS / STT API	给 agent 装喇叭和耳朵（嘴 + 耳）	MiniMax TTS / OpenAI gpt-transcribe
4. 视觉 / OCR（图片文字识别）API	给 agent 装眼睛	GPT-6 / Gemini 3.8 Flash / 千问 Qwen3-VL
5. 搜索 API	给 agent 装外脑（查最新信息）	Tavily / Brave Search
6. 浏览器自动化	给 agent 装手指（操作网页）	Playwright / Puppeteer / Browserbase

配齐这 6 类，agent 就从「会聊天」升级到「能干活」。

---

6 类必备 API 详解

下面几张表里，「✅ 直连」是国内服务；「❌」是明确不向中国大陆提供服务；「⚠️ 海外服务」是在中国大陆注册、付款和访问都可能受限，本站不作保证。

1. 图片生成 API —— 让 agent 能画图

为啥需要：大模型只会出文字。要出图必须调专门的图片生成模型。

主流选择（价格档截至 2026-09-26）：

服务商	模型	大陆能否直接用	价格档
OpenAI	gpt-image-2 / GPT Image 2.5	❌ 不向中国大陆提供服务	便宜到贵（看画质档）
Stability AI	SDXL / SD 3.5	⚠️ 海外服务	便宜到中等
xAI	Grok Imagine	⚠️ 海外服务	中等
字节火山	豆包 Seedream 5.0	✅ 直连	中等
API 聚合平台	多家模型（国内硅基流动等）	✅ / ⚠️ 看选哪家	看所选模型

价格档按每张图粗分：便宜＝每张 1 毛钱人民币以内，中等＝1 毛到 5 毛，贵＝5 毛以上。价格常变，下单前看官方价目页：OpenAI、Stability、xAI、火山方舟 Seedream。老教程里常见的 dall-e-3 已下线（2026-05-12 从 OpenAI API 移除），照抄会报错。

🆕 2026-09 补充：除了调别人的 API，现在还多了一条路——阿里 2026-09-20 放出权重的 Qwen-Image-2.1，可以下载到自己电脑上跑（开放权重、研究许可，不能商用；能不能跑动要看显卡和设置）。在线入口和练习见这一篇。

调用方式（以 OpenAI 官方接口为例。不少服务提供跟它兼容的接口，但不是全部：Stability 用自家接口和表单格式，Google 的 Nano Banana 生图走 Gemini 的 Interactions API，接入前先看各家文档）：

curl -X POST https://api.openai.com/v1/images/generations \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer YOUR_KEY" \
  -d '{
    "model": "gpt-image-2",
    "prompt": "扁平风格插画，一只猫坐在键盘上",
    "size": "1024x1024",
    "quality": "low"
  }' \
  | jq -r '.data[0].b64_json' | base64 --decode > cat.png

返回的不是图片链接，而是 base64（把图片编码成的一长串文字），放在 data[0].b64_json 里。最后一行用 jq（处理 JSON 的命令行小工具，要先装）把它取出来，解码存成 cat.png；Windows 可以在 Git Bash（装 Git 时附带的命令行）或 WSL（Windows 上的 Linux 子系统）里跑这段。quality 可选 low / medium / high，画质越高越贵。

OpenAI 官方文档现在主推 2026-09-08 发布的 GPT Image 2.5：把 model 换成 gpt-image-2.5-flare（日常出图）或 gpt-image-2.5-sunburst（精细编辑）就行，没有叫 gpt-image-2.5 的型号。agent 拿到图片后，可以发给用户、保存到本地或嵌入网页。

💡 咱家 niuxue.org 所有文章配图，都是 agent 调这类 API 出的。

2. 音乐 / 音效生成 API —— 让 agent 能配乐

为啥独立成一类：跟 TTS 不一样。

• TTS 是「人说话」(旁白 / 朗读)
• 音乐生成 是「旋律 / 伴奏」(可能含人声，可能不含)
• 音效生成 是「环境音 / 短促音效」(开门声、爆炸声、鸟叫)

这三个是完全不同的模型架构，API 也分开。

主流选择（只列有公开 API 的；价格档截至 2026-09-26）：

类型	服务	怎么接	大陆能否直接用	价格档
音乐生成	ElevenLabs Eleven Music	官方 API，单次最长 10 分钟	⚠️ 海外服务	中等（按时长计费）
音乐生成	Google Lyria 3.5	走 Gemini API，2026-09-03 正式可用	❌ 不向中国大陆提供服务	便宜（按首计费）
音乐生成	Stable Audio 2.5 / 3.0	Stability 官方 API；3.0 的 Small、Medium 放出了开放权重，可以自己部署（年收入 100 万美元以下可免费商用）	⚠️ 海外服务（权重在 Hugging Face 下载）	中等；自己部署看显卡和电费
音乐生成	昆仑 Mureka（原天工 SkyMusic）	国内开放平台 platform.mureka.cn 自助申请 API Key，现为 V9.5	✅ 直连	便宜到中等（按首计费，看模型）
音效生成	ElevenLabs 音效（Sound Effects）	官方 API	⚠️ 海外服务	便宜（按时长计费）
音效生成	Stable Audio 3.0 Small-SFX	开放权重，可以自己部署	⚠️ 权重在 Hugging Face 下载	看显卡和电费

价格档粗分：音乐按「一首两三分钟的曲子」算，音效按「一条几秒钟的短音效」算，便宜＝1 块钱人民币以内，中等＝1 到 3 块，贵＝3 块以上。官方价目页：ElevenLabs、Gemini API、Stability、Mureka。

⚠️ 名气最大的两家反而接不进 agent：Suno 没有能自助开通的公开 API（网页和 App 很好用，v6 单次最长 8 分钟，2026-09-03 起按会员档位限制下载次数）；Udio 也没有公开 API，下载功能也关了。MiniMax 的音乐 API 从 2026-08-20 起不再向新用户开放，免费接口也停了，新接入别选它。

典型场景:

• 做短视频 → LLM 写脚本 → 图片 API 出画面 → 音乐 API 出 BGM（背景音乐） → TTS 出旁白 → 视频合成
• 做有声小说 → TTS 朗读 + 音乐 API 出背景音 + 音效 API 出环境音
• 游戏开发 → 音效 API 量产敌人音效 / UI 提示音

💡 国内开发者注意：Google 的 Gemini API 不向中国大陆提供服务，ElevenLabs、Stability 的 API 在大陆也不保证能用。国内能自助接入的音乐 API，目前最现成的是昆仑 Mureka（原天工 SkyMusic）。

3. TTS / STT API —— 让 agent 能听能说

TTS（Text-to-Speech）= 文字转语音。给 agent 装喇叭。 STT（Speech-to-Text）= 语音转文字。给 agent 装耳朵（也叫 ASR，语音识别）。

主流选择：

类型	服务	大陆能否直接用	特点
TTS	OpenAI TTS / ElevenLabs	❌ OpenAI 不向中国大陆提供服务；⚠️ ElevenLabs 是海外服务	海外常用，音色多
TTS	MiniMax TTS	✅ 直连	国内常用，中文音色丰富
TTS	字节火山 TTS	✅ 直连	跟豆包一家
STT	OpenAI gpt-transcribe	❌ 不向中国大陆提供服务	2026-07-28 推出，接替 Whisper；whisper-1 等老转写模型 2027-02-26 下线
STT	Groq Whisper	⚠️ 海外服务	用 Groq 推理速度很快（秒级）
STT	阿里云百炼语音识别	✅ 直连	官方首推 qwen-audio-3.1-asr-flash 系列，另有 Fun-ASR、Qwen3-ASR；要现成的会议转写和纪要，可以用通义听悟（也有开发者 API）

典型场景:

• 做语音助手 → 用户说话 → STT 转文字 → LLM 处理 → TTS 转语音回应
• 做有声内容 → LLM 写文案 → TTS 出音频
• 转录会议 → STT 把录音转文字 → LLM 总结

4. 视觉 / OCR API —— 让 agent 能看图

最容易被忽略的一类。

原因：不是所有大模型都能看图。主模型不支持看图时（比如 deepseek-v4-pro、早期开源 Llama、千问的部分纯文本版本），你要让 agent「看一下这张截图说了啥」，就得配 Vision API（视觉接口）。Claude、豆包、新版千问和 deepseek-flash 自己就能看图（DeepSeek 看图的来龙去脉见 DeepSeek 能看图了），这时不用另配；要批量识别图片里的文字，或者想换个更便宜的模型专门干这活，再单独接。

部署架构（主模型看不了图时）：

用户 → 主模型（只懂文字，比如 deepseek-v4-pro）
         ↓ 「这有张图，你帮我看一下」
       Vision API（Gemini / GPT-6 / 豆包 Seed / 千问 Qwen3-VL）
         ↓ 「这张图是一只橘猫在键盘上，文字是 README」
       主模型 ← 继续基于文字描述回答用户

主流选择（截至 2026-09-26）：

服务	模型	大陆能否直接用	特点
Google	Gemini 3 系列（如 3.8 Flash）	❌ 不向中国大陆提供服务	便宜量大，走量首选；还能直接看视频
OpenAI	GPT-6 系列（Astra / 6.1 Sol / Luna）	❌ 不向中国大陆提供服务	旗舰准但贵，Luna 便宜
Anthropic	Claude（现役全系都能看图）	❌ 不向中国大陆提供服务	跟 Claude 一家
字节	豆包 Doubao-Seed 2.x	✅ 直连	能看图，也能看视频
阿里	千问 Qwen3-VL，或原生多模态的 Qwen3.8	✅ 直连	中文识图常用
DeepSeek	deepseek-flash	✅ 直连	主模型自己就能看图；deepseek-v4-pro 不能

（具体价格常变，下单前查一眼官网价目表。老教程里的 GPT-4V 在 2024 年就已停用，「Gemini Vision」也不是现在的产品名，官方现在叫「图像理解」。）

典型场景:

• 用户发截图问问题 → Vision API 读图 + 文字 → LLM 回答
• 文档 OCR → Vision API 提取扫描件文字 → LLM 处理
• 自动化测试 → Vision API 识别 UI 元素 → 操作

5. 搜索 API —— 让 agent 能查最新信息

为啥需要:

• 模型都有知识截止日期（比如 Claude Opus 5.5 是 2026 年 6 月；DeepSeek 官方没公布过）
• 截止后的事件 → 它不知道
• 你问「昨天北京股市怎么样」 → 它要么瞎编，要么承认不知道

两种部署方式:

(a) 模型没有原生搜索 → 必须配搜索 API

自己拿 DeepSeek、Llama、开源小模型的 API 搭 agent，通常要自己外挂搜索。DeepSeek 在 2026-10-17 开放了自家的搜索接口 Search 和网页抓取接口 Fetch，用同一个 API Key 就能调，见下面的表。（DeepSeek 接进 Claude Code 时，可以直接用 Claude Code 的联网搜索；按 DeepSeek 官方说明，这时也会通过服务端调用到这两个接口，北京时间 2026-11-01 起按次收费。）

(b) 模型有原生搜索但质量差 → 也要配第三方搜索

• Claude 自带的联网：WebSearch 只返回标题和链接，正文要再用 WebFetch 抓一次，有些页面抓不到关键内容
• GPT 原生联网：速度慢，有时漏关键结果

所以咱家 niuxue.org 专门换成 Tavily——我们实测下来，Tavily 的抓取质量比原生搜索好很多。

主流选择：

服务	大陆能否直接用	特点
Tavily	⚠️ 海外服务（API 速度快）	专为 AI 设计，默认返回 JSON 摘要，可选附带网页的 markdown 原文；2026-02 被 Nebius 收购，品牌和 API 照常
Brave Search API	⚠️ 海外服务	隐私友好
SerpAPI	⚠️ 海外服务	拿 Google 实时结果
博查 AI	✅ 直连	国内 Tavily 平替
DeepSeek Search / Fetch	✅ 直连	2026-10-17 开放，搜索和抓网页正文分成两个接口，各按每 1000 次成功请求 5 元收费（截至 2026-10-19，见官方说明）
百度千帆搜索 API	✅ 直连	百度系生态

6. 浏览器自动化 —— 让 agent 能操作网页

最常被遗忘的一类。

为啥需要:

• 搜索 API 拿到的是「文本摘要」，但很多网页是打开后才用 JavaScript 把内容加载出来的（比如用 React、Vue 做的单页应用），普通搜索 API 抓不到正文
• 视觉 API 需要「先有图」—— agent 自己截网页图就需要浏览器自动化
• 自动化场景：登录某个网站 → 填表 → 点按钮 → 截图 → 提交 —— 没浏览器自动化全干不了

主流选择：

类型	工具	部署方式	特点
本地库	Playwright	装本地包，不要 key	最主流，Microsoft 出，跨 Chromium / Firefox / WebKit（Safari 的内核）
本地库	Puppeteer	装本地包，不要 key	Google 出，Playwright 团队正出自它的原班人马
本地库	Selenium	装本地包，不要 key	老牌，生态最全
本地库	browser-use	装本地包（开源 Python 库），接你自己的模型	让 agent 像人一样看网页、点按钮；也有云端版
云端	Browserbase	远程 API，需要 key	用云端浏览器，不占本地资源，适合做成在线服务（SaaS）部署
云端	Browserless	远程 API，需要 key	Browserbase 平替
MCP 接入	Playwright MCP	通过 MCP 接入	Microsoft 官方出品，Claude Code / Cursor 一键装；官方说明也提到，写代码的 agent 越来越多改用 Playwright 命令行配 Skill（技能包），更省 token
MCP 接入	Chrome DevTools MCP	通过 MCP 接入	Chrome 开发者工具团队出品（2025-09 以公开预览发布），能操作和调试真实的 Chrome
内置	Claude in Chrome	Claude Code 里用 claude --chrome 开启	要 Claude 付费订阅并用 /login 登录；用 API Key 登录、走 DeepSeek 时用不了

典型场景:

• 自动化下单 / 抢票 / 签到 —— 写好流程，定时跑
• 抓动态网页内容 —— 比如 React 单页应用的产品列表
• 跑端到端测试 —— 模拟用户点击 / 输入 / 验证
• 网页截图喂给视觉 API —— 形成「截图→看图→决策→操作」闭环

装一个 Playwright:

按你用的环境二选一。用 Node.js（一个 JavaScript 运行环境）的跑这两行，第二行是装浏览器引擎：

npm install playwright
npx playwright install

用 Python 的跑这两行：

pip install playwright
playwright install

10 行代码就能让 agent 打开网页、截图、抓数据。

💡 Claude Code / Cursor / TraeCode 都可以通过 MCP 接 Playwright，然后用自然语言操控浏览器。

---

实战架构：agent + 6 类工具长啥样

部署一个真正能干活的 agent，长这样：

            ┌───────────────────────┐
   用户 ───→│   主 LLM(决策中心)  │←──── 系统提示词(怎么用工具)
            └──┬────┬────┬────┬────┘
               │    │    │    │    │    │
               ▼    ▼    ▼    ▼    ▼    ▼
            ┌─────┬─────┬─────┬─────┬─────┬─────┐
            │图片 │音乐 │TTS/ │视觉 │搜索 │浏览 │
            │生成 │音效 │STT  │API  │API  │器自 │
            │API  │API  │API  │     │     │动化 │
            └─────┴─────┴─────┴─────┴─────┴─────┘

主 LLM 通过 ReAct 循环 决定:

• 「用户要画图」→ 调图片生成 API
• 「用户要配乐」→ 调音乐生成 API
• 「用户发语音」→ 先调 STT 转文字 → 再处理 → 可能 TTS 回声
• 「用户发图」→ 主模型能看图就自己看；看不了就调视觉 API 转描述 → 处理
• 「用户问最新新闻」→ 调搜索 API 拿结果 → 总结
• 「用户要登录某网站操作」→ 调浏览器自动化 → 截图 → 看图 → 决定下一步

---

怎么让 agent 知道要调哪个工具？

两种主流方式：

方式 1:Tool Use API(官方接口)

OpenAI / Anthropic / 国产大模型都提供。在请求里声明你有哪些工具，模型自动决定调哪个。下面是 Anthropic 的格式；OpenAI 叫 function calling（函数调用），字段名不一样（参数说明写在 parameters 里，不叫 input_schema），各家不能照抄通用：

{
  "model": "claude-opus-5-5",
  "max_tokens": 1024,
  "messages": [{"role": "user", "content": "帮我画只猫"}],
  "tools": [
    {
      "name": "generate_image",
      "description": "生成一张图片",
      "input_schema": {
        "type": "object",
        "properties": {
          "prompt": {"type": "string"}
        }
      }
    }
  ]
}

max_tokens（最多输出多少 token）是必填项，漏了会报参数错误；input_schema 是参数格式说明（schema），告诉模型这个工具要哪些参数。

模型回复：「我要调 generate_image，参数是 prompt=‘a cute cat’」，你的程序拿到这个调用，真的去跑图片生成 API，把结果传回给模型。

方式 2:MCP 协议(标准化)

更通用的方式。把每个工具做成一个 MCP 服务，Claude Code / Cursor / TraeCode 这些 AI 编程工具统一发现 + 接入。

比如（下面是示意名，只用来说明思路，别照着名字去装：npm 上有些同名包是不相干的第三方发的，没人替你审核过。真要装，去官方 MCP 服务器目录（MCP Registry） 或国内能直接打开的魔搭 MCP 广场按功能搜，像上面的 Playwright MCP 就是真实可装的）：

• mcp-image：封装图片生成 API
• mcp-tts：封装 TTS API
• mcp-vision：封装视觉 API
• mcp-search：封装 Tavily
• mcp-playwright：封装浏览器自动化
• mcp-music：封装音乐生成

装好之后，Claude Code 自动知道这些工具，不用每次告诉它。

💡 推荐看 MCP(外部服务连接器) 那篇详细玩法。

---

谁应该配齐这 6 类？

• 做 agent 产品 / 自动化工作流：必须配齐。否则 agent 很多场景都干不了
• 做对话机器人（飞书、Telegram、Slack 机器人等）：至少配搜索 + 浏览器，主模型看不了图再加视觉。用户经常发图发链接，常让 agent「去某个网站查一下」
• 做短视频 / 内容创作：图片 + 音乐 + TTS 是核心三件套
• 只做内部代码编写（像 Claude Code 在 IDE 里）：可选。Claude Code 自己就能联网、看截图；再接上 Playwright（或付费用户用 --chrome），它能自己打开页面截 UI 图 → 看图找 bug

---

一个反常识结论

很多人以为「用最好的模型就够了」—— 错。

配齐工具的小模型，比纯裸奔的顶配大模型，在实际任务中往往更有用。

理由：

• 模型再聪明，不能直接画图就是不能
• 模型再准确，不能查最新就过时
• 模型再多模态，不接 TTS 就发不了语音

模型决定 agent 想得多好，工具决定它能做成多少事。

没有工具时，agent 就退回成一个只会聊天的模型；工具配得越全，它能落地的事越多。

---

一句话总结

部署 agent 三件套:

1. 决策框架(ReAct 模式)—— 让 agent 知道怎么想
2. 协议(MCP)—— 让 agent 知道有哪些工具
3. 工具集(本篇 6 类 API)—— 让 agent 真的能动手

三个缺一不可。