第 9 章 接入自己的模型:换一台引擎,继续前行

第一篇 使用手册:先把 buddyme 用起来 · 更新于 · 作者:BuddyMe Editorial Team

buddyme 默认使用平台提供的模型与积分,但它并不打算把你锁在一种选择里。如果你手上有自己的 LLM API、公司采购的模型资源,或者想让模型完全跑在本机,都可以在设置里轻松接入,让 buddyme 换上你的模型继续干活。这一章介绍三种接入方式——URL 一键导入(1.0.50 起)、手工接入第三方 API、接入本地模型——以及遇到小状况时的排查思路。

前面 28 章讲的都是「用 buddyme 干具体活」,这一章往后退一步,回答两个更根本的问题:它凭什么好用,以及怎么用才一直好用。搞懂原理不是为了当工程师,而是为了在它跑偏的时候你知道为什么、在它费点数的时候你知道省在哪里。

原理与方法篇示意

不需要任何编程基础,每一节都从「这对你用 buddyme 意味着什么」讲起。读完这一章,你再看前面 28 章的很多操作,会有「原来如此」的感觉。

为什么接入自己的模型

buddyme 开箱即用,平台的模型和积分足够应付日常任务。那为什么还要花心思接入自己的模型?通常出于下面几种情况——它们不一定都发生在你身上,但只要沾上一条,这一章就值得读。

积分用完,手边还有别的额度

平台积分是消耗品,忙季集中跑几个大任务,额度可能先见底。如果你手上已经有其他模型的 API 额度——比如公司采购的、活动赠送的、或者自己订阅的——接入 buddyme 后,这些额度立刻变成 buddyme 的"燃料",不必等积分恢复,工作不断档。

已经有自己的 API 或套餐

不少重度 AI 用户手上都有几样"存货":某家模型的 API Key、公司采购的中转服务、一个本地部署的模型。这些资产原本只能在各自的产品里用,接入 buddyme 后即可统一调度——你在 buddyme 里写任务、跑自动化,底层消耗的是你自己的额度,一份钱两处花。

偏好某个特定模型

不同模型各有脾性:有的擅长推理,有的擅长长文,有的中文写作味道更对。如果你早已习惯某个模型的手感,就让 buddyme 挂上它——熟悉的表达质量,配上 buddyme 的执行力,是最舒服的组合。

数据不出本机

这是最值得认真对待的一条。处理涉密文档、客户资料、内部数据时,你可能会希望内容根本不离开这台电脑。接入本地模型(如 Ollama)后,模型的推理就发生在本机,任务内容不经过任何云端——你的文件在你授权的目录里被读取,在本机被理解、被加工,成果也落在本机。对有数据合规要求的岗位,这不只是偏好,而是刚需。

接入动机适合谁推荐方案
积分用完偶尔额度紧张的用户第三方 API(云端模型服务)
已有 API/资源有存量额度的重度用户自有 API 或公司采购的中转服务
偏好特定模型对手感有要求的用户对应模型的 API
数据不出本机涉密岗位、合规要求本地 Ollama
接入自己的模型不影响 buddyme 的其他能力:Skill、专家、连接器、自动化照常可用,变的只是"发动机"——车身还是你熟悉的这辆,换台引擎继续开。

进入模型设置

所有接入动作都从同一个入口开始:左侧导航的「模型」页。路径很短,认一遍以后就熟了。

三步到达新建入口

  1. 打开 buddyme,轻点左侧导航的「模型」,进入模型管理页;
  2. 切换到「大语言模型」标签——这里陈列着当前可用的模型清单,也是管理已接入模型的控制台:每行一个模型,可以置顶、克隆、编辑或删除(内置的 buddyme 档案不提供删除,保证基础能力随时可用);
  3. 轻点右上角的「+ 新建模型」,进入新建表单。
📷 待补图:模型页与大语言模型清单
要求:「模型 → 大语言模型」标签页截图,可见模型列表(置顶/克隆/编辑/删除操作)与右上角「+ 新建模型」按钮,无需标注

新建表单里填什么

新建模型的表单字段不多,逐项认识一下:

字段填什么说明
id给这个模型起个名字列表里显示的名字,自己起一个即可,如 chat-pro、local-model-8b
来源字典内置供应商 / 客户与本地自部署应用内新建默认写入后者;本地自部署模型(含 Ollama)都选它
api_key服务商的密钥本地 Ollama 无需鉴权,可留空或随意填写
base_url接口地址照服务商文档填写,注意结尾不要多路径
EndPoint接口格式二选一:OpenAI 格式(/v1/chat/completions)或 Anthropic 格式(/v1/messages),选错会连不上
api_model模型名称服务商文档里的模型标识,区分大小写,逐字照抄

此外还能设置最大输出长度(max_tokens)与思考模式(部分模型支持,可选轻量到深度不同档位)。这些高级项保持默认即可,不影响连通。

📷 待补图:新建模型表单
要求:「+ 新建模型」表单截图,可见 id、api_key、base_url、EndPoint、api_model 等字段(可填示例值),无需标注

保存之后

保存后新模型立即出现在清单里。想让它真正参与任务,到「智能体设置」标签,在对应岗位(如执行任务的 LoopAgent)的下拉里选中它,再轻点「▶ 测试」验证连通——灯亮了,这个岗位从此就用你的模型干活了(详见第 3 章第 4 节)。

小知识:所谓“OpenAI 兼容接口”是行业里最通用的模型接口格式,几乎所有模型服务商和本地框架(Ollama、vLLM 等)都支持。你不需要理解它的细节,只要知道——服务商说“兼容 OpenAI 接口”,EndPoint 就选 OpenAI 格式,填好地址和 Key 就能接进 buddyme。

URL 一键导入:从网页复制模型配置

从 1.0.50 版本起,buddyme 支持一种最省事的接入方式:URL 一键导入。不用逐项填写接口地址和密钥,把网页上的配置链接复制回来、粘贴进去,一条模型配置就完整落地。换新电脑、重装系统、或者同事把配好的模型分享给你时,这是最快的路。

两步完成

  1. 在网站复制配置链接。登录 www.buddyme.cn,进入模型配置相关页面,找到你要接入的模型条目,轻点「复制链接」(或类似入口),配置链接即进入剪贴板;
  2. 在桌面端粘贴导入。打开 buddyme「模型」页,轻点「URL 一键导入」,粘贴刚才的链接,确认后配置自动填好、保存即用。
📷 待补图:URL 一键导入的粘贴入口
要求:桌面端「模型」页的 URL 一键导入弹框(粘贴框+确认按钮)截图,无需标注

与站点 Key 的关系

一键导入的不只是外部模型:升级到付费档后,控制面板里的站点 Key(bk- 开头)也可以用同样的方式一键导入桌面端,网站上的额度就直接供桌面端使用(详见第五篇「账号与额度」的站点 Key 一节)。1.0.50 起,余额/点数面板与三个 URL 一键导入卡片(大语言模型、视觉理解、生图模型)都会在登录后显示在控制面板里。

两个提醒

如果拿不到配置链接,或想接入的服务不在网页配置里,就用下面两节的手工方式——填的其实就是同几张表单,多花两分钟而已。

接入第三方 API:云端模型三步走

第三方 API 是所有接入方式里最简单的一种:拿到 API Key,粘贴进去,基本就完成了。下面以一家云端模型服务商为例走一遍流程——各家服务商的步骤几乎完全一样,只是获取 Key 的入口不同。

第一步:获取 API Key

先到模型服务商的官方网站注册并登录,进入其开放平台(API 管理)页面,创建一个 API Key。登录该服务商的开放平台,在"API Keys"(或类似名称)页面新建一个 Key,复制保存。

第二步:在 buddyme 中填写

按上一节的路径打开「模型 → 大语言模型 → + 新建模型」,新建一个条目:id 起个好认的名字(如 chat-pro),api_key 粘贴刚才的密钥,base_url 填该服务商的接口地址,EndPoint 选 OpenAI 格式,api_model 填文档给出的模型标识:

📷 待补图:新建第三方模型条目的表单
要求:「+ 新建模型」表单已填好各字段(Key 可打码)的截图,无需标注

填写完成,buddyme 会尝试连接验证。通过后,这个模型就出现在你的模型列表中了。

第三步:试一个任务

接入后别急着托付正式工作,先发一个小任务试试,比如“用一句话介绍一下你自己”。如果回复正常,链路就算通了。之后到「模型 → 智能体设置」,把需要的岗位切换到它,后续任务就会用你自己的额度来跑。

其他服务商怎么办

任何服务商都可以按上面的"自定义"方式接入:填入服务商提供的接口地址(Base URL)、API Key 与模型名称即可——这三样信息在每家服务商的 API 文档里都写得清清楚楚,照着填就行。只要对方兼容 OpenAI 接口格式,就能接入。

要填的信息从哪里来备注
API Key服务商开放平台创建只显示一次,妥善保存
接口地址服务商 API 文档自定义接入时需要
模型名称服务商 API 文档注意大小写和版本号
安全提醒:API Key 等同于你在这家服务商的"钱包密码"——谁能用这个 Key,谁就能消耗你的余额。不要把 Key 发到群里、贴到截图里或写进任务提示词。

接入本地 Ollama

如果你希望模型的推理完全发生在自己的电脑上——不经过任何云端——本地 Ollama 是最顺手的方案。Ollama 是一个本地运行开源模型的工具,装好之后,你的电脑自己就是一台"模型服务器",buddyme 连上它,任务的理解和生成就全部在本机完成。

本地模型的三重优势

代价也要说清楚:本地模型的表现受限于你电脑的硬件(内存/显存),推理速度通常不如云端旗舰模型。适合轻量任务与敏感任务,不是追求极致质量的场合。

第一步:安装并启动 Ollama

到 Ollama 官网下载安装包(Windows/macOS 都有),安装后启动。启动后它会常驻后台,默认监听 11434 端口,并提供 OpenAI 兼容接口——这意味着 buddyme 接入它的方式,和接入第三方 API 是同一套。

然后拉取一个模型,例如在终端执行:

ollama pull <模型名>

模型名称和大小按你电脑的配置选择(在 Ollama 模型库中挑选),内存越充裕可选越大的模型。

📷 待补图:终端执行 ollama pull 拉取模型的过程
要求:终端窗口执行 ollama pull 命令的截图,可见下载进度与完成提示,无需标注

第二步:在 buddyme 中接入

打开「模型 → 大语言模型 → + 新建模型」:来源字典选客户/本地自部署,base_url 填 http://localhost:11434/v1,EndPoint 选 OpenAI 格式,api_model 填刚拉取的模型名(与 pull 的一致),api_key 留空即可:

📷 待补图:接入 Ollama 的模型条目
要求:新建模型表单已填好 localhost:11434/v1 地址与模型名的截图,无需标注

第三步:验证

发一个小任务试试,比如"把这句话翻译成英文:本地模型已就绪"。如果回复正常,说明 buddyme 和本机 Ollama 已经握上了手。之后切换到该模型,任务就在本机闭环完成。

小提示:第一次提问时本地模型会有几秒"冷启动",属于正常现象。如果任务经常排队,检查一下电脑内存占用,或换一个更小的模型。

常见问题

接入外部模型的过程不长,但偶尔也会遇到小状况。好消息是,绝大多数问题都集中在几个常见原因上,按下面的清单排查,通常几分钟就能解决。

连不上:验证一直不通过

最常见的一类问题,症状是点「测试」后转圈或直接提示失败。按顺序检查:

  1. 接口地址是否正确:自定义接入时,地址末尾多了或少了路径、http 写成 https,都会连不上。照服务商文档逐字核对,别凭记忆敲;
  2. 本地 Ollama 是否在运行:接入 Ollama 时,先确认 Ollama 已经启动。在浏览器里访问 http://localhost:11434,能看到回应就说明服务活着;反之,去任务栏/菜单栏把 Ollama 启动起来;
  3. 网络环境:公司内网或代理环境下,请求可能被拦截。换一个网络(比如手机热点)再试一次,如果立刻通了,问题就在网络上,需要请 IT 放行对应的域名和端口;
  4. 防火墙:本地 Ollama 首次启动时如果弹出了防火墙授权请求且被拒绝,也会导致连不上。允许 Ollama 通过防火墙即可。

Key 无效:提示鉴权失败

症状是能连上服务,但提示 401 或"无效的 API Key":

模型列表里找不到刚接入的模型

能用,但响应很慢

一个稳妥的排查习惯

遇到问题时,先做一次最小化验证:在浏览器访问服务商的接口地址或在服务商官网直接测试 Key 是否可用,把"buddyme 的问题"和"服务本身的问题"分开。如果服务本身正常而 buddyme 连不上,再回头检查 buddyme 里的配置项。

症状最可能的原因第一动作
连接失败/超时地址错误、服务未启动、网络拦截核对地址,确认服务在线
401 鉴权失败Key 复制不完整或已失效重新复制粘贴 Key
模型不出现未保存、名称拼写错误刷新列表,核对模型名
响应很慢模型过大或高峰限流换轻量模型或稍后再试
如果以上都试过仍未解决,可以截图模型配置页(记得隐去 Key),到 buddyme 官方渠道寻求帮助——带上"症状 + 已尝试的排查"描述,问题会解决得快很多。

成本控制:Token优化与预算管理

用 buddyme 用到进阶阶段,你早晚会碰到同一件事:看一眼用量面板,发现这个月烧掉的积分比预想多了一大截,然后开始回忆"我到底干了啥"。这一节就讲清楚积分是怎么被吃掉的、哪些消耗是冤枉钱、以及怎么在不牺牲效果的前提下把成本压下来。

积分用量面板与成本构成示意

先搞懂:你花的钱花在哪了

为什么:不知道消耗构成,任何优化都是瞎猜。buddyme 的积分消耗粗略对应底层模型按 Token 计费的成本,公式可以记成一句话:单次消耗 ≈ 模型倍率 × 上下文长度 × 返工次数。三个变量,对应三类专业优化。

Token 从哪来(两类):

两者的关键是输入部分会滚雪球。 buddyme 的对话是"无记忆"设计——模型每次回复都要把你这个会话从头到尾的全部历史重读一遍。你以为自己在续聊,模型以为在"从头读一封越来越长的信"。

算笔账:假设平均每轮你发 200 字、它回 800 字,到第 20 轮时,每一轮的输入已经累积到一万多字——而你刚发的那句新话可能只占其中的 1%。换句话说, Late 阶段的大部分积分,花在"让 AI 复习旧笔记"上,而不是干新活。

最容易被忽视的"隐形杀手"就是对话累积。长会话每多说一句话,都要为整个历史付一遍费。感觉到回复变慢、变贵,往往不是模型变笨了,是你的会话变胖了。

省法一:砍上下文(省 30%-50% 的主力手段)

怎么做:

出错怎么办:压缩后发现它忘了某条关键约束,不用重开会话——把那条约束补回当前消息即可,关键要求本来就该在结尾重复一遍(想想"中间信息容易被忽略"那条原理)。

省法二:选对模型(倍率差可达数倍)

为什么:同一件事,不同模型底座的消耗倍率差别很大。用旗舰模型做"翻译一段话"这种活,等于开卡车去买菜——不是不行,是浪费。

选型经验表:

进阶玩法——规划与执行分工:复杂任务可以先用旗舰模型把方案、大纲、边界聊透(这一步很便宜,因为内容短),再把大纲交给低倍率模型批量产出(这一步量大但单价低),最后人工或用旗舰复核。一次内容生产任务,这样切分通常能省下一半以上。

省法三:减少返工(一次返工 = 双倍积分)

为什么:这是最冤的一类消耗。方向错了再返工,错误的输出本身已经花过一次钱,重做再花一次——返工五次等于付六次钱只拿走一份成果。

怎么做:

省法四:给自动化任务定预算纪律

为什么:手动任务你每点一次都有感知,定时任务却在你睡觉时默默烧积分。一条没调好的日报任务,一个月能悄悄吃掉几百上千积分。

怎么做:

优先级原则:积分永远先花在"省你时间最多的活"上。深度调研报告虽贵,但如果它替你省了三小时,就值;一条没人看的自动日报再便宜,也是零收益。

建立你的预算习惯(照着做)

怎么做:

出错怎么办:积分莫名骤降但找不到原因时,优先查两处:一是有没有刚上线的定时任务在跑高频循环;二是有没有长会话拖着几万字历史在反复续聊。九成"积分刺客"都藏在这两个地方。

成本自检清单

六条全勾,你就已经是"花小钱办大事"的那类用户了。