第 9 章 接入自己的模型:换一台引擎,继续前行

buddyme 默认使用平台提供的模型与积分,但它并不打算把你锁在一种选择里。如果你手上有自己的 LLM API、公司采购的模型资源,或者想让模型完全跑在本机,都可以在设置里轻松接入,让 buddyme 换上你的模型继续干活。这一章介绍三种接入方式——URL 一键导入(1.0.50 起)、手工接入第三方 API、接入本地模型——以及遇到小状况时的排查思路。
前面 28 章讲的都是「用 buddyme 干具体活」,这一章往后退一步,回答两个更根本的问题:它凭什么好用,以及怎么用才一直好用。搞懂原理不是为了当工程师,而是为了在它跑偏的时候你知道为什么、在它费点数的时候你知道省在哪里。

- 大模型是怎么「思考」的——Token、上下文窗口、温度与采样,决定了它为什么有时聪明有时糊涂;
- 指令五要素与迭代追问——同一件事,说法不同,产出质量差一倍;
- 模型为什么跑偏——问题分四类,每类有一套对应的纠偏方法;
- 技能与 Agent 的运行机制——理解了它怎么干活,你才能让它替你设计活儿;
- 自动化工作流与成本控制——让定时任务靠得住,让每一分点数花在刀刃上。
不需要任何编程基础,每一节都从「这对你用 buddyme 意味着什么」讲起。读完这一章,你再看前面 28 章的很多操作,会有「原来如此」的感觉。
为什么接入自己的模型
buddyme 开箱即用,平台的模型和积分足够应付日常任务。那为什么还要花心思接入自己的模型?通常出于下面几种情况——它们不一定都发生在你身上,但只要沾上一条,这一章就值得读。
积分用完,手边还有别的额度
平台积分是消耗品,忙季集中跑几个大任务,额度可能先见底。如果你手上已经有其他模型的 API 额度——比如公司采购的、活动赠送的、或者自己订阅的——接入 buddyme 后,这些额度立刻变成 buddyme 的"燃料",不必等积分恢复,工作不断档。
已经有自己的 API 或套餐
不少重度 AI 用户手上都有几样"存货":某家模型的 API Key、公司采购的中转服务、一个本地部署的模型。这些资产原本只能在各自的产品里用,接入 buddyme 后即可统一调度——你在 buddyme 里写任务、跑自动化,底层消耗的是你自己的额度,一份钱两处花。
偏好某个特定模型
不同模型各有脾性:有的擅长推理,有的擅长长文,有的中文写作味道更对。如果你早已习惯某个模型的手感,就让 buddyme 挂上它——熟悉的表达质量,配上 buddyme 的执行力,是最舒服的组合。
数据不出本机
这是最值得认真对待的一条。处理涉密文档、客户资料、内部数据时,你可能会希望内容根本不离开这台电脑。接入本地模型(如 Ollama)后,模型的推理就发生在本机,任务内容不经过任何云端——你的文件在你授权的目录里被读取,在本机被理解、被加工,成果也落在本机。对有数据合规要求的岗位,这不只是偏好,而是刚需。
| 接入动机 | 适合谁 | 推荐方案 |
|---|---|---|
| 积分用完 | 偶尔额度紧张的用户 | 第三方 API(云端模型服务) |
| 已有 API/资源 | 有存量额度的重度用户 | 自有 API 或公司采购的中转服务 |
| 偏好特定模型 | 对手感有要求的用户 | 对应模型的 API |
| 数据不出本机 | 涉密岗位、合规要求 | 本地 Ollama |
进入模型设置
所有接入动作都从同一个入口开始:左侧导航的「模型」页。路径很短,认一遍以后就熟了。
三步到达新建入口
- 打开 buddyme,轻点左侧导航的「模型」,进入模型管理页;
- 切换到「大语言模型」标签——这里陈列着当前可用的模型清单,也是管理已接入模型的控制台:每行一个模型,可以置顶、克隆、编辑或删除(内置的 buddyme 档案不提供删除,保证基础能力随时可用);
- 轻点右上角的「+ 新建模型」,进入新建表单。
要求:「模型 → 大语言模型」标签页截图,可见模型列表(置顶/克隆/编辑/删除操作)与右上角「+ 新建模型」按钮,无需标注
新建表单里填什么
新建模型的表单字段不多,逐项认识一下:
| 字段 | 填什么 | 说明 |
|---|---|---|
| id | 给这个模型起个名字 | 列表里显示的名字,自己起一个即可,如 chat-pro、local-model-8b |
| 来源字典 | 内置供应商 / 客户与本地自部署 | 应用内新建默认写入后者;本地自部署模型(含 Ollama)都选它 |
| api_key | 服务商的密钥 | 本地 Ollama 无需鉴权,可留空或随意填写 |
| base_url | 接口地址 | 照服务商文档填写,注意结尾不要多路径 |
| EndPoint | 接口格式 | 二选一:OpenAI 格式(/v1/chat/completions)或 Anthropic 格式(/v1/messages),选错会连不上 |
| api_model | 模型名称 | 服务商文档里的模型标识,区分大小写,逐字照抄 |
此外还能设置最大输出长度(max_tokens)与思考模式(部分模型支持,可选轻量到深度不同档位)。这些高级项保持默认即可,不影响连通。
要求:「+ 新建模型」表单截图,可见 id、api_key、base_url、EndPoint、api_model 等字段(可填示例值),无需标注
保存之后
保存后新模型立即出现在清单里。想让它真正参与任务,到「智能体设置」标签,在对应岗位(如执行任务的 LoopAgent)的下拉里选中它,再轻点「▶ 测试」验证连通——灯亮了,这个岗位从此就用你的模型干活了(详见第 3 章第 4 节)。
URL 一键导入:从网页复制模型配置
从 1.0.50 版本起,buddyme 支持一种最省事的接入方式:URL 一键导入。不用逐项填写接口地址和密钥,把网页上的配置链接复制回来、粘贴进去,一条模型配置就完整落地。换新电脑、重装系统、或者同事把配好的模型分享给你时,这是最快的路。
两步完成
- 在网站复制配置链接。登录 www.buddyme.cn,进入模型配置相关页面,找到你要接入的模型条目,轻点「复制链接」(或类似入口),配置链接即进入剪贴板;
- 在桌面端粘贴导入。打开 buddyme「模型」页,轻点「URL 一键导入」,粘贴刚才的链接,确认后配置自动填好、保存即用。
要求:桌面端「模型」页的 URL 一键导入弹框(粘贴框+确认按钮)截图,无需标注
与站点 Key 的关系
一键导入的不只是外部模型:升级到付费档后,控制面板里的站点 Key(bk- 开头)也可以用同样的方式一键导入桌面端,网站上的额度就直接供桌面端使用(详见第五篇「账号与额度」的站点 Key 一节)。1.0.50 起,余额/点数面板与三个 URL 一键导入卡片(大语言模型、视觉理解、生图模型)都会在登录后显示在控制面板里。
两个提醒
- 配置链接当作密钥对待。链接里可能包含鉴权信息,只通过可信渠道传给可信的人,不要发到公开群聊;
- 导入后测一次。粘贴导入虽然不易出错,仍建议按下一节的方法发个小任务验证链路,再托付正式工作。
接入第三方 API:云端模型三步走
第三方 API 是所有接入方式里最简单的一种:拿到 API Key,粘贴进去,基本就完成了。下面以一家云端模型服务商为例走一遍流程——各家服务商的步骤几乎完全一样,只是获取 Key 的入口不同。
第一步:获取 API Key
先到模型服务商的官方网站注册并登录,进入其开放平台(API 管理)页面,创建一个 API Key。登录该服务商的开放平台,在"API Keys"(或类似名称)页面新建一个 Key,复制保存。
- Key 只在创建时完整显示一次,复制后请妥善保存;如果忘了复制,删掉旧 Key 重新建一个即可;
- 记得确认账户里有余额——Key 有效但余额为零,同样跑不了任务。
第二步:在 buddyme 中填写
按上一节的路径打开「模型 → 大语言模型 → + 新建模型」,新建一个条目:id 起个好认的名字(如 chat-pro),api_key 粘贴刚才的密钥,base_url 填该服务商的接口地址,EndPoint 选 OpenAI 格式,api_model 填文档给出的模型标识:
要求:「+ 新建模型」表单已填好各字段(Key 可打码)的截图,无需标注
填写完成,buddyme 会尝试连接验证。通过后,这个模型就出现在你的模型列表中了。
第三步:试一个任务
接入后别急着托付正式工作,先发一个小任务试试,比如“用一句话介绍一下你自己”。如果回复正常,链路就算通了。之后到「模型 → 智能体设置」,把需要的岗位切换到它,后续任务就会用你自己的额度来跑。
其他服务商怎么办
任何服务商都可以按上面的"自定义"方式接入:填入服务商提供的接口地址(Base URL)、API Key 与模型名称即可——这三样信息在每家服务商的 API 文档里都写得清清楚楚,照着填就行。只要对方兼容 OpenAI 接口格式,就能接入。
| 要填的信息 | 从哪里来 | 备注 |
|---|---|---|
| API Key | 服务商开放平台创建 | 只显示一次,妥善保存 |
| 接口地址 | 服务商 API 文档 | 自定义接入时需要 |
| 模型名称 | 服务商 API 文档 | 注意大小写和版本号 |
接入本地 Ollama
如果你希望模型的推理完全发生在自己的电脑上——不经过任何云端——本地 Ollama 是最顺手的方案。Ollama 是一个本地运行开源模型的工具,装好之后,你的电脑自己就是一台"模型服务器",buddyme 连上它,任务的理解和生成就全部在本机完成。
本地模型的三重优势
- 数据不出本机:任务内容、文件资料只在你的电脑和模型之间流转,不经过任何第三方服务器。处理涉密文档、客户资料时的安心感,是云端方案给不了的;
- 可离线:断网也能用。高铁上、飞机上,模型照常工作;
- 零 Token 成本:跑多少任务都不产生按量计费——若不计电费,成本就是零。
代价也要说清楚:本地模型的表现受限于你电脑的硬件(内存/显存),推理速度通常不如云端旗舰模型。适合轻量任务与敏感任务,不是追求极致质量的场合。
第一步:安装并启动 Ollama
到 Ollama 官网下载安装包(Windows/macOS 都有),安装后启动。启动后它会常驻后台,默认监听 11434 端口,并提供 OpenAI 兼容接口——这意味着 buddyme 接入它的方式,和接入第三方 API 是同一套。
然后拉取一个模型,例如在终端执行:
ollama pull <模型名>
模型名称和大小按你电脑的配置选择(在 Ollama 模型库中挑选),内存越充裕可选越大的模型。
要求:终端窗口执行 ollama pull 命令的截图,可见下载进度与完成提示,无需标注
第二步:在 buddyme 中接入
打开「模型 → 大语言模型 → + 新建模型」:来源字典选客户/本地自部署,base_url 填 http://localhost:11434/v1,EndPoint 选 OpenAI 格式,api_model 填刚拉取的模型名(与 pull 的一致),api_key 留空即可:
要求:新建模型表单已填好 localhost:11434/v1 地址与模型名的截图,无需标注
第三步:验证
发一个小任务试试,比如"把这句话翻译成英文:本地模型已就绪"。如果回复正常,说明 buddyme 和本机 Ollama 已经握上了手。之后切换到该模型,任务就在本机闭环完成。
常见问题
接入外部模型的过程不长,但偶尔也会遇到小状况。好消息是,绝大多数问题都集中在几个常见原因上,按下面的清单排查,通常几分钟就能解决。
连不上:验证一直不通过
最常见的一类问题,症状是点「测试」后转圈或直接提示失败。按顺序检查:
- 接口地址是否正确:自定义接入时,地址末尾多了或少了路径、http 写成 https,都会连不上。照服务商文档逐字核对,别凭记忆敲;
- 本地 Ollama 是否在运行:接入 Ollama 时,先确认 Ollama 已经启动。在浏览器里访问
http://localhost:11434,能看到回应就说明服务活着;反之,去任务栏/菜单栏把 Ollama 启动起来; - 网络环境:公司内网或代理环境下,请求可能被拦截。换一个网络(比如手机热点)再试一次,如果立刻通了,问题就在网络上,需要请 IT 放行对应的域名和端口;
- 防火墙:本地 Ollama 首次启动时如果弹出了防火墙授权请求且被拒绝,也会导致连不上。允许 Ollama 通过防火墙即可。
Key 无效:提示鉴权失败
症状是能连上服务,但提示 401 或"无效的 API Key":
- Key 复制不完整:多复制了一个空格、少复制了结尾几位,是最常见的原因。重新完整复制一遍,粘贴前看一眼首尾;
- Key 已被删除或重置:回到服务商开放平台确认这个 Key 还在生效,不在就重新创建一个;
- 余额不足或未开通服务:Key 有效,但账户没有余额、或没开通对应模型的调用权限,也会报错。到服务商后台确认账户状态。
模型列表里找不到刚接入的模型
- 确认接入流程最后一步保存成功了,回到「大语言模型」标签刷新一下列表;
- 自定义接入时检查模型名称是否拼写正确——名称区分大小写,版本号也不能少,以服务商文档为准。
能用,但响应很慢
- 本地模型:换更小的模型,或关闭其他吃内存的程序;
- 云端模型:高峰期服务商会限流,可以过段时间再试;也可能是当前模型本身较慢,切换到更轻的型号试试。
一个稳妥的排查习惯
遇到问题时,先做一次最小化验证:在浏览器访问服务商的接口地址或在服务商官网直接测试 Key 是否可用,把"buddyme 的问题"和"服务本身的问题"分开。如果服务本身正常而 buddyme 连不上,再回头检查 buddyme 里的配置项。
| 症状 | 最可能的原因 | 第一动作 |
|---|---|---|
| 连接失败/超时 | 地址错误、服务未启动、网络拦截 | 核对地址,确认服务在线 |
| 401 鉴权失败 | Key 复制不完整或已失效 | 重新复制粘贴 Key |
| 模型不出现 | 未保存、名称拼写错误 | 刷新列表,核对模型名 |
| 响应很慢 | 模型过大或高峰限流 | 换轻量模型或稍后再试 |
成本控制:Token优化与预算管理
用 buddyme 用到进阶阶段,你早晚会碰到同一件事:看一眼用量面板,发现这个月烧掉的积分比预想多了一大截,然后开始回忆"我到底干了啥"。这一节就讲清楚积分是怎么被吃掉的、哪些消耗是冤枉钱、以及怎么在不牺牲效果的前提下把成本压下来。

先搞懂:你花的钱花在哪了
为什么:不知道消耗构成,任何优化都是瞎猜。buddyme 的积分消耗粗略对应底层模型按 Token 计费的成本,公式可以记成一句话:单次消耗 ≈ 模型倍率 × 上下文长度 × 返工次数。三个变量,对应三类专业优化。
Token 从哪来(两类):
- 输入 Token:你发的消息 + 全部历史对话 + 上传的文件内容 + 工具返回的中间结果。对话越长,每一轮都越贵。
- 输出 Token:buddyme 生成的内容。要求它写八千字长文,输出部分自然不便宜。
两者的关键是输入部分会滚雪球。 buddyme 的对话是"无记忆"设计——模型每次回复都要把你这个会话从头到尾的全部历史重读一遍。你以为自己在续聊,模型以为在"从头读一封越来越长的信"。
算笔账:假设平均每轮你发 200 字、它回 800 字,到第 20 轮时,每一轮的输入已经累积到一万多字——而你刚发的那句新话可能只占其中的 1%。换句话说, Late 阶段的大部分积分,花在"让 AI 复习旧笔记"上,而不是干新活。
省法一:砍上下文(省 30%-50% 的主力手段)
怎么做:
- 第 1 步:一任务一窗口。一个会话只做一类事,做完关掉,新任务开新窗口。把周报、PPT、改代码混在一个会话里聊,是成本翻倍的头号原因。
- 第 2 步:文件优于粘贴。把内容做成文件让它读,比把全文贴进对话框省 Token 也更准——文件引用本身不占对话历史太多篇幅,贴进去的全文则永远留在历史里。
- 第 3 步:定期"压缩存档"。长会话每 5-10 轮,让它把"已确认的结论 / 已排除的方案 / 待办"总结成一小段,开新窗口带着这段总结继续。历史从几万字缩成几百字,效果基本不损失。
- 第 4 步:指令本身瘦身。删掉客套话和重复修饰。"麻烦你帮我仔细认真地把这个数据整理一下好吗" → "整理这份数据,按月汇总,去重"。指令精简 30%-50%,输出质量不降反升——废话越少,约束越清晰。
出错怎么办:压缩后发现它忘了某条关键约束,不用重开会话——把那条约束补回当前消息即可,关键要求本来就该在结尾重复一遍(想想"中间信息容易被忽略"那条原理)。
省法二:选对模型(倍率差可达数倍)
为什么:同一件事,不同模型底座的消耗倍率差别很大。用旗舰模型做"翻译一段话"这种活,等于开卡车去买菜——不是不行,是浪费。
选型经验表:
- 轻量/快答类(改写、摘要、翻译、简短问答):用低倍率模型,消耗最低、秒回。
- 日常办公类(周报、通知、常规文档):标准模型足够,质量和成本均衡。
- 硬骨头类(复杂推理、长代码、深度调研):才值得上旗舰/深度思考模型。
- 拿不准就用自动档,但要知道它偶尔会"杀鸡用牛刀",高消耗任务后回看一眼明细。
进阶玩法——规划与执行分工:复杂任务可以先用旗舰模型把方案、大纲、边界聊透(这一步很便宜,因为内容短),再把大纲交给低倍率模型批量产出(这一步量大但单价低),最后人工或用旗舰复核。一次内容生产任务,这样切分通常能省下一半以上。
省法三:减少返工(一次返工 = 双倍积分)
为什么:这是最冤的一类消耗。方向错了再返工,错误的输出本身已经花过一次钱,重做再花一次——返工五次等于付六次钱只拿走一份成果。
怎么做:
- 先审计划再执行。复杂任务让它先出步骤清单,你花一分钟确认方向,再放行执行。
- 指令用五要素一次说全。角色、任务、上下文、约束、格式齐全,能把平均返工从几次降到一两次——省的不只是时间,是每一轮追问都在付的上下文钱。
- 试错用便宜窗口。不确定要什么效果时,先在轻量模型上快速试风格,定稿思路后再正式执行,别拿旗舰模型当草稿纸。
省法四:给自动化任务定预算纪律
为什么:手动任务你每点一次都有感知,定时任务却在你睡觉时默默烧积分。一条没调好的日报任务,一个月能悄悄吃掉几百上千积分。
怎么做:
- 第 1 步:每条定时任务上线前先手动跑一次,记录单次消耗。
- 第 2 步:算月账:单次消耗 × 执行频率。超过你心里价位就调——降频(日报改周报)、缩范围(只处理新增内容而非全量)、换低倍率模型。
- 第 3 步:定期审计任务清单,问一句"这条任务上周产出的东西我看了吗"。连续几周没人看的产出,直接停掉——没有收益的算力投入就是纯浪费。
建立你的预算习惯(照着做)
怎么做:
- 第 1 步:打开用量面板,看本月明细,找出消耗前三的任务——通常前 20% 的任务占了 80% 的消耗。
- 第 2 步:对照上面四省法,逐条问自己:这个会话是不是太长了?这个模型是不是用重了?这个返工是不是指令不清造成的?这条定时任务还值不值?
- 第 3 步:把省钱后验证过的好指令存成模板。每次复用模板 = 每次省掉试错轮次,这是持续性的节省。
出错怎么办:积分莫名骤降但找不到原因时,优先查两处:一是有没有刚上线的定时任务在跑高频循环;二是有没有长会话拖着几万字历史在反复续聊。九成"积分刺客"都藏在这两个地方。
成本自检清单
- [ ] 知道自己本月消耗最高的三个任务是什么
- [ ] 长会话有定期总结压缩的习惯,没有无限续聊的老窗口
- [ ] 轻、中、重任务分层用了不同档位的模型
- [ ] 复杂任务先审计划再执行,没有五次返工的黑历史
- [ ] 每条定时任务都知道自己的月消耗,并且产出有人看
- [ ] 常用指令存成了模板,不再每次从零试错
六条全勾,你就已经是"花小钱办大事"的那类用户了。