WorkBuddy怎么接本地模型

WorkBuddy 本身不直接运行大模型，它的角色更像一个总控台，负责调用外部的模型服务来完成任务。所以使用本地模型的核心思路是，先在你的电脑上跑起来一个模型服务，比如 Ollama，再让 WorkBuddy 通过一个标准接口去连接它。我自己试过这套流程，最大的感受是本地模型确实能解决一些实际问题，但配置过程中有一个坑几乎每个人都会踩，下面按我实际操作的顺序讲一下。

在 WorkBuddy 里接本地模型，主要能解决三个问题。一是零 Token 成本，本地推理不消耗 WorkBuddy 的积分，适合处理文档整理、代码分析这类高频大用量的任务。二是数据不出本机，对于合同、标书这类敏感材料，本地处理能确保数据完全不离开你的电脑，满足隐私和合规要求。三是离线可用，在飞机上或者没有网络的环境里，本地模型依然可以正常工作。我自己最常用的是第一点，批量处理文档的时候不用担心积分消耗。

接入流程分三步，Ollama 是目前最省事的本地模型运行工具，它自带一个与 OpenAI 兼容的 API 接口，WorkBuddy 可以直接对接。第一步是在本地安装并启动 Ollama。前往 Ollama 官网下载安装包，或者在终端中执行安装命令，安装完成后 Ollama 会自动在后台启动，并监听本机的 11434 端口。验证方式是打开浏览器，访问本机地址的 11434 端口，如果看到 Ollama is running 的提示，说明服务已经正常启动。

第二步是拉取一个合适的本地模型。在终端中执行拉取命令，以 8B 参数量的模型为例，对于 8GB 显存的显卡，8B 级别且经过量化的模型是平衡速度与质量的不错选择，实测生成速度可以达到每秒六七十个 token。显存更大的话可以选更大的模型，但也要看实际速度是否够用。

第三步是在 WorkBuddy 中添加自定义模型。进入客户端左下角头像，点设置，再点模型，进入模型配置页面。在自定义模型区域点击添加模型，然后按下面的方式填写参数。提供商选 Ollama 或者自定义，最新版可能内置了 Ollama 选项，可以直接选。接口地址填本机地址的 11434 端口，末尾加上 /v1，这是 Ollama 的 OpenAI 兼容端点，部分版本可能需要填写完整的 /v1/chat/completions 路径。API Key 填 ollama 就行，Ollama 不做校验，但此字段不能为空。模型名称必须与 ollama list 命令输出的名称完全一致，包括冒号和后面的标签。高级设置里勾选工具调用和图像输入，如果你的模型支持这些能力，建议勾上，方便 WorkBuddy 更好地利用模型能力。保存之后，你就可以在对话界面的模型选择器中看到并切换到刚配置的本地模型了。

最容易踩的坑是能测试通过但一用就没反应。这是接入本地模型时最常见的问题，添加模型时连接测试显示成功，但一旦让它执行实际任务，比如分析一个文档，模型就卡住、超时或者返回空白。根本原因在于，WorkBuddy 作为智能体，每轮对话会附带一个约三万一千 token 的庞大系统提示词，包含工具说明、技能列表等。而 Ollama 默认分配的上下文窗口只有四千零九十六 token，导致你的实际指令在截断中被丢弃，模型收到的是不完整的指令，自然无法工作。解决方法是在终端中设置环境变量，把上下文窗口调大，比如设置成八千一百九十二。这是一个对 8GB 显存比较稳妥的数值，如果显存充足比如 12GB 以上，可以尝试一万六千三百八十四，但不要设置得过高，否则模型的一部分会被挤到系统内存，导致速度暴跌。设置完之后务必从系统托盘完全退出 Ollama，然后重新打开，环境变量的修改只对新启动的进程生效。重启后可以在终端执行 ollama ps 查看，确认上下文列显示为设置的值，说明修改已经生效。

如果你觉得 Ollama 的命令行操作不太顺手，可以试试 LM Studio。它提供了图形化界面来搜索、下载和运行模型，并且同样暴露 OpenAI 兼容的 API 接口，在 WorkBuddy 里的配置逻辑和 Ollama 完全一样，只是接口地址会变，通常是本机地址的 1234 端口加上 /v1。我自己的习惯是主力机器上用 Ollama，因为命令行操作习惯了反而觉得快，备用机上装 LM Studio，图形界面更直观，适合不熟悉终端的场景。