Ollama 官方博客 10 月 13 日更新,标题直接写着:用 Ollama 和 Fly 安全地运行 AI 智能体。核心内容是:AI agent 现在可以在 Fly.io 的云电脑里调用 Ollama 的云端模型。对平时习惯在自己机器上 ollama run 一个开源模型的开发者,这意味着你的 Agent 第一次不用拖着笔记本到处跑,也能在云里拿到同一套开源模型栈。

「本地模型」搬进云电脑,安全收益到底在哪?

过去的尴尬在于:模型权重在你自己机器上,Agent 工具链却在云上,两边之间要么公网裸连,要么把 Key 散落在各处。Ollama 加 Fly 的组合把模型推理放进 Fly 的隔离云电脑实例,Agent 在同一个实例里调用本地端口,流量不出实例边界。对企业用户,这解决的是两个具体焦虑:开源模型的 API Key 不再暴露给第三方网关,以及 Agent 执行命令的环境和模型推理环境共享同一个可审计的云电脑。

接入路径和容易踩的坑是什么?

按博客披露的路径,大致是在 Fly 上拉起一台配置好 Ollama 的云电脑,把你的 Agent 工程部署进同一实例,通过内网地址调用模型。坑点有三个:一是云电脑是按实例小时计费,Agent 任务跑完要记得释放实例,否则闲置计费会悄悄积累;二是模型权重首次拉取占用大量启动时间,建议用 Fly 的卷缓存把权重层固化;三是「安全」指的是调用通道,不包括你自己写的 Agent 逻辑,Agent 仍可能读到实例里的环境变量,密钥分离不要省。

本地派和云端派吵了两年,这种「模型在云电脑里、Agent 在云电脑里」的中间路线,可能才是大多数团队的真实落点。成本侧还有一笔账要算清楚:Fly 的云电脑按实例规格加运行时长计费,7 乘 24 小时跑一个中等规格实例,月成本并不低,适合定时唤醒跑批的 Agent 场景;如果是常驻服务,直接用云厂商托管的推理端点可能更便宜。安全收益要落到审计日志上,实例化后所有调用都在同一台机器留痕,出问题时回溯范围从整个企业网络缩小到一个云电脑。

去论坛讨论

前往 silicon-agi.com 论坛 参与讨论