技术/工具 on AI 实战派 · 从技术到赚钱https://guijiagi.com/categories/%E6%8A%80%E6%9C%AF/%E5%B7%A5%E5%85%B7/Recent content in 技术/工具 on AI 实战派 · 从技术到赚钱Hugozh-cn本站内容采用 CC BY-NC-SA 4.0 国际许可协议授权Thu, 15 Oct 2026 12:30:00 +0800Zed 本周更新：BYOK 接 GPT-6.1 Sol，子代理自动压缩香吗？https://guijiagi.com/posts/2026-10-15-16-zed-byok-gpt61-subagent/Thu, 15 Oct 2026 12:30:00 +0800https://guijiagi.com/posts/2026-10-15-16-zed-byok-gpt61-subagent/Zed 稳定版本周更新加入 GPT-6.1 Sol 的自带 Key 支持、子代理运行中实时切模型、子代理自动压缩与命令行 diff 分屏开关，本文实测新工作流。SGLang Omni 官方文档更新：Intel 显卡跑推理怎么装？https://guijiagi.com/posts/2026-10-15-15-sglang-intel-xpu-install/Thu, 15 Oct 2026 12:24:00 +0800https://guijiagi.com/posts/2026-10-15-15-sglang-intel-xpu-install/SGLang Omni 的 Intel XPU 安装文档 10 月 14 日更新，给出从轮子安装到源码编译的完整路径，且刻意不钉死 sglang 版本，本文梳理安装步骤与常见报错。火山 LAS AI 1.6.0 上了敏感内容打码算子：数据出湖前怎么自动糊？https://guijiagi.com/posts/2026-10-15-14-volcengine-las-sensitive-mask/Thu, 15 Oct 2026 12:18:00 +0800https://guijiagi.com/posts/2026-10-15-14-volcengine-las-sensitive-mask/火山引擎 AI 数据湖服务 10 月 10 日发布 1.6.0 版本，新增敏感内容打码算子，可自动识别图片视频中的敏感画面、文字与语音，并对敏感区域做高斯模糊或静音处理。claude-haiku-4-5 退役下限落到 10 月 15 日：路由表怎么改？https://guijiagi.com/posts/2026-10-15-13-claude-haiku-4-5-deprecation-migration/Thu, 15 Oct 2026 12:12:00 +0800https://guijiagi.com/posts/2026-10-15-13-claude-haiku-4-5-deprecation-migration/Anthropic 弃用表显示 claude-haiku-4-5-20251001 的退役评估下限为 2026 年 10 月 15 日，模型当前仍可用，但调用方现在就该规划降级路由。Ollama 联手 Fly.io：云端智能体终于能安全跑了？https://guijiagi.com/posts/2026-10-15-12-ollama-fly-agent-cloud/Thu, 15 Oct 2026 12:06:00 +0800https://guijiagi.com/posts/2026-10-15-12-ollama-fly-agent-cloud/Ollama 10 月 13 日发布博客宣布，AI 智能体现在可以在 Fly.io 的云电脑中安全使用 Ollama 的云端模型，本地 Agent 与云模型之间第一次有了托管级通道。vLLM 新博客：投机解码没有置信头也能自适应验证？https://guijiagi.com/posts/2026-10-15-11-vllm-adaptive-verification-online-estimator/Thu, 15 Oct 2026 12:00:00 +0800https://guijiagi.com/posts/2026-10-15-11-vllm-adaptive-verification-online-estimator/vLLM 团队 10 月 14 日发布技术博客，推出在线拟合的接受率估计器，让没有置信头的草稿模型也能跑自适应投机解码，本文拆解原理与部署要点。prefill 不等所有注意力副本就绪：CascadeEP 给 MoE 拆了哪三道门https://guijiagi.com/posts/2026-10-10-18-cascadep-async-moe-prefill/Sat, 10 Oct 2026 16:42:00 +0800https://guijiagi.com/posts/2026-10-10-18-cascadep-async-moe-prefill/CascadeEP 用异步专家并行、streamFFN 批处理、机会式权重拉取三招，治 MoE prefill 阶段注意力副本之间的长尾失衡。让决策模型吃 100 局豆人：JEVMAN 把「快」和「对」放同一个记分板https://guijiagi.com/posts/2026-10-10-16-jevman-pacman-decision-benchmark/Sat, 10 Oct 2026 16:30:00 +0800https://guijiagi.com/posts/2026-10-10-16-jevman-pacman-decision-benchmark/Opper 十月九日发布 JEVMAN，让 Jev、Clef、GPT-6 Luna 等决策模型各玩 100 局吃豆人，按均分、延迟、成本排名，2 秒超时回退规则。PrivateUse1 这步棋：Spyre 怎么从「外挂后端」变成 PyTorch 一等设备https://guijiagi.com/posts/2026-10-10-12-pytorch-spyre-native-device/Sat, 10 Oct 2026 16:06:00 +0800https://guijiagi.com/posts/2026-10-10-12-pytorch-spyre-native-device/十月六日 PyTorch 官方博客详解 torch-spyre，用 PrivateUse1 给 Spyre 真实设备身份，让张量常驻、流、编译器抽象全部原生对接。把每个推理请求挂进实时拍卖：Architect Liquid Inference 想做 LLM 的交易所https://guijiagi.com/posts/2026-10-10-07-architect-liquid-inference-auction/Sat, 10 Oct 2026 15:36:00 +0800https://guijiagi.com/posts/2026-10-10-07-architect-liquid-inference-auction/十月七日发布的 Liquid Inference 是个对每个请求跑现场拍卖的 LLM 路由，供应商实时竞价，买方按满足约束的最低出价成交。0.6B 查、9B 索：Perplexity 把多模态检索拆成两把不对称的刀https://guijiagi.com/posts/2026-10-10-03-pplx-embed-v2-late-colbert/Sat, 10 Oct 2026 15:12:00 +0800https://guijiagi.com/posts/2026-10-10-03-pplx-embed-v2-late-colbert/pplx-embed-v2-late 用 0.6B 边缘模型跑查询、9B 模型建索引，做免 OCR 的 PDF 页图检索，MADQA 拿到 92.4。llm-openai-decisions 插件：用命令行调用 OpenAI 的 Jev 式决策 APIhttps://guijiagi.com/posts/2026-10-10-16-llm-openai-decisions-plugin-jev/Sat, 10 Oct 2026 12:30:00 +0800https://guijiagi.com/posts/2026-10-10-16-llm-openai-decisions-plugin-jev/Simon Willison 用 GPT-6 Astra 读文档自动写了 llm-openai-decisions 插件，让终端用户直接调用 OpenAI 的 Decisions API。vLLM CPU 推理 ZenDNN 后端：AMD EPYC 上跑大模型，性能到底提升了多少？https://guijiagi.com/posts/2026-10-10-15-vllm-cpu-zendnn-amd-epyc/Sat, 10 Oct 2026 12:24:00 +0800https://guijiagi.com/posts/2026-10-10-15-vllm-cpu-zendnn-amd-epyc/红帽 AI 3.4 引入 vLLM-CPU 的 ZenDNN 后端，为 AMD EPYC 处理器提供优化内核，让 CPU 推理性能逼近入门级 GPU。Red Hat AI Inference 3.5：不用 GPU 也能跑 LLM，Podman 一条命令起服务https://guijiagi.com/posts/2026-10-10-12-redhat-ai-inference-35-cpu-deploy/Sat, 10 Oct 2026 12:06:00 +0800https://guijiagi.com/posts/2026-10-10-12-redhat-ai-inference-35-cpu-deploy/红帽十月六日发布完整教程，用容器在 x86 CPU 上部署大语言模型推理，配套 cpueval CLI 做自动化性能基准。llm 0.36 发布：Simon Willison 的命令行工具原生支持 GPT-6 Sol 和 Lunahttps://guijiagi.com/posts/2026-10-10-11-llm-036-cli-gpt6-sol-luna-single-turn/Sat, 10 Oct 2026 12:00:00 +0800https://guijiagi.com/posts/2026-10-10-11-llm-036-cli-gpt6-sol-luna-single-turn/llm 0.36 新增 gpt-6-sol 和 gpt-6-luna 模型 ID，插件可声明 supports_conversation=False 适配单轮模型。JetBrains Mellum 2.1：为编码子代理训练的 12B 开源模型，Ollama 两行命令跑起来https://guijiagi.com/posts/2026-10-10-06-jetbrains-mellum21-coding-agent-model/Sat, 10 Oct 2026 11:30:00 +0800https://guijiagi.com/posts/2026-10-10-06-jetbrains-mellum21-coding-agent-model/Mellum 2.1 十月八日发布，12B 参数，Apache 2.0，专为路由、问答和子代理场景设计，用强化学习在真实编码环境中训练。Saluki 27B：8GB 显存跑 2-bit 量化 Qwen3.8-27B，工具调用反超原版？https://guijiagi.com/posts/2026-10-10-04-saluki-27b-2bit-gguf-local-tool-calling/Sat, 10 Oct 2026 11:18:00 +0800https://guijiagi.com/posts/2026-10-10-04-saluki-27b-2bit-gguf-local-tool-calling/Conway Research 发布 Saluki 27B，2-bit GGUF 仅 7.89GB，Apache 2.0 协议，在工具调用基准上居然超过原版 Qwen3.8-27B。P/D 分离之后：vLLM 与 TileRT 把 decode 侧做成可插拔引擎https://guijiagi.com/posts/2026-10-09-12-tilert-pluggable-decode/Fri, 09 Oct 2026 16:06:00 +0800https://guijiagi.com/posts/2026-10-09-12-tilert-pluggable-decode/一旦 prefill 与 decode 分开，decode 侧就变成可替换模块。vLLM x TileRT 示范了延迟敏感场景下的专用 decode 设计。FP8 KV Cache：用精度换 HBM 容量，这笔账怎么算https://guijiagi.com/posts/2026-10-09-11-fp8-kv-cache-capacity/Fri, 09 Oct 2026 16:00:00 +0800https://guijiagi.com/posts/2026-10-09-11-fp8-kv-cache-capacity/vLLM V1 已支持 FP8 KV Cache。把 KV 从 BF16 压到 FP8，显存占用直接减半，但要付出精度代价。本文给换算公式与取舍建议。Qwen3.5 在 Blackwell 上跑到 25K TPS/GPU：混合架构的服务化难题https://guijiagi.com/posts/2026-10-09-10-qwen35-gdn-25k-tps/Fri, 09 Oct 2026 15:54:00 +0800https://guijiagi.com/posts/2026-10-09-10-qwen35-gdn-25k-tps/Qwen3.5 混合全注意力与 Gated Delta Network 层，vLLM 在 Blackwell 上单 GPU 冲到 25K TPS。难点在异构状态的跨 worker 传输。llm-d：让路由层「认识」KV 缓存，prefix 命中不再靠运气https://guijiagi.com/posts/2026-10-09-09-llmd-prefix-aware-routing/Fri, 09 Oct 2026 15:48:00 +0800https://guijiagi.com/posts/2026-10-09-09-llmd-prefix-aware-routing/llm-d 读取 vLLM 的 KV-cache 事件做 prefix-aware 路由，并用全局索引与 CPU、SSD 分层卸载管理分布式 KV 缓存。vLLM 的 Prefill 与 Decode 分离：把首 token 延迟与 token 间延迟分治https://guijiagi.com/posts/2026-10-09-08-vllm-pd-disaggregation/Fri, 09 Oct 2026 15:42:00 +0800https://guijiagi.com/posts/2026-10-09-08-vllm-pd-disaggregation/vLLM 把计算密集的 prefill 与带宽密集的 decode 拆到不同实例，分别调优 TTFT 与 ITL。本文讲清什么时候该拆、拆了怎么调度。imatrix 量化实战：为什么你的 GGUF 小模型总是差点意思https://guijiagi.com/posts/2026-10-09-16-imatrix-gguf-quant/Fri, 09 Oct 2026 12:30:00 +0800https://guijiagi.com/posts/2026-10-09-16-imatrix-gguf-quant/同样是 4bit，带 importance matrix 的量化明显更稳。本文记录 imatrix 数据采集、量化与质量回测的完整流程。Portkey 网关多供应商兜底：一个 API 地址背后挂三家模型https://guijiagi.com/posts/2026-10-09-15-portkey-gateway-fallback/Fri, 09 Oct 2026 12:24:00 +0800https://guijiagi.com/posts/2026-10-09-15-portkey-gateway-fallback/单家模型挂了或涨价怎么办。本文用 Portkey 在前面加一层网关，挂多家供应商，自动 fallback 与重试，上层代码零改动。把 LLM 评测写进 pytest：DeepEval 让每次改提示词都有据可查https://guijiagi.com/posts/2026-10-09-14-deepeval-pytest-ci/Fri, 09 Oct 2026 12:18:00 +0800https://guijiagi.com/posts/2026-10-09-14-deepeval-pytest-ci/提示词一改就翻车，是因为没有回归集。本文用 DeepEval 把评测做成 pytest 用例，接进 CI，每次改动自动跑黄金集。HuggingFace TGI 上线新模型怎么做金丝雀：滚动更新不中断服务https://guijiagi.com/posts/2026-10-09-13-tgi-canary-rolling/Fri, 09 Oct 2026 12:12:00 +0800https://guijiagi.com/posts/2026-10-09-13-tgi-canary-rolling/换模型最怕全量重启引发雪崩。本文用 HuggingFace TGI 加一层轻量网关，实现新模型金丝雀发布与滚动回滚。ExLlamaV2 配 TabbyAPI 多卡跑长上下文：比你想的省显存https://guijiagi.com/posts/2026-10-09-12-exl2-tabbyapi-multigpu/Fri, 09 Oct 2026 12:06:00 +0800https://guijiagi.com/posts/2026-10-09-12-exl2-tabbyapi-multigpu/高并发推理框架之外，ExLlamaV2 配 TabbyAPI 是本地多卡跑长上下文的另一套选择。本文记录其启动参数、显存占用与分工。TensorRT-LLM 在 Blackwell 上 build engine：别再照搬常用框架的启动参数https://guijiagi.com/posts/2026-10-09-11-tensorrtllm-blackwell-build/Fri, 09 Oct 2026 12:00:00 +0800https://guijiagi.com/posts/2026-10-09-11-tensorrtllm-blackwell-build/GB300 的 $0.123 单价背后是 TensorRT-LLM 编译出的 engine。本文记录在 Blackwell 上 build engine 的流程、关键参数与常见编译错误。MoE 推理的隐形瓶颈：专家加载与 WideEP 为什么要把专家摊到更多卡上https://guijiagi.com/posts/2026-10-08-12-moe-wideep-expert-parallel/Thu, 08 Oct 2026 16:06:00 +0800https://guijiagi.com/posts/2026-10-08-12-moe-wideep-expert-parallel/MoE 模型 decode 阶段被专家权重加载时间卡住。NVIDIA 的 WideEP 把专家跨 NVL72 节点分片，是 2026 年 MoE 部署的关键工程。NVIDIA Dynamo：分离式推理为什么到 2026 才在机架级落地https://guijiagi.com/posts/2026-10-08-11-nvidia-dynamo-disaggregation/Thu, 08 Oct 2026 16:00:00 +0800https://guijiagi.com/posts/2026-10-08-11-nvidia-dynamo-disaggregation/Dynamo 1.0 四月发布、六月迭代到 v1.2，把 prefill 与 decode 拆到不同资源池。本文解释这个早就被讨论的概念为什么今年才真正可用。KV Cache 的 2026 生存指南：量化、分层与驱逐怎么组合用https://guijiagi.com/posts/2026-10-08-10-kv-cache-compression-2026/Thu, 08 Oct 2026 15:54:00 +0800https://guijiagi.com/posts/2026-10-08-10-kv-cache-compression-2026/长上下文与 Agent 并发把 KV cache 推成推理成本第二大项。本文梳理 2026 年可用的 KV 压缩组合拳，不重复 FlashAttention 旧账。从 GPTQ/AWQ 到 NVFP4：2026 年为什么量化重新变成硬件原生https://guijiagi.com/posts/2026-10-08-09-nvfp4-quantization-blackwell/Thu, 08 Oct 2026 15:48:00 +0800https://guijiagi.com/posts/2026-10-08-09-nvfp4-quantization-blackwell/Blackwell 之后，FP4 从后训练量化技巧变成硬件原生格式。本文梳理 NVFP4、MXFP4 与 DeepGEMM 这条新量化路线。SGLang 的 RadixAttention：Agent 时代为什么前缀缓存是头等大事https://guijiagi.com/posts/2026-10-08-08-sglang-radix-prefix-cache/Thu, 08 Oct 2026 15:42:00 +0800https://guijiagi.com/posts/2026-10-08-08-sglang-radix-prefix-cache/SGLang 用基数树做 KV 前缀缓存，并在 DeepSeek-V4、Qwen3.8 上做到 day-0 支持。本文拆解这套机制为什么对多轮 Agent 至关重要。一条命令把视频转成带时间轴的字幕：yt-dlp 加 faster-whisper 流水线https://guijiagi.com/posts/2026-10-08-whisper-subtitle-pipeline/Thu, 08 Oct 2026 12:54:00 +0800https://guijiagi.com/posts/2026-10-08-whisper-subtitle-pipeline/想要一批视频的文字稿，不用手工听写。yt-dlp 下载、faster-whisper 转写，串起来就是一条本地可复现的字幕流水线。提示词也能回归测试：用 promptfoo 把提示词改动纳入 CIhttps://guijiagi.com/posts/2026-10-08-promptfoo-prompt-regression/Thu, 08 Oct 2026 12:30:00 +0800https://guijiagi.com/posts/2026-10-08-promptfoo-prompt-regression/改一行提示词，回答质量可能悄悄崩。promptfoo 把提示词评测做成可重复跑的命令，让你像测代码一样测提示词。给团队搭一个私有聊天入口：Open WebUI 接本地与云端模型https://guijiagi.com/posts/2026-10-08-openwebui-local-team-chat/Thu, 08 Oct 2026 12:24:00 +0800https://guijiagi.com/posts/2026-10-08-openwebui-local-team-chat/成员各自装 ChatGPT、各自充会员，是最乱的用法。Open WebUI 一个网页，背后同时接本地模型和云端 API，团队共用。用 LiteLLM 把十几家大模型收进一个网关：统一 key、限流与记账https://guijiagi.com/posts/2026-10-08-litellm-gateway-proxy/Thu, 08 Oct 2026 12:00:00 +0800https://guijiagi.com/posts/2026-10-08-litellm-gateway-proxy/团队同时接 OpenAI、DeepSeek、智谱、本地模型时，各自适配是噩梦。LiteLLM 用一套 OpenAI 协议把它们统一成一个入口。给你的 Agent 装个黑匣子：Langfuse 调用追踪实战https://guijiagi.com/posts/2026-10-08-langfuse-agent-tracing/Thu, 08 Oct 2026 11:54:00 +0800https://guijiagi.com/posts/2026-10-08-langfuse-agent-tracing/Agent 出了错，最难的是复现「它当时看到了什么、调了哪个工具」。Langfuse 这类开源观测工具能把每一步轨迹完整录下来。给 GitHub 仓库接一个 AI Code Review 机器人：Actions 实战配置https://guijiagi.com/posts/2026-10-08-ai-code-review-github-actions/Thu, 08 Oct 2026 11:06:00 +0800https://guijiagi.com/posts/2026-10-08-ai-code-review-github-actions/用 GitHub Actions 加一个 PR 自动评审工作流，调大模型 API 对 diff 逐条点评。本文给出可直接复制的 yml 与提示词要点。