技术/工具 on AI 实战派 · 从技术到赚钱https://guijiagi.com/tags/%E6%8A%80%E6%9C%AF/%E5%B7%A5%E5%85%B7/Recent content in 技术/工具 on AI 实战派 · 从技术到赚钱Hugozh-cn本站内容采用 CC BY-NC-SA 4.0 国际许可协议授权Sat, 10 Oct 2026 16:42:00 +0800prefill 不等所有注意力副本就绪：CascadeEP 给 MoE 拆了哪三道门https://guijiagi.com/posts/2026-10-10-18-cascadep-async-moe-prefill/Sat, 10 Oct 2026 16:42:00 +0800https://guijiagi.com/posts/2026-10-10-18-cascadep-async-moe-prefill/CascadeEP 用异步专家并行、streamFFN 批处理、机会式权重拉取三招，治 MoE prefill 阶段注意力副本之间的长尾失衡。让决策模型吃 100 局豆人：JEVMAN 把「快」和「对」放同一个记分板https://guijiagi.com/posts/2026-10-10-16-jevman-pacman-decision-benchmark/Sat, 10 Oct 2026 16:30:00 +0800https://guijiagi.com/posts/2026-10-10-16-jevman-pacman-decision-benchmark/Opper 十月九日发布 JEVMAN，让 Jev、Clef、GPT-6 Luna 等决策模型各玩 100 局吃豆人，按均分、延迟、成本排名，2 秒超时回退规则。PrivateUse1 这步棋：Spyre 怎么从「外挂后端」变成 PyTorch 一等设备https://guijiagi.com/posts/2026-10-10-12-pytorch-spyre-native-device/Sat, 10 Oct 2026 16:06:00 +0800https://guijiagi.com/posts/2026-10-10-12-pytorch-spyre-native-device/十月六日 PyTorch 官方博客详解 torch-spyre，用 PrivateUse1 给 Spyre 真实设备身份，让张量常驻、流、编译器抽象全部原生对接。把每个推理请求挂进实时拍卖：Architect Liquid Inference 想做 LLM 的交易所https://guijiagi.com/posts/2026-10-10-07-architect-liquid-inference-auction/Sat, 10 Oct 2026 15:36:00 +0800https://guijiagi.com/posts/2026-10-10-07-architect-liquid-inference-auction/十月七日发布的 Liquid Inference 是个对每个请求跑现场拍卖的 LLM 路由，供应商实时竞价，买方按满足约束的最低出价成交。0.6B 查、9B 索：Perplexity 把多模态检索拆成两把不对称的刀https://guijiagi.com/posts/2026-10-10-03-pplx-embed-v2-late-colbert/Sat, 10 Oct 2026 15:12:00 +0800https://guijiagi.com/posts/2026-10-10-03-pplx-embed-v2-late-colbert/pplx-embed-v2-late 用 0.6B 边缘模型跑查询、9B 模型建索引，做免 OCR 的 PDF 页图检索，MADQA 拿到 92.4。llm-openai-decisions 插件：用命令行调用 OpenAI 的 Jev 式决策 APIhttps://guijiagi.com/posts/2026-10-10-16-llm-openai-decisions-plugin-jev/Sat, 10 Oct 2026 12:30:00 +0800https://guijiagi.com/posts/2026-10-10-16-llm-openai-decisions-plugin-jev/Simon Willison 用 GPT-6 Astra 读文档自动写了 llm-openai-decisions 插件，让终端用户直接调用 OpenAI 的 Decisions API。vLLM CPU 推理 ZenDNN 后端：AMD EPYC 上跑大模型，性能到底提升了多少？https://guijiagi.com/posts/2026-10-10-15-vllm-cpu-zendnn-amd-epyc/Sat, 10 Oct 2026 12:24:00 +0800https://guijiagi.com/posts/2026-10-10-15-vllm-cpu-zendnn-amd-epyc/红帽 AI 3.4 引入 vLLM-CPU 的 ZenDNN 后端，为 AMD EPYC 处理器提供优化内核，让 CPU 推理性能逼近入门级 GPU。Red Hat AI Inference 3.5：不用 GPU 也能跑 LLM，Podman 一条命令起服务https://guijiagi.com/posts/2026-10-10-12-redhat-ai-inference-35-cpu-deploy/Sat, 10 Oct 2026 12:06:00 +0800https://guijiagi.com/posts/2026-10-10-12-redhat-ai-inference-35-cpu-deploy/红帽十月六日发布完整教程，用容器在 x86 CPU 上部署大语言模型推理，配套 cpueval CLI 做自动化性能基准。llm 0.36 发布：Simon Willison 的命令行工具原生支持 GPT-6 Sol 和 Lunahttps://guijiagi.com/posts/2026-10-10-11-llm-036-cli-gpt6-sol-luna-single-turn/Sat, 10 Oct 2026 12:00:00 +0800https://guijiagi.com/posts/2026-10-10-11-llm-036-cli-gpt6-sol-luna-single-turn/llm 0.36 新增 gpt-6-sol 和 gpt-6-luna 模型 ID，插件可声明 supports_conversation=False 适配单轮模型。JetBrains Mellum 2.1：为编码子代理训练的 12B 开源模型，Ollama 两行命令跑起来https://guijiagi.com/posts/2026-10-10-06-jetbrains-mellum21-coding-agent-model/Sat, 10 Oct 2026 11:30:00 +0800https://guijiagi.com/posts/2026-10-10-06-jetbrains-mellum21-coding-agent-model/Mellum 2.1 十月八日发布，12B 参数，Apache 2.0，专为路由、问答和子代理场景设计，用强化学习在真实编码环境中训练。Saluki 27B：8GB 显存跑 2-bit 量化 Qwen3.8-27B，工具调用反超原版？https://guijiagi.com/posts/2026-10-10-04-saluki-27b-2bit-gguf-local-tool-calling/Sat, 10 Oct 2026 11:18:00 +0800https://guijiagi.com/posts/2026-10-10-04-saluki-27b-2bit-gguf-local-tool-calling/Conway Research 发布 Saluki 27B，2-bit GGUF 仅 7.89GB，Apache 2.0 协议，在工具调用基准上居然超过原版 Qwen3.8-27B。