https://guijiagi.com/categories/ai%E6%B5%8B%E8%AF%84/Recent content in AI测评 on AI 实战派 · 从技术到赚钱Hugozh-cn本站内容采用 CC BY-NC-SA 4.0 国际许可协议授权Fri, 04 Sep 2026 14:34:16 +0800https://guijiagi.com/posts/agent-evaluation-framework/Wed, 29 Jul 2026 10:00:00 +0800https://guijiagi.com/posts/agent-evaluation-framework/为什么Agent评估比LLM评估更难 LLM评估可以简化为"输入→输出→对比"，因为LLM是单轮的。但Agent是多步、多工具、有状态的，评估维度爆炸式增长：https://guijiagi.com/posts/crewai-vs-autogen-2026/Wed, 29 Jul 2026 10:00:00 +0800https://guijiagi.com/posts/crewai-vs-autogen-2026/多Agent协作是2025-2026年AI工程领域最热门的方向之一。当单个Agent的能力边界逐渐显现，"多个专精Agent分工协作"的范式开始被广泛采纳。在这一赛道上，CrewAI和AutoGen是两个最具代表性的开源框架。本文将从架构、开发体验、性能、生产就绪度等多个维度进行深度对比。https://guijiagi.com/posts/haystack-2-rag-framework/Wed, 29 Jul 2026 10:00:00 +0800https://guijiagi.com/posts/haystack-2-rag-framework/在RAG（检索增强生成）框架的赛道上，Haystack 2.0是一个容易被忽视但值得认真对待的选择。由deepset开发的Haystack没有LangChain那样的营销声量，但在生产环境的稳定性和架构设计上有着独特的优势。https://guijiagi.com/posts/llm-auto-evaluation-pipeline/Wed, 29 Jul 2026 10:00:00 +0800https://guijiagi.com/posts/llm-auto-evaluation-pipeline/LLM上线后并非一劳永逸——模型供应商的静默更新、prompt的迭代、工具接口的变化，都可能导致线上效果漂移。人工评测周期长、成本高、不可重复。自动化评测管线是保障线上质量的唯一可行路径。https://guijiagi.com/posts/human-evaluation-in-ai/Wed, 29 Jul 2026 10:00:00 +0800https://guijiagi.com/posts/human-evaluation-in-ai/大语言模型的能力边界正在以前所未有的速度扩展，但我们的评估手段是否跟上了？当GPT-4级别的模型在MMLU上得分超过90%的人类水平时，传统的基准测试正在失去区分度。2026年，AI社区面临一个核心问题：自动评估能否完全取代人工评估？https://guijiagi.com/posts/b1-979fd626/Thu, 16 Jul 2026 11:43:00 +0800https://guijiagi.com/posts/b1-979fd626/传统软件测试基于"输入→确定输出"的假设。但Agent的输出由LLM驱动，具有非确定性——同一输入可能产生不同输出。这要求我们重新思考测试方法论。https://guijiagi.com/posts/b1-f50aea03/Thu, 16 Jul 2026 11:39:00 +0800https://guijiagi.com/posts/b1-f50aea03/推理引擎：LLM服务的核心基础设施 模型只是"大脑"，推理引擎是"神经系统"——它决定了模型服务能多快、能并发多少请求、成本多低。选对推理引擎，单GPU的吞吐量差异可达5-10倍。https://guijiagi.com/posts/b1-fc9cb559/Thu, 16 Jul 2026 11:25:00 +0800https://guijiagi.com/posts/b1-fc9cb559/"我们的模型在XX基准上达到SOTA"——这句话在2026年越来越没有信息量。原因是：Benchmark污染严重、评测指标与真实能力脱节、静态基准跟不上模型进化速度。我们需要更可靠的评测方法论。https://guijiagi.com/posts/b1-b4f957a6/Thu, 16 Jul 2026 11:22:00 +0800https://guijiagi.com/posts/b1-b4f957a6/红队测试（Red Teaming）源自网络安全领域——模拟攻击者视角，系统化地发现系统漏洞。AI红队测试将这一方法应用于大模型：模拟恶意用户、边界case、对抗样本，全面测试模型的安全性和鲁棒性。https://guijiagi.com/posts/b1-07dc2328/Thu, 16 Jul 2026 11:15:00 +0800https://guijiagi.com/posts/b1-07dc2328/为什么需要Agent能力测评？ 大模型的benchmark（MMLU、HumanEval等）测的是"知不知道"，但Agent需要的是"会不会做"。一个MMLU分数90的模型，在Agent任务中可能表现很差——因为Agent需要规划、决策、工具使用、错误恢复等综合能力。https://guijiagi.com/posts/b1-4d8adb63/Thu, 16 Jul 2026 11:06:00 +0800https://guijiagi.com/posts/b1-4d8adb63/大模型本身只是一个文本生成引擎。要构建能自主完成复杂任务的智能体，需要解决编排、状态管理、工具调用、多Agent协作等问题。智能体框架就是提供这些能力的"操作系统"。https://guijiagi.com/posts/article-86/Mon, 13 Jul 2026 07:10:00 +0800https://guijiagi.com/posts/article-86/AI Agent开发在2026年已经形成了完整的工具链生态。从想法原型到生产部署，每个环节都有专门的工具支撑。但工具太多也是问题——选择困难、学习成本高、工具间集成复杂。本文将系统梳理这条工具链，帮你做出明智选择。https://guijiagi.com/posts/article-74/Mon, 13 Jul 2026 05:10:00 +0800https://guijiagi.com/posts/article-74/从零开始构建AI Agent评估管线 "没有度量就没有改进"——这句话对AI Agent尤其成立。一个没有评估管线的Agent项目，就像在没有仪表盘的飞机上飞行。本文是一份从零开始构建Agent评估管线的实操指南。https://guijiagi.com/posts/article-34/Sun, 12 Jul 2026 22:30:00 +0800https://guijiagi.com/posts/article-34/AI生成代码的质量评估是一个看似简单实则复杂的问题。"代码能跑"只是最低标准，真正的质量评估需要从功能正确性、安全性、可读性、可维护性等多个维度进行。https://guijiagi.com/posts/article-24/Sun, 12 Jul 2026 20:50:00 +0800https://guijiagi.com/posts/article-24/向量数据库：RAG时代的基础设施 向量数据库是RAG系统的核心组件。选择合适的向量数据库直接影响检索性能、扩展性和运维成本。 2026年，向量数据库赛道已经从"百花齐放"走向"头部集中"。Milvus、Qdrant和Weaviate是三个最主流的开源选择，各自有不同的设计哲学和适用场景。https://guijiagi.com/posts/article-13/Sun, 12 Jul 2026 19:00:00 +0800https://guijiagi.com/posts/article-13/单个AI Agent的能力是有限的——一个Agent很难同时擅长写代码、查资料、做数据分析。多Agent协作（Multi-Agent Collaboration）通过将复杂任务分解给专门化的多个Agent，让"团队"完成单个Agent无法完成的任务。https://guijiagi.com/posts/article-11/Sun, 12 Jul 2026 18:40:00 +0800https://guijiagi.com/posts/article-11/AI编程助手已经从"有趣的新工具"变成了开发者的"必需品"。但选择哪个工具仍然是个让很多团队头疼的问题。我们在一个真实的全栈项目中，用三个月时间深度使用了三款主流AI编程助手，以下是我们的对比发现。https://guijiagi.com/posts/article-07/Sun, 12 Jul 2026 18:00:00 +0800https://guijiagi.com/posts/article-07/Agent可靠性：被忽视的关键维度 2026年的AI社区仍然充斥着各种"Agent能力突破"的新闻，但很少有人认真讨论Agent的可靠性。一个能在90%情况下完美完成任务的Agent，和一个能在99.9%情况下可靠完成任务的Agent，在工业应用中是截然不同的产品。https://guijiagi.com/posts/codex-vs-copilot-2026/Wed, 08 Jul 2026 12:30:00 +0800https://guijiagi.com/posts/codex-vs-copilot-2026/OpenAI Codex CLI与GitHub Copilot 2026年深度对比：功能、成本、场景适用性与选型建议https://guijiagi.com/posts/vector-db-benchmark-2026/Thu, 02 Jul 2026 11:39:00 +0800https://guijiagi.com/posts/vector-db-benchmark-2026/向量数据库是RAG系统的核心基础设施。2026年，随着嵌入维度的增加（从768维到3072维）和数据规模的扩大（从百万到十亿级），向量数据库的性能变得至关重要。本文将全面对比主流向量数据库。https://guijiagi.com/posts/ai-gateway-comparison-2026/Thu, 02 Jul 2026 11:38:00 +0800https://guijiagi.com/posts/ai-gateway-comparison-2026/随着AI应用使用的模型和供应商越来越多，统一管理这些AI服务成为一个迫切需求。AI网关应运而生，它就像API网关一样，为所有AI服务提供统一的入口、路由、负载均衡和监控。本文将对比2026年主流的AI网关方案。https://guijiagi.com/posts/llm-serving-framework-2026/Thu, 02 Jul 2026 11:37:00 +0800https://guijiagi.com/posts/llm-serving-framework-2026/LLM服务框架决定了模型的推理速度、资源利用率和最终的服务成本。2026年，vLLM、TGI、TensorRT-LLM等框架在性能上你追我赶。本文将通过系统化测试，帮你选择最佳的LLM服务框架。https://guijiagi.com/posts/rag-framework-comparison-2026/Thu, 02 Jul 2026 11:36:00 +0800https://guijiagi.com/posts/rag-framework-comparison-2026/RAG（检索增强生成）是企业LLM应用最核心的技术。2026年，RAG框架已经从简单的"检索+生成"发展为包含查询重写、混合检索、重排序、上下文管理等完整技术链的复杂系统。本文将全面对比主流RAG框架。https://guijiagi.com/posts/agent-framework-benchmark-2026/Thu, 02 Jul 2026 11:35:00 +0800https://guijiagi.com/posts/agent-framework-benchmark-2026/Agent框架是构建AI智能体的基础设施。2026年，LangGraph、AutoGen、CrewAI、Semantic Kernel等框架百花齐放，各有特色。本文将通过系统化的基准测试，帮助你选择最适合的Agent框架。https://guijiagi.com/posts/evaluation-data-curation/Thu, 02 Jul 2026 11:24:00 +0800https://guijiagi.com/posts/evaluation-data-curation/评估数据的质量直接决定了评估结果的可信度。"垃圾进，垃圾出"在LLM评估中同样适用。一个有偏见的评估数据集可能让你做出错误的模型选择。2026年，评估数据策划已经成为一门专门的学问。本文将系统介绍评估数据策划的方法论。https://guijiagi.com/posts/ai-performance-monitoring/Thu, 02 Jul 2026 11:23:00 +0800https://guijiagi.com/posts/ai-performance-monitoring/AI应用的监控比传统软件复杂得多。除了常规的系统指标（CPU、内存、延迟），还需要监控AI特有的指标（输出质量、幻觉率、安全事件）。2026年，AI性能监控已经发展成为一个专门的领域。本文将系统介绍AI性能监控体系的构建。https://guijiagi.com/posts/model-card-2026-template/Thu, 02 Jul 2026 11:22:00 +0800https://guijiagi.com/posts/model-card-2026-template/模型卡（Model Card）是AI透明度的核心工具。它像食品的营养标签一样，让用户清楚地了解AI模型的能力、局限和风险。2026年，随着AI法规的完善，模型卡已经成为AI系统的必备文档。本文将介绍2026年模型卡的最佳实践和模板。https://guijiagi.com/posts/ai-quality-assurance-2026/Thu, 02 Jul 2026 11:21:00 +0800https://guijiagi.com/posts/ai-quality-assurance-2026/AI应用的质量保证（QA）远比传统软件复杂。传统软件QA关注"功能是否正常"，而AI应用QA还需要关注"输出是否准确"、"行为是否安全"、"体验是否良好"等多个维度。2026年，AI质量保证已经发展成为一个完整的学科。本文将系统介绍AI质量保证体系。https://guijiagi.com/posts/llm-regression-testing/Thu, 02 Jul 2026 11:20:00 +0800https://guijiagi.com/posts/llm-regression-testing/LLM应用的一个独特挑战是：即使代码没变，模型提供商更新模型版本也可能导致输出变化。同样，提示的微小修改可能在某些场景下引入退化。2026年，LLM回归测试已经成为AI应用的标配。本文将系统介绍回归测试策略。https://guijiagi.com/posts/a-b-testing-ai-system/Thu, 02 Jul 2026 11:19:00 +0800https://guijiagi.com/posts/a-b-testing-ai-system/A/B测试是验证AI系统效果最可靠的方法。与其依赖基准分数，不如在真实用户中进行对照实验。2026年，A/B测试已经成为AI产品迭代的标配流程。本文将系统介绍AI系统A/B测试的实践方法。https://guijiagi.com/posts/automated-testing-llm-2026/Thu, 02 Jul 2026 11:18:00 +0800https://guijiagi.com/posts/automated-testing-llm-2026/LLM应用的测试与传统软件测试截然不同：输入空间无限大、输出不确定、质量主观。2026年，LLM自动化测试已经形成了一套完整的方法论和工具链。本文将系统介绍如何构建LLM自动化测试体系。https://guijiagi.com/posts/human-evaluation-llm-guide/Thu, 02 Jul 2026 11:17:00 +0800https://guijiagi.com/posts/human-evaluation-llm-guide/尽管自动评估和LLM-as-Judge在2026年已经非常成熟，但人工评估仍然是LLM评估的"黄金标准"。特别是对于创意写作、对话质量、文化敏感性等主观维度，人工评估不可替代。本文将系统介绍LLM人工评估的方法论。https://guijiagi.com/posts/agent-benchmark-design-2026/Thu, 02 Jul 2026 11:16:00 +0800https://guijiagi.com/posts/agent-benchmark-design-2026/Agent（智能体）的评估比传统LLM评估复杂得多。Agent不仅需要理解语言，还需要规划任务、调用工具、处理异常、与环境交互。传统的"输入-输出"评估模式无法捕捉Agent的多步骤、动态特性。本文将系统介绍2026年Agent评估基准的设计方法。https://guijiagi.com/posts/llm-evaluation-framework-2026/Thu, 02 Jul 2026 11:15:00 +0800https://guijiagi.com/posts/llm-evaluation-framework-2026/"我的模型到底好不好？"这是每个AI应用开发者都会面临的问题。基准测试分数高不等于实际效果好，通用基准可能不反映你的特定任务。2026年，LLM评估已经从简单的"看分数"进化到系统化的评估框架。本文将全面解析2026年的LLM评估方法。https://guijiagi.com/posts/ai-coding-assistant-comparison-2026/Tue, 30 Jun 2026 17:00:00 +0800https://guijiagi.com/posts/ai-coding-assistant-comparison-2026/2026年主流AI编程工具深度横评：Cursor、GitHub Copilot、Claude Code、Codeium在代码生成、调试、重构等场景的能力对比https://guijiagi.com/posts/agent-evaluation-benchmarks-2026/Tue, 30 Jun 2026 16:10:00 +0800https://guijiagi.com/posts/agent-evaluation-benchmarks-2026/2026年主流Agent评测基准深度解析：GAIA、SWE-bench、AgentBench、WebArena等评测体系的能力维度与局限性https://guijiagi.com/posts/llm-evaluation-methodology/Tue, 30 Jun 2026 12:05:00 +0800https://guijiagi.com/posts/llm-evaluation-methodology/2026年，大模型评估已经成为一门独立的学科。随着模型能力的提升，传统的评估方法越来越难以区分模型间的细微差异。如何科学、全面、客观地评估一个大模型，是开发者和企业选型的关键前提。本文将系统介绍大模型评估的方法论，从基准选择到实际测试，提供一套可操作的评估框架。https://guijiagi.com/posts/chinese-llm-20-domain-test/Tue, 30 Jun 2026 11:15:00 +0800https://guijiagi.com/posts/chinese-llm-20-domain-test/中文大模型的能力评估远不止MMLU和C-Eval等标准化测试。真正的中文能力体现在对专业领域的深度理解、对中国文化语境的准确把握、以及对中文表达习惯的自然运用。本文设计了20个专业领域的深度测试，对2026年主流大模型进行全面的中文能力评估。https://guijiagi.com/posts/semantic-kernel-2026-microsoft-ai-orchestration/Tue, 30 Jun 2026 09:55:00 +0800https://guijiagi.com/posts/semantic-kernel-2026-microsoft-ai-orchestration/Semantic Kernel 2026：从实验到成熟 Semantic Kernel（SK）是微软的AI编排框架，经过三年的迭代，2026版本终于达到了企业级成熟度。https://guijiagi.com/posts/dify-2026-open-source-ai-platform-rise/Tue, 30 Jun 2026 09:50:00 +0800https://guijiagi.com/posts/dify-2026-open-source-ai-platform-rise/Dify 2026：从LLM应用到Agent平台 Dify在2026年完成了从"LLM应用开发平台"到"全栈AI Agent平台"的蜕变。凭借其低代码可视化界面和强大的后端引擎，Dify已成为开源AI应用开发领域下载量最高的平台之一。https://guijiagi.com/posts/autogen-2026-microsoft-multi-agent-framework-review/Tue, 30 Jun 2026 09:40:00 +0800https://guijiagi.com/posts/autogen-2026-microsoft-multi-agent-framework-review/AutoGen 2026：对话驱动的多Agent编排 微软的AutoGen是最早一批多Agent框架，以"对话即编排"的理念独树一帜。2026版本（v0.5+）经历了底层架构重写，在稳定性、可扩展性和生态集成方面有了质的飞跃。https://guijiagi.com/posts/rag-evaluation-framework-ragas/Tue, 30 Jun 2026 09:40:00 +0800https://guijiagi.com/posts/rag-evaluation-framework-ragas/大多数RAG系统在上线时面临一个尴尬的问题：你知道它在工作，但你不知道它工作得有多好。 没有系统化的评估框架，调参就像蒙眼开车——你不知道改chunk_size从512到1024到底是好了还是坏了。https://guijiagi.com/posts/ragas-evaluation-framework-guide/Tue, 30 Jun 2026 09:40:00 +0800https://guijiagi.com/posts/ragas-evaluation-framework-guide/2026年，RAG系统已在企业中大规模部署，但一个尴尬的现实是：超过60%的团队没有系统化的评估体系。他们靠"人工看看效果还行"来判断系统质量，这在生产环境中是远远不够的。https://guijiagi.com/posts/crewai-2026-production-deployment-experience/Tue, 30 Jun 2026 09:35:00 +0800https://guijiagi.com/posts/crewai-2026-production-deployment-experience/CrewAI 2026：从Demo到生产的跨越 CrewAI以其直观的"角色-任务-流程"（Role-Task-Process）三元组模型，成为搭建多Agent协作系统最快速的框架。2026版本在生产可靠性方面做了大量改进，使其不再只是Demo级别的玩具。https://guijiagi.com/posts/autogen-2026-microsoft-multi-agent-review/Tue, 30 Jun 2026 09:30:00 +0800https://guijiagi.com/posts/autogen-2026-microsoft-multi-agent-review/全面评测微软AutoGen 2026版本的多Agent对话能力、GroupChat机制、代码执行环境及与Azure生态的深度集成https://guijiagi.com/posts/crewai-2026-production-deployment/Tue, 30 Jun 2026 09:30:00 +0800https://guijiagi.com/posts/crewai-2026-production-deployment/基于6个月生产环境实践，深度解析CrewAI 2026的多Agent协作模式、角色编排策略及生产部署经验https://guijiagi.com/posts/dify-2026-open-source-ai-platform/Tue, 30 Jun 2026 09:30:00 +0800https://guijiagi.com/posts/dify-2026-open-source-ai-platform/深度解析Dify 2026版本的工作流引擎、RAG管道、模型管理及企业级部署方案，揭示其成为开源AI平台首选的原因https://guijiagi.com/posts/langgraph-2026-graph-agent-workflow-best-practices/Tue, 30 Jun 2026 09:30:00 +0800https://guijiagi.com/posts/langgraph-2026-graph-agent-workflow-best-practices/深入解析LangGraph 2026版本的图式Agent工作流引擎，从状态管理到条件路由的完整实践指南https://guijiagi.com/posts/langgraph-2026-graph-agent-workflow/Tue, 30 Jun 2026 09:30:00 +0800https://guijiagi.com/posts/langgraph-2026-graph-agent-workflow/深入解析LangGraph 2026版本的图式Agent工作流架构，涵盖状态管理、条件路由、并行执行等核心特性与生产级最佳实践https://guijiagi.com/posts/llamaindex-2026-rag-to-agent-platform/Tue, 30 Jun 2026 09:30:00 +0800https://guijiagi.com/posts/llamaindex-2026-rag-to-agent-platform/解析LlamaIndex 2026如何从RAG框架演进为Agent平台，涵盖AgentWorkflow、数据代理、多模态RAG等核心特性https://guijiagi.com/posts/semantic-kernel-2026-enterprise-ai-orchestration/Tue, 30 Jun 2026 09:30:00 +0800https://guijiagi.com/posts/semantic-kernel-2026-enterprise-ai-orchestration/回顾Semantic Kernel从实验性项目到企业级AI编排框架的演进，分析其核心抽象、插件系统和与Azure生态的深度集成https://guijiagi.com/posts/ai-translation-2026-comparison/Sun, 28 Jun 2026 12:10:00 +0800https://guijiagi.com/posts/ai-translation-2026-comparison/2026年AI翻译工具深度对比，涵盖DeepL、Google Translate与LLM在专业翻译场景的表现https://guijiagi.com/posts/ai-data-analysis-platforms-comparison/Sun, 28 Jun 2026 12:04:00 +0800https://guijiagi.com/posts/ai-data-analysis-platforms-comparison/2026年AI数据分析平台全面对比，涵盖ChatGPT ADA、Julius AI、Tableau AI等专业工具https://guijiagi.com/posts/ai-writing-assistants-2026-comparison/Sun, 28 Jun 2026 12:03:00 +0800https://guijiagi.com/posts/ai-writing-assistants-2026-comparison/2026年，AI写作助手已经成为知识工作者的标配工具。从语法纠错到长文创作，从风格优化到多语言翻译，AI写作工具的能力边界不断扩展。本文将对Grammarly、Notion AI和Claude三款代表性写作助手进行深度对比，帮助读者根据自身需求做出选择。https://guijiagi.com/posts/ai-search-engines-2026-comparison/Sun, 28 Jun 2026 12:02:00 +0800https://guijiagi.com/posts/ai-search-engines-2026-comparison/2026年，搜索引擎的格局已发生根本性变化。传统的"关键词匹配+蓝色链接"模式正在被AI驱动的"理解-检索-生成"范式取代。Perplexity作为AI原生搜索引擎的代表，Google以AI Overviews重塑搜索体验，Microsoft Bing Chat依托Copilot生态深度集成。https://guijiagi.com/posts/agent-performance-benchmark-methodology-2026/Sun, 28 Jun 2026 11:25:00 +0800https://guijiagi.com/posts/agent-performance-benchmark-methodology-2026/"你的 Agent 快吗？"——这个问题无法简单回答。Agent 的性能不是单一数字，而是延迟、吞吐量、成本、质量的四维空间。2026年，随着 AgentBench、SWE-bench 等标准化评测框架成熟，我们终于有了科学的 Agent 性能基准测试方法论。https://guijiagi.com/posts/agentbuilder-china-platform-comparison/Sun, 28 Jun 2026 11:00:00 +0800https://guijiagi.com/posts/agentbuilder-china-platform-comparison/深度对比 2026 年国产 Agent 开发平台，涵盖百度 AppBuilder、阿里百炼、腾讯混元、字节扣子等主流平台https://guijiagi.com/posts/crewai-vs-autogen-vs-langgraph/Sun, 28 Jun 2026 11:00:00 +0800https://guijiagi.com/posts/crewai-vs-autogen-vs-langgraph/深度对比 2026 年三大主流多 Agent 框架 CrewAI、AutoGen、LangGraph 的架构设计、性能表现、开发体验与适用场景https://guijiagi.com/posts/lm-studio-2026-review/Sun, 28 Jun 2026 11:00:00 +0800https://guijiagi.com/posts/lm-studio-2026-review/深度评测 LM Studio 2026 版本，从模型管理、对话界面、API 服务到 RAG 构建的全面分析https://guijiagi.com/posts/mastra-typescript-agent-framework/Sun, 28 Jun 2026 11:00:00 +0800https://guijiagi.com/posts/mastra-typescript-agent-framework/深度评测 Mastra TypeScript Agent 框架，从类型安全 API、Workflow 引擎到 RAG 能力的全面分析https://guijiagi.com/posts/pydantic-ai-type-safe-agent/Sun, 28 Jun 2026 11:00:00 +0800https://guijiagi.com/posts/pydantic-ai-type-safe-agent/深度评测 Pydantic AI 框架，探索如何利用 Python 类型系统构建可靠、可维护的 Agent 应用https://guijiagi.com/posts/smolagents-hf-minimal-agent/Sun, 28 Jun 2026 11:00:00 +0800https://guijiagi.com/posts/smolagents-hf-minimal-agent/深入探索 HuggingFace smolagents 框架，以最少代码实现最强 Agent 能力，含 Code Agent 与 Tool Agent 实战https://guijiagi.com/posts/agent-ab-testing-platform/Sun, 28 Jun 2026 10:50:00 +0800https://guijiagi.com/posts/agent-ab-testing-platform/Agent 的非确定性使得"感觉更好"不能作为决策依据。一个 Prompt 的微调可能提升某类任务的表现，却悄悄损害了另一类。2026年，A/B 测试已成为 Agent 优化的科学方法——用数据说话，用统计检验做决策。https://guijiagi.com/posts/agent-evaluation-cicd-2026/Sun, 28 Jun 2026 10:15:00 +0800https://guijiagi.com/posts/agent-evaluation-cicd-2026/传统软件测试的基石是确定性：相同输入产生相同输出。LLM Agent 打破了这个前提，让 CI/CD 测试面临根本性挑战。2026年，随着 Agent 评估框架的成熟，一套可落地的 CI/CD 测试方法论终于成型。本文将带你构建完整的 Agent 测试金字塔。https://guijiagi.com/posts/rag-evaluation-framework-2026-ragas-custom-metrics/Sun, 28 Jun 2026 10:00:00 +0800https://guijiagi.com/posts/rag-evaluation-framework-2026-ragas-custom-metrics/RAG 系统的评估比单纯的 LLM 评估复杂得多，因为它涉及多个环节：检索质量、上下文相关性、生成质量、引用准确性。一个环节的优化可能影响另一个环节。2026 年的 RAG 评估已经形成了系统化的方法论。https://guijiagi.com/posts/llm-evaluation-pipeline-benchmark-to-custom/Sun, 28 Jun 2026 10:00:00 +0800https://guijiagi.com/posts/llm-evaluation-pipeline-benchmark-to-custom/系统讲解大模型评估流水线的搭建方法，涵盖主流 Benchmark 集成、自定义评测设计和自动化 CI/CDhttps://guijiagi.com/posts/agent-tool-calling-eval/Sat, 27 Jun 2026 15:00:00 +0800https://guijiagi.com/posts/agent-tool-calling-eval/Agent工具调用准确率测评是AI智能体领域中Agent工具调用准确率测评的重要主题。本文将从多个角度深入分析这一话题，为读者提供系统性的认知框架和实践参考。https://guijiagi.com/posts/agent-tool-calling-accuracy-eval/Sat, 27 Jun 2026 15:00:00 +0800https://guijiagi.com/posts/agent-tool-calling-accuracy-eval/工具调用：Agent的核心能力 AI Agent与普通聊天机器人的本质区别在于：Agent能调用外部工具完成任务。无论是查询数据库、发送邮件还是操作API，工具调用的准确性直接决定了Agent的实用价值。https://guijiagi.com/posts/agent-capability-dimensions/Sat, 27 Jun 2026 15:00:00 +0800https://guijiagi.com/posts/agent-capability-dimensions/Agent能力评估维度体系是AI智能体领域中Agent能力评估维度体系的重要主题。本文将从多个角度深入分析这一话题，为读者提供系统性的认知框架和实践参考。https://guijiagi.com/posts/agent-memory-eval/Sat, 27 Jun 2026 15:00:00 +0800https://guijiagi.com/posts/agent-memory-eval/Agent长期记忆评估方案是AI智能体领域中Agent长期记忆评估方案的重要主题。本文将从多个角度深入分析这一话题，为读者提供系统性的认知框架和实践参考。https://guijiagi.com/posts/autogen-vs-crewai/Sat, 27 Jun 2026 15:00:00 +0800https://guijiagi.com/posts/autogen-vs-crewai/AutoGen vs CrewAI框架对比是AI智能体领域中AutoGen vs CrewAI框架对比的重要主题。本文将从多个角度深入分析这一话题，为读者提供系统性的认知框架和实践参考。https://guijiagi.com/posts/dify-vs-fastgpt/Sat, 27 Jun 2026 15:00:00 +0800https://guijiagi.com/posts/dify-vs-fastgpt/Dify vs FastGPT平台对比是AI智能体领域中Dify vs FastGPT平台对比的重要主题。本文将从多个角度深入分析这一话题，为读者提供系统性的认知框架和实践参考。https://guijiagi.com/posts/haystack-framework-review/Sat, 27 Jun 2026 15:00:00 +0800https://guijiagi.com/posts/haystack-framework-review/Haystack框架评测是AI智能体领域中Haystack框架评测的重要主题。本文将从多个角度深入分析这一话题，为读者提供系统性的认知框架和实践参考。https://guijiagi.com/posts/smolagents-hf-review/Sat, 27 Jun 2026 15:00:00 +0800https://guijiagi.com/posts/smolagents-hf-review/HuggingFace smolagents评测是AI智能体领域中HuggingFace smolagents评测的重要主题。本文将从多个角度深入分析这一话题，为读者提供系统性的认知框架和实践参考。https://guijiagi.com/posts/langchain-vs-llamaindex-2026/Sat, 27 Jun 2026 15:00:00 +0800https://guijiagi.com/posts/langchain-vs-llamaindex-2026/LangChain vs LlamaIndex 2026对比是AI智能体领域中LangChain vs LlamaIndex 2026对比的重要主题。本文将从多个角度深入分析这一话题，为读者提供系统性的认知框架和实践参考。https://guijiagi.com/posts/langgraph-agent-workflow/Sat, 27 Jun 2026 15:00:00 +0800https://guijiagi.com/posts/langgraph-agent-workflow/LangGraph Agent工作流评测是AI智能体领域中LangGraph Agent工作流评测的重要主题。本文将从多个角度深入分析这一话题，为读者提供系统性的认知框架和实践参考。https://guijiagi.com/posts/llm-code-gen-eval/Sat, 27 Jun 2026 15:00:00 +0800https://guijiagi.com/posts/llm-code-gen-eval/LLM代码生成能力评测是AI智能体领域中LLM代码生成能力评测的重要主题。本文将从多个角度深入分析这一话题，为读者提供系统性的认知框架和实践参考。https://guijiagi.com/posts/llm-code-generation-evaluation/Sat, 27 Jun 2026 15:00:00 +0800https://guijiagi.com/posts/llm-code-generation-evaluation/代码生成是大语言模型最具实用价值的能力之一。从早期的Copilot辅助补全，到如今能够独立完成完整项目的AI Agent，代码生成能力的评测方法也在不断进化。https://guijiagi.com/posts/llm-benchmark-credibility/Sat, 27 Jun 2026 15:00:00 +0800https://guijiagi.com/posts/llm-benchmark-credibility/LLM评测榜单可信度分析是AI智能体领域中LLM评测榜单可信度分析的重要主题。本文将从多个角度深入分析这一话题，为读者提供系统性的认知框架和实践参考。https://guijiagi.com/posts/pydantic-ai-framework/Sat, 27 Jun 2026 15:00:00 +0800https://guijiagi.com/posts/pydantic-ai-framework/Pydantic AI框架解析是AI智能体领域中Pydantic AI框架解析的重要主题。本文将从多个角度深入分析这一话题，为读者提供系统性的认知框架和实践参考。https://guijiagi.com/posts/rag-eval-metrics/Sat, 27 Jun 2026 15:00:00 +0800https://guijiagi.com/posts/rag-eval-metrics/RAG系统评估指标体系是AI智能体领域中RAG系统评估指标体系的重要主题。本文将从多个角度深入分析这一话题，为读者提供系统性的认知框架和实践参考。https://guijiagi.com/posts/semantic-kernel-eval/Sat, 27 Jun 2026 15:00:00 +0800https://guijiagi.com/posts/semantic-kernel-eval/Semantic Kernel框架评测是AI智能体领域中Semantic Kernel框架评测的重要主题。本文将从多个角度深入分析这一话题，为读者提供系统性的认知框架和实践参考。https://guijiagi.com/posts/vllm-vs-sglang-benchmark/Sat, 27 Jun 2026 15:00:00 +0800https://guijiagi.com/posts/vllm-vs-sglang-benchmark/vLLM vs SGLang性能基准是AI智能体领域中vLLM vs SGLang性能基准的重要主题。本文将从多个角度深入分析这一话题，为读者提供系统性的认知框架和实践参考。https://guijiagi.com/posts/llm-security-eval-framework/Sat, 27 Jun 2026 15:00:00 +0800https://guijiagi.com/posts/llm-security-eval-framework/大模型安全性测评框架是AI智能体领域中大模型安全性测评框架的重要主题。本文将从多个角度深入分析这一话题，为读者提供系统性的认知框架和实践参考。https://guijiagi.com/posts/llm-inference-speed-benchmark/Sat, 27 Jun 2026 15:00:00 +0800https://guijiagi.com/posts/llm-inference-speed-benchmark/大模型推理速度评测标准是AI智能体领域中大模型推理速度评测标准的重要主题。本文将从多个角度深入分析这一话题，为读者提供系统性的认知框架和实践参考。https://guijiagi.com/posts/multimodal-eval-methodology/Sat, 27 Jun 2026 15:00:00 +0800https://guijiagi.com/posts/multimodal-eval-methodology/多模态模型评测方法论是AI智能体领域中多模态模型评测方法论的重要主题。本文将从多个角度深入分析这一话题，为读者提供系统性的认知框架和实践参考。https://guijiagi.com/posts/agent-e2e-testing/Sat, 27 Jun 2026 15:00:00 +0800https://guijiagi.com/posts/agent-e2e-testing/智能体端到端测试方法是AI智能体领域中智能体端到端测试方法的重要主题。本文将从多个角度深入分析这一话题，为读者提供系统性的认知框架和实践参考。https://guijiagi.com/posts/agent-end-to-end-testing-method/Sat, 27 Jun 2026 15:00:00 +0800https://guijiagi.com/posts/agent-end-to-end-testing-method/传统的软件测试关注函数级别的输入输出验证，但AI Agent的本质是一个自主决策系统——它需要感知环境、规划步骤、调用工具并根据反馈调整行为。这意味着单元测试远远不够，我们必须在系统层面验证智能体的整体表现。https://guijiagi.com/posts/agent-multiturn-eval/Sat, 27 Jun 2026 15:00:00 +0800https://guijiagi.com/posts/agent-multiturn-eval/智能体多轮对话评估方法是AI智能体领域中智能体多轮对话评估方法的重要主题。本文将从多个角度深入分析这一话题，为读者提供系统性的认知框架和实践参考。https://guijiagi.com/posts/agent-performance-benchmark/Sat, 27 Jun 2026 15:00:00 +0800https://guijiagi.com/posts/agent-performance-benchmark/智能体性能基准测试方法是AI智能体领域中智能体性能基准测试方法的重要主题。本文将从多个角度深入分析这一话题，为读者提供系统性的认知框架和实践参考。https://guijiagi.com/posts/agent-benchmark-2026/Fri, 26 Jun 2026 14:00:00 +0800https://guijiagi.com/posts/agent-benchmark-2026/全面对比 2026 年主流 AI 智能体基准测试框架，分析评估维度差异，探讨智能体评测的方法论与未来方向https://guijiagi.com/posts/llm-judge-evaluation/Fri, 26 Jun 2026 14:00:00 +0800https://guijiagi.com/posts/llm-judge-evaluation/系统介绍 LLM-as-Judge 评估方法的原理、实现与最佳实践，涵盖评分维度设计、Prompt 构建与结果分析https://guijiagi.com/posts/agent-a-b-testing-framework/Fri, 26 Jun 2026 14:00:00 +0800https://guijiagi.com/posts/agent-a-b-testing-framework/系统介绍 AI 智能体 A/B 测试框架的设计思路、核心组件、统计方法与工程实现，帮助团队科学评估智能体迭代效果。https://guijiagi.com/posts/agent-testing-strategies/Fri, 26 Jun 2026 14:00:00 +0800https://guijiagi.com/posts/agent-testing-strategies/系统介绍 AI Agent 测试的方法论、框架与最佳实践，覆盖单元测试、集成测试、E2E 测试和评估驱动开发全流程。https://guijiagi.com/posts/agent-eval-dataset-construction/Fri, 26 Jun 2026 14:00:00 +0800https://guijiagi.com/posts/agent-eval-dataset-construction/如何为 AGI 智能体构建科学、可复现的评估数据集？从任务设计到标注规范，从偏差控制到动态更新，一份完整的方法论指南。https://guijiagi.com/posts/agent-replay-testing/Thu, 25 Jun 2026 12:00:00 +0800https://guijiagi.com/posts/agent-replay-testing/系统介绍 Agent 回放测试方法，涵盖录制回放机制、确定性验证、状态快照对比与回归测试自动化框架。https://guijiagi.com/posts/agent-benchmark-suite/Thu, 25 Jun 2026 12:00:00 +0800https://guijiagi.com/posts/agent-benchmark-suite/深入对比三大 Agent 基准测试套件：SWE-bench、WebArena 和 GAIA，覆盖设计理念、任务类型、评估方法与适用场景。https://guijiagi.com/posts/user-satisfaction-metrics/Thu, 25 Jun 2026 12:00:00 +0800https://guijiagi.com/posts/user-satisfaction-metrics/构建 AI 产品用户满意度指标体系，涵盖 CSAT、NPS、CES 的 AI 适配，以及 AI 特有的满意度维度如信任度、可控性和透明度。https://guijiagi.com/posts/a-b-testing-for-llm/Thu, 25 Jun 2026 12:00:00 +0800https://guijiagi.com/posts/a-b-testing-for-llm/系统介绍 LLM 产品的 A/B 测试方法，涵盖实验设计、样本量计算、统计显著性检验、业务指标选择与常见陷阱。https://guijiagi.com/posts/llm-creative-eval/Thu, 25 Jun 2026 12:00:00 +0800https://guijiagi.com/posts/llm-creative-eval/系统介绍 LLM 创意写作能力评估方法，涵盖人工评分体系、自动化创意指标、LLM-as-Judge 方法及多维创意评估框架。https://guijiagi.com/posts/hallucination-measurement/Thu, 25 Jun 2026 12:00:00 +0800https://guijiagi.com/posts/hallucination-measurement/系统介绍 LLM 幻觉（Hallucination）的测量与检测方法，涵盖幻觉分类、人工标注体系、自动检测算法与评估框架。https://guijiagi.com/posts/llm-eval-pipeline/Thu, 25 Jun 2026 12:00:00 +0800https://guijiagi.com/posts/llm-eval-pipeline/系统讲解 LLM 评估流水线的完整构建方法，涵盖数据集构建、评估指标选择、自动化执行、结果分析与可视化报告生成。https://guijiagi.com/posts/multimodal-eval-method/Thu, 25 Jun 2026 12:00:00 +0800https://guijiagi.com/posts/multimodal-eval-method/系统介绍多模态大模型评估方法，涵盖视觉理解、跨模态推理、图文一致性、OCR、视频理解等核心维度的评估框架与实现。https://guijiagi.com/posts/llm-benchmark-2026-comprehensive/Thu, 25 Jun 2026 10:00:00 +0800https://guijiagi.com/posts/llm-benchmark-2026-comprehensive/2026 年，大语言模型的能力已逼近甚至超越人类专家水平，但「如何衡量模型到底有多强」这个问题反而变得越来越棘手。MMLU 接近饱和、GPQA 区分度下降、SWE-Bench 被质疑数据泄漏——Benchmark 信任危机正在加剧。本文系统盘点主流 Benchmark 的现状、问题与新方向。https://guijiagi.com/posts/agent-eval-framework/Thu, 25 Jun 2026 10:00:00 +0800https://guijiagi.com/posts/agent-eval-framework/2026 年，AI Agent 已从简单的对话助手演进为能自主规划、调用工具、执行多步骤任务的复杂系统。但 Agent 的评估远比 LLM 困难——同一个任务可能有无数条正确路径，中间步骤的错误可能被后续步骤弥补，而「完成任务」的定义本身也充满模糊性。本文系统梳理 Agent 评估的方法论与框架。https://guijiagi.com/posts/autogen-studio-review/Thu, 25 Jun 2026 10:00:00 +0800https://guijiagi.com/posts/autogen-studio-review/AutoGen v0.4 带来了什么？对话式编程范式、GroupChat 多 Agent 协作、代码执行沙箱、Studio UI 可视化编排——本文全面拆解微软的 Agent 框架。https://guijiagi.com/posts/crewai-deep-review/Thu, 25 Jun 2026 10:00:00 +0800https://guijiagi.com/posts/crewai-deep-review/CrewAI 如何用角色扮演编排多 Agent 协作？顺序与层级流程孰优孰劣？与 AutoGen、LangGraph 相比有何差距？本文从架构到生产可用性全面拆解。https://guijiagi.com/posts/haystack-20-review/Thu, 25 Jun 2026 10:00:00 +0800https://guijiagi.com/posts/haystack-20-review/Haystack 2.0 相比 1.x 有哪些根本性变化？Pipeline 组件架构如何设计？与 LangChain 相比在企业 RAG 部署上有何优势？本文全面拆解。https://guijiagi.com/posts/langgraph-vs-langchain/Thu, 25 Jun 2026 10:00:00 +0800https://guijiagi.com/posts/langgraph-vs-langchain/LangChain 的痛点在哪？LangGraph 如何用图结构解决 Agent 编排问题？本文从状态管理、条件边、检查点到 Human-in-the-loop，全面对比两个框架并给出迁移建议。https://guijiagi.com/posts/llama-index-agent-review/Thu, 25 Jun 2026 10:00:00 +0800https://guijiagi.com/posts/llama-index-agent-review/LlamaIndex 不只是 RAG 框架。Data Agent、Agent Worker、Agent Runner 如何将检索增强生成进化为智能体？RAG+Agent 融合有哪些实战模式？https://guijiagi.com/posts/llm-safety-eval-guide/Thu, 25 Jun 2026 10:00:00 +0800https://guijiagi.com/posts/llm-safety-eval-guide/随着 LLM 部署规模扩大，安全评估不再是可选项。一个「能力强但不安全」的模型比一个「能力弱但安全」的模型危险得多。2026 年，安全评估已形成系统化的维度体系，涵盖毒性、偏见、越狱攻击、隐私泄露、对齐性等多个层面。本文提供完整的安全评估方法论。https://guijiagi.com/posts/human-eval-best-practices/Thu, 25 Jun 2026 10:00:00 +0800https://guijiagi.com/posts/human-eval-best-practices/在 LLM-as-Judge 和自动化评测大行其道的 2026 年，人工评估仍然是不可替代的黄金标准。原因有三： 1. 自动化评估的局限性：LLM-as-Judge 存在已知偏差（位置偏差、长度偏差、自我偏好），需要人工评估作为校准基准 2. 主观维度的不可替代性：有用性、创意性、语气适配等维度，人https://guijiagi.com/posts/llm-latency-benchmark/Thu, 25 Jun 2026 10:00:00 +0800https://guijiagi.com/posts/llm-latency-benchmark/模型能力决定了「能不能做」，推理性能决定了「能不能用」。一个 GPT-5 级别的模型如果每次回复需要 30 秒，在大多数实际场景中就不可用。2026 年，随着模型规模增长和上下文窗口扩展，推理性能优化已成为 LLM 工程的核心挑战。本文系统梳理推理性能的关键指标、测试方法论和主流模型对比。https://guijiagi.com/posts/llm-as-judge-guide/Thu, 25 Jun 2026 10:00:00 +0800https://guijiagi.com/posts/llm-as-judge-guide/LLM-as-Judge 方法论的全面指南：Judge 选择、偏差控制、校准与 Multi-Judgehttps://guijiagi.com/posts/openclaw-agent-review/Thu, 25 Jun 2026 10:00:00 +0800https://guijiagi.com/posts/openclaw-agent-review/OpenClaw 如何用 Skill 系统构建个人 AI Agent？多渠道集成、Memory/Heartbeat 记忆机制、Cron 定时调度——开源 Agent 框架的实战评测。https://guijiagi.com/posts/semantic-kernel-review/Thu, 25 Jun 2026 10:00:00 +0800https://guijiagi.com/posts/semantic-kernel-review/Semantic Kernel 如何用 Plugin 系统编排 AI 能力？Planner 自动编排、Memory 语义记忆、Connector 多模型接入——本文从企业集成视角评测微软的 AI 编排框架。https://guijiagi.com/posts/smolagents-review/Thu, 25 Jun 2026 10:00:00 +0800https://guijiagi.com/posts/smolagents-review/smolagents 如何用 Code Agent 范式重新定义轻量 Agent？Code Agent vs Tool Agent 有何本质区别？与 LangChain 相比在轻量场景下有何优势？https://guijiagi.com/posts/code-llm-eval/Thu, 25 Jun 2026 10:00:00 +0800https://guijiagi.com/posts/code-llm-eval/代码生成是 LLM 最成功的落地场景之一，但「能写代码」和「能解决工程问题」之间有巨大鸿沟。HumanEval 上的 90% 通过率并不意味着模型能胜任真实的软件工程工作。本文系统梳理 2026 年代码 LLM 评估从基础到工程级的完整体系。https://guijiagi.com/posts/multimodal-eval-2026/Thu, 25 Jun 2026 10:00:00 +0800https://guijiagi.com/posts/multimodal-eval-2026/2026 年的多模态模型已不再局限于「看图说话」。GPT-5、Gemini 2.5 Ultra、Claude 4 等模型能同时处理图像、音频、视频，并进行跨模态推理。https://guijiagi.com/posts/dspyp-review/Wed, 24 Jun 2026 16:00:00 +0800https://guijiagi.com/posts/dspyp-review/深入评测 DSPy 框架的 Signature/Module/Teleprompter 架构、自动 Prompt 优化能力及与 LangChain 的对比https://guijiagi.com/posts/instructor-review/Wed, 24 Jun 2026 16:00:00 +0800https://guijiagi.com/posts/instructor-review/评测 Instructor 框架的 Pydantic 模型定义、自动重试、流式结构化输出能力及与 Function Calling 的对比https://guijiagi.com/posts/guidance-review/Wed, 24 Jun 2026 16:00:00 +0800https://guijiagi.com/posts/guidance-review/评测 Microsoft Guidance 的模板语法、条件逻辑、循环控制及与传统 Prompt 工程的性能对比https://guijiagi.com/posts/outlines-review/Wed, 24 Jun 2026 16:00:00 +0800https://guijiagi.com/posts/outlines-review/深入评测 Outlines 框架的正则/JSON Schema/Pydantic 约束生成、CFG 原理及与 Function Calling 的对比https://guijiagi.com/posts/multimodal-eval-guide/Wed, 24 Jun 2026 16:00:00 +0800https://guijiagi.com/posts/multimodal-eval-guide/VLM 评估需同时考察视觉感知和语言推理两条链路。 | 能力 | 测试方法 | |------|---------| | 对象识别 | "图中有哪些物体" | | 属性识别 | 颜色、大小、材质 | | 空间关系 | 物体间位置关系 | | 细粒度识别 | 区分相似物体 | | OCR | 识别图中https://guijiagi.com/posts/agent-benchmark-methodology/Wed, 24 Jun 2026 14:00:00 +0800https://guijiagi.com/posts/agent-benchmark-methodology/Agent 基准测试与传统 LLM 评测的区别 传统 LLM 评测关注单轮输入输出质量——生成文本是否流畅、知识是否准确、推理是否正确。但 Agent 评测面临根本差异：Agent 需要在多轮交互中自主决策、调用工具、维护状态、处理错误。一次错误的工具调用可能让整个任务失败，即使后续推理完全正确。https://guijiagi.com/posts/agent-eval-comparison/Wed, 24 Jun 2026 14:00:00 +0800https://guijiagi.com/posts/agent-eval-comparison/横向对比 AgentBench、SWE-bench、tau-bench、WebArena 等主流 Agent 评估框架，分析评估维度、数据集规模与适用场景https://guijiagi.com/posts/autogen-multi-agent-review/Wed, 24 Jun 2026 14:00:00 +0800https://guijiagi.com/posts/autogen-multi-agent-review/AutoGen v0.4 新架构解析、多 Agent 对话模式、GroupChat、代码执行、与 LangGraph/CrewAI 横向对比https://guijiagi.com/posts/haystack-review/Wed, 24 Jun 2026 14:00:00 +0800https://guijiagi.com/posts/haystack-review/深度评测 deepset Haystack 框架，涵盖 Pipeline 架构、Node 体系、RAG 最佳实践及生产部署经验https://guijiagi.com/posts/llama-index-review/Wed, 24 Jun 2026 14:00:00 +0800https://guijiagi.com/posts/llama-index-review/深度评测 LlamaIndex 框架，涵盖核心架构、索引类型、查询引擎、Agent 模式及与 LangChain 的对比https://guijiagi.com/posts/eval-driven-development/Wed, 24 Jun 2026 14:00:00 +0800https://guijiagi.com/posts/eval-driven-development/评估驱动开发（EDD）将评估置于开发流程中心。传统开发是"先写功能，再测试"，EDD 反过来："先定义评估标准，再开发功能"。借鉴了 TDD，但有关键区别：TDD 关注代码正确性，EDD 关注产品效果。https://guijiagi.com/posts/human-eval-design/Wed, 24 Jun 2026 14:00:00 +0800https://guijiagi.com/posts/human-eval-design/自动化评估（LLM-as-Judge、程序化指标）发展迅速，但人工评测仍是金标准。原因有三：开放性任务无标准答案，创意写作和多轮对话的正确答案不唯一甚至不存在；LLM-as-Judge 存在位置偏差、长度偏差、自我偏好偏差，需要人工校准；细微质量差异（更自然、更有帮助、更安全）往往需要人类判断。https://guijiagi.com/posts/llm-leaderboard-analysis/Wed, 24 Jun 2026 14:00:00 +0800https://guijiagi.com/posts/llm-leaderboard-analysis/对比 LMSYS、OpenCompass、HELM、SuperCLUE 等主流排行榜的机制差异，教你如何选择参考榜单https://guijiagi.com/posts/gaia-benchmark-analysis/Tue, 23 Jun 2026 14:50:00 +0800https://guijiagi.com/posts/gaia-benchmark-analysis/GAIA（General AI Assistants Benchmark）是由 Meta AI、Hugging Face 等机构联合发布的通用 AI 助手评测基准。如果说 MMLU 是 AI 的"高考"，那 GAIA 就是 AI 的"执业资格考试"——它不考知识记忆，考的是解决真实问题的能力。https://guijiagi.com/posts/langgraph-deep-dive/Tue, 23 Jun 2026 14:10:00 +0800https://guijiagi.com/posts/langgraph-deep-dive/为什么需要 LangGraph 传统 Agent 框架（如 LangChain Agent）采用线性的 ReAct 循环：思考 → 行动 → 观察 → 重复。这种模式简单但局限明显：https://guijiagi.com/posts/dify-vs-coze/Tue, 23 Jun 2026 14:00:00 +0800https://guijiagi.com/posts/dify-vs-coze/2026 年，AI 应用开发平台已经成为开发者工具链中不可或缺的一环。在国内市场，Dify 和 Coze（扣子）是两个最受关注的选择。两者都定位为低代码/无代码 AI 应用构建平台，但在设计理念、技术架构和适用场景上差异显著。https://guijiagi.com/posts/ai-%E7%BC%96%E7%A8%8B-agent-2026-%E6%A8%AA%E8%AF%84-cursor-vs-github-copilot-vs-codex-vs-claude-code/Thu, 18 Jun 2026 00:00:00 +0800https://guijiagi.com/posts/ai-%E7%BC%96%E7%A8%8B-agent-2026-%E6%A8%AA%E8%AF%84-cursor-vs-github-copilot-vs-codex-vs-claude-code/AI 编程 Agent 2026 横评：谁才是最强代码助手？ 2026 年，AI 编程工具已经从「代码补全」进化到「自主编程 Agent」。本文基于最新版本（2026 年 6 月）进行全方位对比。https://guijiagi.com/posts/agent-benchmark/Sat, 13 Jun 2026 12:00:00 +0800https://guijiagi.com/posts/agent-benchmark/评估聊天机器人很容易——给它一套选择题，算准确率。但评估 Agent 极其困难： | 维度 | 聊天机器人评测 | Agent 评测 | |------|--------------|-----------| | 输入 | 单轮文本 | 多轮交互 + 环境状态 | | 输出 | 文本回答 | 文本