LlamaIndex

引言 LlamaIndex是专注于"将私有数据连接到LLM"的框架。2026年的LlamaIndex已经从简单的RAG工具发展为一个完整的数据驱动LLM应用平台。本文将全面介绍LlamaIndex 2026的使用。 核心概念 数据连接器 from llama_index.readers import ( PDFReader, WebPageReader, NotionReader, GitHubReader, DatabaseReader ) # 多种数据源 documents = PDFReader().load_data("report.pdf") web_docs = WebPageReader().load_data(["https://example.com"]) db_docs = DatabaseReader(uri="postgresql://...").load_data("SELECT * FROM articles") 索引 from llama_index.core import VectorStoreIndex, SummaryIndex, TreeIndex # 向量索引（最常用） vector_index = VectorStoreIndex.from_documents(documents) # 摘要索引（适合长文档） summary_index = SummaryIndex.from_documents(documents) # 树索引（适合层次化数据） tree_index = TreeIndex.from_documents(documents) # 关键词索引 from llama_index.core import KeywordTableIndex keyword_index = KeywordTableIndex.from_documents(documents) 查询引擎 # 基本查询 query_engine = vector_index.as_query_engine(similarity_top_k=5) response = query_engine.query("什么是AI?") # 流式查询 streaming_engine = vector_index.as_query_engine(streaming=True) response = streaming_engine.query("什么是AI?") for text in response.response_gen: print(text, end="") # 子问题查询 from llama_index.core.tools import QueryEngineTool from llama_index.core.query_engine import SubQuestionQueryEngine tools = [ QueryEngineTool.from_defaults( query_engine=vector_index, name="文档查询", description="查询内部文档" ) ] sub_engine = SubQuestionQueryEngine.from_defaults(query_engine_tools=tools) response = sub_engine.query("比较文档A和文档B的观点") 2026年新特性 1. LlamaCloud from llama_index.cloud import LlamaCloud # 云端索引管理 cloud = LlamaCloud(api_key="...") index = cloud.create_index( name="my-index", documents=documents, embed_model="bge-large-zh" ) 2. Agent支持 from llama_index.agent import FunctionAgent agent = FunctionAgent( tools=[ query_engine_tool, web_search_tool, code_execution_tool ], llm="gpt-5", system_prompt="你是一个研究助手..." ) response = agent.chat("分析最新的AI趋势并生成报告") 3. 工作流 from llama_index.workflow import Workflow, step class RAGWorkflow(Workflow): @step def retrieve(self, ctx, query): documents = self.retriever.retrieve(query) ctx.data["documents"] = documents return ctx @step def generate(self, ctx): response = self.llm.complete( prompt=ctx.data["query"], context=ctx.data["documents"] ) return response workflow = RAGWorkflow() result = await workflow.run("什么是AI?") 4. 多模态 from llama_index.multi_modal import MultiModalIndex # 多模态索引 mm_index = MultiModalIndex.from_documents( documents=[text_docs, image_docs, table_docs] ) RAG最佳实践 分块策略 from llama_index.core.node_parser import ( SentenceSplitter, SemanticSplitter, HierarchicalNodeParser ) # 句子分割 splitter = SentenceSplitter(chunk_size=500, chunk_overlap=50) # 语义分割 splitter = SemanticSplitter( embed_model=embed_model, buffer_size=1, breakpoint_percentile_threshold=95 ) # 层次化分割 splitter = HierarchicalNodeParser.from_defaults( chunk_sizes=[2048, 512, 128] # 三级层次 ) 检索优化 from llama_index.core.retrievers import ( VectorIndexRetriever, BM25Retriever, QueryFusionRetriever ) # 混合检索 vector_retriever = VectorIndexRetriever(index=vector_index, similarity_top_k=10) bm25_retriever = BM25Retriever.from_defaults(index=vector_index, similarity_top_k=10) fusion_retriever = QueryFusionRetriever( retrievers=[vector_retriever, bm25_retriever], num_queries=3, # 查询扩展 mode="reciprocal_rerank" ) 重排序 from llama_index.core.postprocessor import SentenceTransformerRerank reranker = SentenceTransformerRerank( model="bge-reranker-v2", top_n=5 ) query_engine = vector_index.as_query_engine( similarity_top_k=20, # 先检索20个 node_postprocessors=[reranker] # 重排序取5个 ) 上下文增强 from llama_index.core.indices.query.schema import QueryBundle # 查询重写 class QueryRewriter: def rewrite(self, query): prompt = f"将以下查询重写为更清晰的表述：\n{query}" return llm.complete(prompt).text # 在查询前重写 rewritten = QueryRewriter().rewrite("AI怎么样") response = query_engine.query(QueryBundle(rewritten)) 评估 from llama_index.core.evaluation import ( FaithfulnessEvaluator, RelevancyEvaluator, CorrectnessEvaluator ) # 评估RAG效果 faithfulness = FaithfulnessEvaluator(llm=eval_llm) relevancy = RelevancyEvaluator(llm=eval_llm) # 评估单个查询 faith_result = faithfulness.evaluate_response( query=query, response=response ) # faith_result.passing: True/False 部署 API服务 from llama_index.core.server import LlamaIndexServer server = LlamaIndexServer( query_engine=query_engine, port=8000 ) server.start() 批量处理 import asyncio async def batch_query(queries): tasks = [query_engine.aquery(q) for q in queries] results = await asyncio.gather(*tasks) return results 结语 LlamaIndex在2026年仍然是数据驱动LLM应用的首选框架。它的数据连接器丰富、索引类型多样、查询引擎灵活，特别适合需要处理大量私有数据的场景。 ...

LlamaIndex 2026：RAG之王的Agent转型 LlamaIndex（原GPT Index）最初是一个专注于RAG（检索增强生成）的框架。2024年，它是构建知识增强LLM应用的事实标准。但市场在变——单纯的RAG已经不够了，用户需要Agent：能够自主检索、推理、行动的智能体。2026年，LlamaIndex完成了从"RAG框架"到"Agent平台"的战略转型。 转型背景：为什么RAG不够了 RAG的局限 RAG能力 局限性 单轮检索 无法处理需要多步推理的复杂问题 静态知识库 无法实时更新和动态检索 被动回答 不能主动行动（发邮件、调API） 单一数据源 难以跨多个异构数据源联合查询 无任务规划 无法分解复杂任务为子任务 Agent化解决方案 传统RAG：用户提问 → 检索 → 生成回答 Agent化：用户提问 → 理解意图 → 规划任务 → 多步检索/行动 → 综合回答 AgentWorkflow：LlamaIndex的Agent编排引擎 2026版本引入了AgentWorkflow作为核心Agent编排组件： from llama_index.core.agent.workflow import ( AgentWorkflow, FunctionAgent, ReActAgent, RouterAgent ) from llama_index.core.tools import QueryEngineTool, ToolMetadata # 创建RAG工具 stock_engine = create_stock_query_engine() # 股票数据引擎 news_engine = create_news_query_engine() # 新闻数据引擎 report_engine = create_report_query_engine() # 财报数据引擎 # 定义工具 tools = [ QueryEngineTool( query_engine=stock_engine, metadata=ToolMetadata( name="stock_data", description="查询股票实时行情和历史数据" ) ), QueryEngineTool( query_engine=news_engine, metadata=ToolMetadata( name="news_data", description="搜索财经新闻和公告" ) ), QueryEngineTool( query_engine=report_engine, metadata=ToolMetadata( name="report_data", description="查询上市公司财报数据" ) ) ] # 创建专业Agent analyst_agent = ReActAgent( name="分析Agent", description="负责数据分析和技术指标计算", tools=[stock_engine, report_engine], llm=OpenAI(model="gpt-4o"), system_prompt="你是一位专业的金融分析师..." ) research_agent = ReActAgent( name="研究Agent", description="负责新闻搜集和信息检索", tools=[news_engine], llm=OpenAI(model="gpt-4o"), system_prompt="你是一位财经研究员..." ) writer_agent = FunctionAgent( name="撰写Agent", description="负责综合分析报告撰写", llm=OpenAI(model="gpt-4o"), system_prompt="你是一位专业的金融报告撰写人..." ) # 创建工作流 workflow = AgentWorkflow( agents=[analyst_agent, research_agent, writer_agent], root_agent=analyst_agent, # 主入口Agent max_steps=20, # 最大执行步数 max_time=180, # 最大执行时间（秒） ) # 执行 response = await workflow.run( "分析贵州茅台2025年年报，结合近期新闻，给出投资建议" ) Agent类型对比 Agent类型 决策方式 适合场景 灵活性 ReActAgent 推理-行动循环 需要多步推理的任务 高 FunctionAgent 直接函数调用 简单确定性任务 低 RouterAgent 路由到子Agent 需要分领域处理 中 CustomAgent 自定义逻辑 特殊需求 完全可控 数据代理：RAG的Agent化升级 LlamaIndex 2026提出了"Data Agent"概念——专门处理数据的智能Agent： ...

从 RAG 到 Agent：LlamaIndex 的范式跃迁 LlamaIndex 在 2023 年以"RAG 框架"闻名——它是构建检索增强生成应用最简单的方式。但创始人 Jerry Liu 很早就意识到：RAG 本质上是 Agent 的一个特例。到 2026 年，LlamaIndex 已经完成了从"RAG 框架"到"数据驱动 Agent 平台"的转型。 2026 架构演进 核心层次 ┌──────────────────────────────────────────────────┐ │ Agent Layer │ │ Workflows │ Data Agents │ Multi-Agent │ Tools │ ├──────────────────────────────────────────────────┤ │ Orchestration Layer │ │ Query Engine │ Router │ Planner │ Evaluator │ ├──────────────────────────────────────────────────┤ │ Data Layer │ │ ┌──────────┐ ┌──────────┐ ┌──────────────────┐ │ │ │ Ingestion│ │ Indexing │ │ Retrieval │ │ │ │ Pipeline │ │ (多索引) │ │ (混合检索) │ │ │ └──────────┘ └──────────┘ └──────────────────┘ │ ├──────────────────────────────────────────────────┤ │ Integration Layer │ │ 50+ LLM │ 30+ Vector DB │ 100+ Data Source │ └──────────────────────────────────────────────────┘ 版本对比 特性 LlamaIndex 0.10 (2024) LlamaIndex 1.0 (2026) 核心定位 RAG 框架 Agent 平台 Agent 支持 实验性 一等公民 Workflow 不支持 事件驱动 Workflow 多模态 基础 原生多模态 评估 离线评估 在线评估 + A/B 测试 部署 Python 脚本 LlamaCloud + 本地 性能 中等 优化 40-60% 核心新特性 1. Workflows：事件驱动编排 LlamaIndex 2026 的 Workflow 系统采用事件驱动模型，与 LangGraph 的状态机模型形成对比： ...

概述 LangChain vs LlamaIndex 2026对比是AI智能体领域中LangChain vs LlamaIndex 2026对比的重要主题。本文将从多个角度深入分析这一话题，为读者提供系统性的认知框架和实践参考。 核心概念 基本定义 在深入讨论之前，我们需要明确几个核心概念。AI智能体是指能够感知环境、理解指令、规划行动并调用工具完成任务的AI系统。与传统的聊天机器人不同，智能体具有自主性、目标导向性和工具使用能力。 LangChain vs LlamaIndex 2026对比涉及的关键技术包括： 大语言模型：作为智能体的认知引擎，负责理解、推理和生成 工具调用：通过Function Calling或MCP协议与外部系统交互 记忆系统：短期记忆处理当前对话，长期记忆存储历史经验 规划引擎：将复杂任务分解为可执行的子步骤 技术原理 从技术层面看，LangChain vs LlamaIndex 2026对比的核心在于如何让AI系统更好地理解和执行人类意图。这涉及多个技术环节的协同： 首先是感知层，智能体需要准确理解用户的自然语言指令，提取关键信息和约束条件。其次是规划层，将高层目标分解为具体的执行步骤。然后是执行层，调用合适的工具完成每个步骤。最后是反馈层，根据执行结果调整后续策略。 实践分析 当前现状 在框架测评领域，当前的技术实践呈现出几个明显特征： 工程化程度提升：从实验室原型到生产级系统，工程能力成为关键差异化因素 评估体系完善：越来越多标准化的评测基准被提出，帮助开发者量化能力边界 开源生态繁荣：开源框架和工具链的成熟降低了开发门槛 安全意识增强：对AI安全和对齐问题的重视程度显著提升 关键挑战 尽管进展显著，LangChain vs LlamaIndex 2026对比仍面临几个核心挑战： 技术挑战： 大模型的幻觉问题在智能体场景下被放大，因为智能体需要做出实际决策 多步推理中的错误累积效应导致长程任务成功率下降 工具调用的可靠性受外部API稳定性影响 工程挑战： 智能体的可观测性不足，调试和排错困难 成本控制与性能优化的平衡 从单机到分布式部署的架构复杂性 安全挑战： Prompt注入等攻击手段不断进化 智能体权限管理需要更精细化的控制 数据隐私保护在多Agent协作场景下更加复杂 优化策略 针对上述挑战，以下是几个关键优化方向： 技术优化 分而治之：将复杂任务分解为可独立验证的子任务，降低单步错误影响 多路投票：对关键决策使用多次采样投票机制，提高可靠性 渐进式信任：智能体权限从最小化开始，根据表现逐步扩展 人在回路：高风险决策保留人工审核环节 工程优化 可观测性优先：建立完善的日志、指标和追踪体系 灰度发布：新版本智能体先在小流量环境验证 自动化测试：构建端到端测试套件，防止回归 成本监控：实时追踪Token消耗和API调用成本 案例研究 为了更具体地说明LangChain vs LlamaIndex 2026对比的实践价值，我们来看一个典型场景： 某科技公司在内部IT运维中部署了AI智能体，负责处理员工的工单请求。智能体需要理解员工的自然语言描述，判断问题类型，查询知识库，执行修复操作或转接人工。 实施过程中遇到的关键问题包括： 员工描述模糊导致意图识别错误 知识库信息过时导致给出错误建议 某些操作需要管理员权限存在安全风险 解决方案： ...

概述 LlamaIndex发展现状与规划是AI智能体领域中LlamaIndex发展现状与规划的重要主题。本文将从多个角度深入分析这一话题，为读者提供系统性的认知框架和实践参考。 核心概念 基本定义 在深入讨论之前，我们需要明确几个核心概念。AI智能体是指能够感知环境、理解指令、规划行动并调用工具完成任务的AI系统。与传统的聊天机器人不同，智能体具有自主性、目标导向性和工具使用能力。 LlamaIndex发展现状与规划涉及的关键技术包括： 大语言模型：作为智能体的认知引擎，负责理解、推理和生成 工具调用：通过Function Calling或MCP协议与外部系统交互 记忆系统：短期记忆处理当前对话，长期记忆存储历史经验 规划引擎：将复杂任务分解为可执行的子步骤 技术原理 从技术层面看，LlamaIndex发展现状与规划的核心在于如何让AI系统更好地理解和执行人类意图。这涉及多个技术环节的协同： 首先是感知层，智能体需要准确理解用户的自然语言指令，提取关键信息和约束条件。其次是规划层，将高层目标分解为具体的执行步骤。然后是执行层，调用合适的工具完成每个步骤。最后是反馈层，根据执行结果调整后续策略。 实践分析 当前现状 在开源生态领域，当前的技术实践呈现出几个明显特征： 工程化程度提升：从实验室原型到生产级系统，工程能力成为关键差异化因素 评估体系完善：越来越多标准化的评测基准被提出，帮助开发者量化能力边界 开源生态繁荣：开源框架和工具链的成熟降低了开发门槛 安全意识增强：对AI安全和对齐问题的重视程度显著提升 关键挑战 尽管进展显著，LlamaIndex发展现状与规划仍面临几个核心挑战： 技术挑战： 大模型的幻觉问题在智能体场景下被放大，因为智能体需要做出实际决策 多步推理中的错误累积效应导致长程任务成功率下降 工具调用的可靠性受外部API稳定性影响 工程挑战： 智能体的可观测性不足，调试和排错困难 成本控制与性能优化的平衡 从单机到分布式部署的架构复杂性 安全挑战： Prompt注入等攻击手段不断进化 智能体权限管理需要更精细化的控制 数据隐私保护在多Agent协作场景下更加复杂 优化策略 针对上述挑战，以下是几个关键优化方向： 技术优化 分而治之：将复杂任务分解为可独立验证的子任务，降低单步错误影响 多路投票：对关键决策使用多次采样投票机制，提高可靠性 渐进式信任：智能体权限从最小化开始，根据表现逐步扩展 人在回路：高风险决策保留人工审核环节 工程优化 可观测性优先：建立完善的日志、指标和追踪体系 灰度发布：新版本智能体先在小流量环境验证 自动化测试：构建端到端测试套件，防止回归 成本监控：实时追踪Token消耗和API调用成本 案例研究 为了更具体地说明LlamaIndex发展现状与规划的实践价值，我们来看一个典型场景： 某科技公司在内部IT运维中部署了AI智能体，负责处理员工的工单请求。智能体需要理解员工的自然语言描述，判断问题类型，查询知识库，执行修复操作或转接人工。 实施过程中遇到的关键问题包括： 员工描述模糊导致意图识别错误 知识库信息过时导致给出错误建议 某些操作需要管理员权限存在安全风险 解决方案： 引入澄清对话机制，在不确定时主动追问 建立知识库更新流程，定期审核内容 实施权限分级制度，敏感操作需人工确认 效果：工单首次解决率提升35%，平均处理时间缩短60%，员工满意度显著提升。 未来趋势 LlamaIndex发展现状与规划的发展趋势值得关注： 标准化：MCP等开放协议将推动工具接口标准化，降低集成成本 垂直化：针对特定行业和场景的专用智能体将大量涌现 协作化：多智能体协作将成为复杂任务的标准解决方案 自主化：智能体的自主决策能力将持续提升，但需要配套的安全机制 结论 LlamaIndex发展现状与规划是AI智能体技术发展中的重要一环。无论是技术原理的深入理解，还是实践中的工程优化，都需要系统性思维。对于开发者和企业而言，关键在于： 理解技术能力和边界，避免过度期待 建立系统化的评估和监控体系 在创新和安全之间找到平衡 持续学习和适应快速变化的技术生态 硅基AGI探索者将持续关注开源生态领域的最新进展，为读者提供深度分析和实践指导。— ...

引言 2024-2026 年，AI 应用开发框架领域形成了三足鼎立之势：LangChain 以全链路编排见长，LlamaIndex 专注数据连接与检索增强，CrewAI 则在多智能体协作方向独树一帜。本文将从架构设计、核心功能、性能基准、代码体验等多个维度进行深度对比。 框架概览 LangChain LangChain 由 Harrison Chase 于 2022 年 10 月创建，是最早的 LLM 应用开发框架。其核心理念是将 LLM 应用的各个组件（Prompt、Memory、Chain、Agent、Tool）模块化，通过链式组合构建复杂应用。 核心模块： langchain-core：基础抽象与运行时 langchain-community：第三方集成 langchain-openai：OpenAI 官方集成 langgraph：状态图驱动的 Agent 编排 langserve：API 部署 LlamaIndex LlamaIndex 由 Jerry Liu 创建，前身为 GPT Index，专注于将私有数据接入 LLM。其核心优势在于数据摄取、索引构建和检索增强生成（RAG）的全流程支持。 核心模块： llama-index-core：核心框架 llama-index-llms-*：LLM 集成 llama-index-embeddings-*：嵌入模型集成 llama-index-vector-stores-*：向量存储集成 llama-index-agent：Agent 模块 CrewAI CrewAI 由 João Moura 于 2024 年初创建，专注于多智能体协作场景。它让开发者可以定义具有不同角色、目标和工具的 Agent，通过任务编排实现复杂工作流的自动化。 核心概念： Crew：智能体团队 Agent：具有角色和目标的智能体 Task：具体任务定义 Process：任务执行流程（顺序/层级） Tool：Agent 可用的工具 架构设计对比 维度 LangChain LlamaIndex CrewAI 设计哲学 通用编排框架 数据为中心 多智能体协作 核心抽象 Chain/Runnable Index/QueryEngine Crew/Agent/Task Agent 支持 LangGraph（状态图） AgentWorker 原生多 Agent RAG 能力 基础 业界最强 基础 学习曲线 陡峭 中等 平缓 社区规模 最大 大 增长最快 版本稳定性 迭代频繁 较稳定 快速演进 代码体验对比 场景一：基础 RAG 问答 LangChain 实现： ...

LlamaIndex 的演进路线 LlamaIndex 起家于 RAG（检索增强生成），最初的定位是"连接你的数据与 LLM"。但随着 LLM 能力增强，单纯检索已经不够——用户需要 Agent 来动态决定何时检索、如何检索、检索后做什么。 版本阶段 核心能力 定位 0.9 之前 Index + Query Engine RAG 框架 0.10+ LlamaHub + Workflows 数据连接 + 工作流 当前 Data Agent + AgentWorkflow RAG + Agent 融合 0.10 是分水岭——LlamaIndex 重构了整个包结构，引入了 Workflow（事件驱动工作流）和 Data Agent，正式从 RAG 框架进化为 Agent 框架。 Data Agent：带检索能力的智能体 LlamaIndex 的 Data Agent = LLM + Tools + 检索能力： from llama_index.core.agent import FunctionAgent from llama_index.llms.openai import OpenAI from llama_index.core.tools import FunctionTool, QueryEngineTool llm = OpenAI(model="gpt-4o") # 工具1：网络搜索 def search_web(query: str) -> str: """搜索互联网获取最新信息""" from llama_index.tools.tavilyi import TavilyToolSpec return TavilyToolSpec().search(query) web_tool = FunctionTool.from_defaults(fn=search_web) # 工具2：RAG 查询（复用现有索引） from llama_index.core import VectorStoreIndex index = VectorStoreIndex.from_documents(documents) query_engine = index.as_query_engine(similarity_top_k=5) rag_tool = QueryEngineTool.from_defaults( query_engine=query_engine, name="knowledge_base", description="查询内部知识库，包含产品文档和技术规范" ) # 创建 Data Agent agent = FunctionAgent( tools=[web_tool, rag_tool], llm=llm, system_prompt="你是一个研究助手。先查内部知识库，找不到再搜网络。" ) response = await agent.run("我们的API限流策略是什么？和业界最佳实践比如何？") # Agent会: 1. 先用rag_tool查内部 2. 再用web_tool搜业界实践 3. 综合回答 这是 LlamaIndex 的差异化优势：RAG 不是外部组件，而是 Agent 的原生能力。在 LangChain 里你要手动把 Retriever 包装成 Tool，在 LlamaIndex 里这是内建的。 ...

LlamaIndex 的核心命题 LlamaIndex 的定位是 “LLM 的数据框架”——解决 LLM 与私有数据之间的鸿沟。如果说 LangChain 是 LLM 应用的"胶水层"，那 LlamaIndex 就是 “数据管道+检索引擎”。 核心理念：不是所有数据都要塞进 Prompt，关键在于如何高效检索最相关的片段。 核心架构 三层抽象 数据层 (Data Connectors + Documents + Nodes) ↓ 索引层 (Index: Vector / List / Tree / Keyword / Knowledge Graph) ↓ 查询层 (Query Engine / Retriever / Response Synthesizer) 数据连接器（LlamaHub） LlamaHub 提供了 200+ 数据连接器： from llama_index.core import download_loader # 加载 Notion 数据 NotionPageReader = download_loader("NotionPageReader") loader = NotionPageReader(integration_token="your-token") documents = loader.load_data(page_ids=["page-id-1", "page-id-2"]) # 加载 GitHub 仓库 GithubRepositoryReader = download_loader("GithubRepositoryReader") loader = GithubRepositoryReader(owner="owner", repo="repo") documents = loader.load_data(branch="main") Document 与 Node from llama_index.core import Document, VectorStoreIndex from llama_index.core.node_parser import SentenceSplitter # Document 是原始数据单元 doc = Document(text="...", metadata={"source": "hr-handbook.pdf", "page": 42}) # Node 是切分后的最小检索单元 splitter = SentenceSplitter(chunk_size=512, chunk_overlap=64) nodes = splitter.get_nodes_from_documents([doc]) # Node 携带元数据关系 print(nodes[0].relationships) # {Source: doc, Next: node[1], Previous: None} 索引类型详解 LlamaIndex 提供了最丰富的索引类型： ...