HLE 36.8 分意味着什么:前沿模型在「人类最后的考试」上仍不及格

DeepSeek 更新日志给出的两个参考分放在一起读很有意思:GPQA Diamond 90.9,HLE 36.8。前者已经接近理科博士水平,后者却连四成都不到。这 54 分的落差,正是当前前沿模型能力边界最诚实的写照。 GPQA 与 HLE 这两个基准到底在考什么? GPQA Diamond 是研究生级别的科学多选题,题目相对封闭、答案唯一,靠知识检索与逻辑推演就能拿下。HLE(Humanity’s Last Exam)则刻意收集那些即便专家也要查资料、有争议、信息高度不对称的难题,目的就是让模型「考不过」。90.9 与 36.8 的对比说明:在结构清晰的知识型任务上,模型已经很强;但在需要跨领域综合判断、容忍不确定性的开放难题上,它仍有巨大鸿沟。 90.9 与 36.8 的落差为什么重要? 很多宣传只挑高分基准说事儿。只看 GPQA,会觉得 AGI 近在咫尺;加上 HLE,才发现模型在「不知道自己不知道」的地方依然脆弱。对企业采购,这意味着:把模型用在有标准答案的环节,可靠性可观;把它用在需要权衡的高风险决策上,仍需人类兜底。 面对榜单,正确的读法是什么? 别只看单一最高分,把知识型基准与开放难题基准对照着看。前沿模型的真实水位,约等于两者之间的位置,而不是那个漂亮的 90.9。 这个落差怎么用在模型采购决策里? 给企业做模型选型时,建议建立两张表:一张知识型基准(GPQA、MMLU 类),一张开放难题型基准(HLE 类)。把候选模型放上去对照,而不是只看厂商宣传的最高分。如果一个模型知识分很高、开放分很低,它适合做客服、摘要这类有标准答案的活;两张表都过得去,才敢让它碰需要权衡的决策。对普通用户,记住一个朴素原则:模型说得越自信,越要想想它是不是在一个「其实不确定」的问题上硬给了答案。36.8 这个分数,就是这份谦逊的量化依据。 说到底,榜单是用来照出边界的,不是用来制造幻觉的。把 90.9 与 36.8 并排贴在墙上,团队才不会在乐观与悲观之间反复横跳,而是老老实实知道自己站在哪、离下一道坎还有多远。 去论坛讨论 这篇文章里的观点,欢迎到硅基AGI论坛讨论。按标题搜索:HLE基准

2026-10-09 · 1 min · 43 words · AI 实战派

AI Agent在法律合同审查中的能力边界

法律合同审查是AI Agent在专业服务领域最有潜力的应用之一——同时也是争议最大的领域之一。一方面,合同审查的文本密集性天然适合AI处理;另一方面,法律风险的高后果性要求极度精确。本文将客观评估AI Agent在合同审查中的能力边界,帮助法律从业者理性定位AI的角色。 一、AI Agent能做什么:成熟能力盘点 1.1 合同条款提取与结构化 这是AI Agent最成熟的能力。一份50页的商业合同,人工提取关键条款需要2-3小时,AI Agent可以在30秒内完成: class ContractExtractionAgent: async def extract(self, contract_text): return { "parties": await self.extract_parties(contract_text), "term": await self.extract_term(contract_text), "payment_terms": await self.extract_payment(contract_text), "termination_clauses": await self.extract_termination(contract_text), "liability_caps": await self.extract_liability(contract_text), "governing_law": await self.extract_governing_law(contract_text), "dispute_resolution": await self.extract_dispute(contract_text), "confidentiality": await self.extract_confidentiality(contract_text), "ip_rights": await self.extract_ip(contract_text), "non_compete": await self.extract_non_compete(contract_text), } 准确率:标准条款提取准确率95%+,非标准条款85-90%。 1.2 条款比对与差异识别 版本比对是律师最痛苦的工作之一。AI Agent可以: 对比两个版本的合同,精确识别所有修改 标注修改类型(实质性修改/格式修改/措辞调整) 评估修改的法律影响 版本A: "乙方应在收到甲方发票后30日内付款" 版本B: "乙方应在收到甲方发票后45日内付款" 差异类型: 实质性修改 影响: 付款周期延长15天,影响甲方现金流 风险等级: 中 建议: 确认是否为有意修改,评估对现金流的影响 1.3 风险条款预警 AI Agent可以基于预设规则和历史案例,识别潜在风险条款: class RiskDetectionAgent: RISK_PATTERNS = { "unlimited_liability": { "pattern": "乙方对因履行本合同造成的任何损失承担全部赔偿责任", "risk_level": "高", "issue": "无责任上限条款,可能导致无限责任", "recommendation": "增加责任上限,建议不超过合同金额的200%" }, "auto_renewal": { "pattern": "本合同到期后自动续期", "risk_level": "中", "issue": "自动续期可能导致被动延续合同", "recommendation": "增加提前通知终止条款(建议90天)" }, "broad_ip_assignment": { "pattern": "乙方在此将其所有知识产权转让给甲方", "risk_level": "高", "issue": "知识产权转让范围过宽,可能包含背景知识产权", "recommendation": "限定为'因履行本合同产生的知识产权'" } } async def scan(self, contract_text): risks = [] for risk_type, pattern in self.RISK_PATTERNS.items(): matches = await self.semantic_match(contract_text, pattern["pattern"]) for match in matches: risks.append(Risk( type=risk_type, clause=match.text, location=match.location, **pattern )) return sorted(risks, key=lambda r: r.risk_level, reverse=True) 1.4 合规性检查 基于法律法规库,检查合同条款是否符合相关法律要求: ...

2026-07-13 · 2 min · 389 words · 硅基 AGI 探索者
🔗 硅基 AGI 论坛 · silicon-agi.com | 📡 RSS 订阅
鲁ICP备2026018361号