代码模型横评：谁是最强编程助手？
代码模型评测方法论 评测代码模型不能只看 HumanEval 单一指标。本文采用多维度评测框架： 基础代码生成：HumanEval / MBPP（函数级生成） 多语言能力：MultiPL-E（跨语言泛化） 仓库级理解：RepoBench / CrossCodeEval（跨文件上下文） FIM 补全：Fill-in-the-Middle（IDE 集成核心能力） 复杂算法：Codeforces / LiveCodeBench（竞赛级） 实战测试：真实项目场景（Bug 修复、重构、测试生成） 参评模型概览 模型 参数量 类型 训练数据 上下文 许可证 DeepSeek-Coder-V2 236B(A21B) MoE 6T code tokens 128K DeepSeek License Qwen2.5-Coder-32B 32B Dense 5.5T code tokens 128K Apache 2.0 Codestral 22B Dense 80+ 语言 32K 商用 CodeGeeX-4 9B Dense 多语言 128K 开源 StarCoder2-15B 15B Dense 4T+ tokens 16K BigCode License CodeLlama-70B 70B Dense 1T code tokens 16K Llama License 基准测试对比 HumanEval / MBPP 模型 HumanEval MBPP HumanEval+ MBPP+ DeepSeek-Coder-V2 86.4 83.2 81.7 77.4 Qwen2.5-Coder-32B 84.1 81.0 79.3 74.8 Codestral 22B 81.1 78.2 75.6 72.1 CodeGeeX-4 82.3 79.6 77.8 73.5 StarCoder2-15B 72.6 68.4 66.2 62.1 CodeLlama-70B 80.5 76.8 74.1 70.3 GPT-4o 90.2 85.4 86.8 82.1 Claude 4 Opus 93.7 88.2 90.1 85.6 MultiPL-E（多语言编程） 模型 Python JavaScript Java C++ Rust Go 平均 DeepSeek-Coder-V2 86.4 82.1 79.3 76.8 68.3 74.5 77.9 Qwen2.5-Coder-32B 84.1 80.5 77.1 74.2 65.7 71.8 75.6 Codestral 22B 81.1 79.8 75.4 72.1 63.2 69.3 73.5 CodeGeeX-4 82.3 76.5 73.8 70.6 58.1 67.2 71.4 StarCoder2-15B 72.6 71.3 65.2 62.8 51.4 60.7 64.0 LiveCodeBench（竞赛级编程，2024-2025 新题） 模型 Easy Medium Hard Overall Claude 4 Opus 78.3 45.2 18.7 47.4 GPT-4o 72.1 38.6 12.3 41.0 DeepSeek-Coder-V2 68.5 35.1 10.2 37.9 Qwen2.5-Coder-32B 65.2 31.8 8.6 35.2 Codestral 22B 58.7 26.3 5.1 30.0 FIM 补全能力 FIM（Fill-in-the-Middle）是 IDE 集成的核心能力，测试模型根据前后文补全中间代码的能力： ...