10月19日,OpenAI在官方研究博客发布面向低资源编程语言的能力进展,同步推出两项评测,一是要求模型从零构建SQLite兼容数据库引擎的MultiLangBench,覆盖20种编程语言;二是COBOL代码库迁移评测,检验程序迁移到另一种语言后能否保持行为不变。官方数据显示,最大推理力度下GPT-6 Astra在MultiLangBench上20种语言平均测试通过率为87.4%,而GPT-5.6 Sol只有26.8%,且每一种受测语言都有提升。COBOL仍属最难,从10.9%升至72.1%,OCaml从25.6%升至85.8%,Fortran从21.4%升至83.5%,Visual Basic从27.5%升至89.4%,20种语言里有19种超过83%。MultiLangBench评测设置与测试套件已在GitHub公开。
为什么Python之外的老语言才是企业软件的真正负担?
COBOL、Fortran、Visual Basic这些语言喂给模型的代码与文档远少于Python和JavaScript,却支撑着关键基础设施。OpenAI引用的数据是,COBOL支撑超过40%的在线银行系统、80%的面对面信用卡交易与95%的ATM交易,Fortran用于天气预报与核设施安全分析。这些系统文档残缺、原始开发者早已离职,重要业务规则只存在于代码里,无论是修Bug还是迁移,都必须保住原有行为,而低资源语言恰好是通用代码模型长期薄弱的环节。
MultiLangBench凭什么用SQLite当统一标尺?
评测让模型在指定语言中组织代码库、管理状态、处理错误并在保住既有功能的前提下新增特性。为了跨语言比较,候选程序接收初始数据库与SQL查询、产出修改后的数据库,再用参考SQLite实现检查结果是否正确,从而套用同一套测试,与实现语言无关。这一设计把「能不能写出跑通的代码」变成可量化的功能完成度,而不是比较代码风格。低成本版本GPT-6 Luna平均40.3%,单次样本平均API成本0.77美元,相比GPT-5.6 Sol的3.48美元下降约78%。
COBOL迁移为什么要求逐字节一致?
第二项评测要求把COBOL程序迁移到C++、Java、Kotlin、Python或Rust,并在隐藏测试中做到可观测输出逐字节一致。COBOL定点算术默认丢弃多余小数位,除非显式请求四舍五入,重写时若自行取整,程序可以无错运行却产出不同的财务结果。GPT-6.1 Sol在低推理力度下准确率86.6%,GPT-5.6 Sol同档只有5.4%,成本为其61%,高推理力度下达到97.9%,接近评测饱和。但OpenAI同时强调,生产环境仍需专家按业务规则与依赖做审查测试。
低资源语言能力提升对企业现代化意味着什么?
全球银行与大型机构积压了数十年的COBOL维护债,过去只能依赖少数资深工程师,AI若能稳定完成行为保持型迁移,可把周期从年压缩到月。更关键的是,这说明前沿模型的能力边界正在从热门语言向冷门老语言扩散,成本还在同步下降。当然,评测通过不等于生产安全,金融规则中的舍入、缺记录处理等细节,仍需要人工兜底。
信息来源与延伸阅读?
去论坛讨论
前往 silicon-agi.com 论坛 参与讨论