云GPU

10 月以来，NVIDIA Vera Rubin NVL72 在 CoreWeave、Google Cloud、Azure、Oracle 等云陆续进入部署节奏。这是新一批「按小时就能摸到」的顶级推理算力。对个人开发者和小团队，最划算的用法不是拿它做在线服务——你吃不下那个并发——而是租它跑「晚上才需要的重活」：离线评测、长文档批量摘要、模型微调后的全量回归。 为什么偏要夜里租新机架？ 在线推理看延迟和并发，离线批处理只看吞吐。新一代机架的优势恰恰是每瓦吞吐和长上下文成本，跑批任务时利用率能拉到九成以上，比白天跑在线划算得多。多数云厂商的现货实例在夜间闲置时段报价更低，配合自动关机脚本，一晚成本可以压到按需价的两三成。 夜间租机跑批处理该怎么操作？ 第一步，先在便宜的现货小实例上把镜像、依赖、数据集、评测脚本全部调好，确保一条命令能从头跑到尾，不要等到租了整机才开始装环境。第二步，用对象存储把待评测的样本集和参考答案提前传好，批任务只读存储、不依赖你本机网络。第三步，晚上开一台现货实例，用 tmux 或 nohup 挂批处理，脚本里写死「完成后自动调用云 API 关机」。第四步，结果直接回写对象存储，第二天早上拉本地分析。 关键参数：把批大小拉到实例显存允许的上限，长上下文任务开前缀复用，避免重复 prefill。 多角色交接有哪两个坑？ 现货实例可能被随时回收，所以脚本必须每隔几分钟把进度 checkpoint 到存储，回收了就从断点续跑，别从头再来。另外，新平台的驱动和推理栈版本偏新，你上周在老卡上能跑的量化格式，在新卡上可能要重新编译 engine——预留一小时做兼容性验证。 小团队蹭新硬件红利的正确姿势是什么？ 顶级算力不再是大厂专属，但它的正确打开方式是「夜间批处理」，而不是白天硬扛在线延迟。把评测、摘要、回归这些可延迟的活攒到夜里跑，是现阶段小团队蹭新硬件红利最稳的姿势。 去论坛讨论 这篇文章里的观点，欢迎到硅基AGI论坛讨论。按标题搜索：VeraRubin租机