英伟达推出开放多模态模型 Nemotron 3.5 Super VL,面向需要持续运行、执行多步骤任务的 AI 智能体。该模型采用混合专家架构,总参数量 1200 亿,激活参数 120 亿。英伟达称,在单张 GPU 上执行智能体任务时,其吞吐量最高可达同规模其他开放模型的 5 倍。模型将推理、指令遵循和工具调用,与文本、图像、文档及视频理解整合在同一模型中,可用于代码测试与调试、跨网站信息检索、文档分析、网络安全威胁识别及视频内容检索等场景。开发者可借助英伟达 NeMo 工具链,结合自有数据、工具、政策和工作流程进行后训练。

英伟达推出 Nemotron 3.5 Super VL 多模态模型,并发布两款端侧模型

英伟达同时公布企业定制案例:Scale AI 为 Skydance Corporation 定制的供应商信用处理智能体,相关推理成本预计降低 97.5%、延迟降低 80%;Ramp 将收据图像转为包含商户、日期和支付信息的结构化 JSON 数据,吞吐量最高提升 50%、延迟降低 90%;AI21 与 AI 安全公司 Alice 合作定制的模型用于威胁情报和漏洞分析,任务准确率提升 40%。评测方面,该模型在 CharXiv 图表推理基准得分 80.8%,高于 Nemotron 3 Nano Omni 的 63%;在 Hermes Bench 和 LangChain 行为评估中分别为 63.44% 和 87.05%,高于 Nemotron 3 Ultra 的 56.33% 和 84.3%。

为降低推理开销,该模型采用投机解码、混合精度和上下文复用等技术。英伟达称其 LiLiCorr 投机解码方法在 DGX Spark 上可将词元生成速度最高提升至 2.3 倍,模型还支持 NVFP4 量化。部署方面,在 16 张 NVIDIA B200 GPU、每名用户每秒生成 50 个词元的测试条件下,NVIDIA Dynamo 配合缓存感知路由、会话亲和性和 KV 缓存卸载,最多可服务 8 倍数量的用户,首词元延迟降低 85%。

此次发布包含基础模型、后训练模型和 NVFP4 量化模型权重,以及训练配方、数据集和强化学习环境。模型在预训练和持续预训练阶段共使用约 26 万亿词元,后训练阶段使用约 380 万个样本。英伟达还推出两款 Nemotron 3.5 Bolt 端侧模型:Bolt 74B-A9B 24GB 采用 740 亿总参数、90 亿激活参数的 MoE 架构,通过原生 2 位量化压缩至 24GB,支持 llama.cpp、vLLM、Ollama、Unsloth 和 LM Studio;Bolt E4B 4GB 面向本地语音助手、交互角色和嵌入式界面等场景,计划于 10 月 23 日推出。Super VL 与 Bolt 74B-A9B 24GB 已开放获取,可通过 Hugging Face、OpenRouter、ModelScope 等渠道使用。