OpenAI发布2款开源模型

当地时间8月5日，OpenAI推出自GPT-2以来的首批开源权重语言模型gpt-oss-120b与gpt-oss-20b，性能堪比o4-mini和o3-mini，可在高端笔记本和手机上运行。

OpenAI重新拥抱开源，该公司表示，发布开源系统的部分原因是，一些企业和个人更倾向于在自有计算机硬件上运行这类技术。“开源模型与我们的托管模型形成互补，为开发者提供了更丰富的工具选择。”这有助于加速推进AI前沿研究，降低新兴市场、资源受限行业及小型组织的使用门槛。

OpenAI总裁、创始人之一的格雷格·布罗克曼（Greg Brockman）说，“如果我们提供一款模型，人们就会用我们的技术。他们会依赖我们实现下一次突破。他们会给我们反馈、提供数据，以及改进模型所需的各种信息。这有助于我们取得进一步的进展。”

推出开源模型，可在手机运行

gpt-oss模型是OpenAI自2019年推出GPT-2以来发布的首批开源权重语言模型。OpenAI表示，gpt-oss-120b与gpt-oss-20b突破开源权重推理模型的边界，在推理任务上的表现优于同规模开源模型，能以低成本实现实际应用性能，经过优化可在消费级硬件上高效部署。模型训练过程结合了强化学习技术，并借鉴了OpenAI的o3和其他前沿内部模型。

gpt-oss模型使用预训练和后训练技术，注重推理能力、效率以及在各种部署环境中的实际可用性。每个模型都基于Transformer，利用混合专家（MoE）技术减少处理输入所需的激活参数数量。gpt-oss-120b每token激活51亿参数，gpt-oss-20b每token激活36亿参数，两款模型的总参数分别为1170亿和210亿。它们采用交替的密集型和局部带状稀疏注意力模式，类似于GPT-3。使用旋转位置编码（RoPE），支持长达128k上下文长度。两款开源模型支持低、中、高三种推理强度，可在延迟和性能之间权衡，开发者只需在系统消息中用一句话就能设置推理强度。

OpenAI CEO山姆·奥特曼表示，gpt-oss的性能堪比o4-mini，而且能在高端笔记本上运行，更小的版本能在手机上运行。“不久的将来，会有一种比你认识的最聪明的人还要智能的东西，在你口袋里的设备上运行，随时随地帮你解决各种问题。这真的是一件非同凡响的事。”