导语:在人工智能领域,一场新的风暴正在酝酿。由前OpenAI首席技术官Mira Murati创立的新锐AI公司Thinking Machines,于今日正式发布了一款参数规模高达9750亿(975B)的开源权重大语言模型(LLM)。这一数字不仅超越了此前Meta的Llama 3.1 405B,更直接对标OpenAI和Google等闭源巨头的旗舰模型,在大模型开源社区投下了一颗“核弹”。

一夜之间,天花板被捅破

当业界还在消化Llama 3.1 405B带来的冲击时,Thinking Machines用975B的参数量重新定义了什么叫做“巨无霸”。

9750亿参数,这个数字意味着什么?简而言之,它包含了近万亿个可调节的权重参数,能够捕捉和理解极其复杂的语言模式、逻辑推理以及世界知识。与目前市面上主流的开源模型相比,Thinking Machines的模型在参数规模上实现了倍数级的跨越。这不仅是对“Scaling Law”(规模定律)的一次极致践行,更是对“开源模型永远不如闭源”这一论断的有力回击。

开放权重:AI民主化的新里程碑

此次发布的最大亮点,并非仅仅是惊人的参数规模,而是“Open-Weights”(开放权重)策略。在多数头部AI公司因安全与商业考量而转向闭源的当下,Thinking Machines选择了一条截然不同的路。

这意味着,任何具备相应算力资源的开发者和企业,都可以下载该模型的权重文件,在自有服务器上进行部署、微调乃至商用。这无疑打破了少数科技巨头对大模型技术的变相垄断。

“我们认为,智能应该是普惠的。”一位接近Thinking Machines的知情人士透露,“Murati坚信,只有通过开源开放,才能激发全球最顶尖的智慧去探索AI的边界,并确保技术安全地服务于全人类。”这种理念,与Murati本人在OpenAI时期倡导的负责任AI发展观一脉相承,但这一次,她选择用更激进的方式去实现。

技术悬念:怎么跑?怎么训?

975B参数虽然令人兴奋,但也带来了极其现实的问题:这玩意儿怎么跑?

以目前主流的消费级显卡(如NVIDIA RTX 4090 24GB显存)为例,甚至不足以加载完整模型的几分之一。即便是企业级计算平台,要高效推理975B的稠密或MoE(混合专家)模型,也需要极为复杂的分布式计算架构和显存优化技术。

虽然Thinking Machines尚未公布具体的模型架构细节(是Dense还是MoE?),但业内普遍猜测,该模型极大概率采用了MoE架构。MoE能够通过稀疏激活的方式,在保持海量参数的同时,显著降低推理成本。如果这一猜测成真,那么975B参数中,每一次推理可能只激活数百亿参数,使得模型在推理效率与性能之间取得平衡。

在训练成本方面,训练一个如此规模的模型,其算力消耗堪称天文数字。这也侧面证明了Thinking Machines在背后获得了极其充足的资本与算力支持。据传,该模型使用的训练数据规模达到了数十万亿token,涵盖了多语言、多模态的合成数据与高质量互联网数据。

格局之变:开源阵营的“终极武器”

这项发布给当前AI市场的竞争格局带来了巨大变数。

对于Meta的Llama系列而言,其霸主地位受到了直接挑战。Llama之所以成功,在于其性能足够强且足够开放。如今,Thinking Machines在参数规模上的绝对优势,可能迫使Meta加速研发Llama 4等更大参数模型。

对于OpenAI和Google而言,这意味着其技术护城河正在被开源社区从侧翼击穿。虽然闭源模型在综合评测上仍可能领先,但在特定垂直领域进行微调后,这款975B的开源模型完全有能力在专业任务上与之抗衡。

对于AI开发者社区而言,这无疑是一场盛宴。全球的AI开发者将首次能够触及万亿参数级别的前沿技术,围绕该模型的推理优化、量化压缩、微调工具链将迎来一波爆发式增长。

挑战与展望:大模型的安全困境

当然,如此高性能的模型一旦完全开源,也意味着“潘多拉的魔盒”被打开。如何防止该模型被用于生成虚假信息、恶意代码或深度伪造?目前Thinking Machines尚未公布详细的“红队测试”报告或安全对齐策略的细节。

对此,Murati在一份简短的声明中表示:“我们相信开放比封闭更安全。只有在全球监督下,我们才能更快地发现漏洞并建立防护机制。”

Thinking Machines此次发布的975B参数模型,不仅是技术实力的展示,更是一次关于AI民主化与开源理念的响亮宣言。正如一位AI学者所言:“这告诉世界,在通往AGI(通用人工智能)的道路上,开源阵营不仅没有被甩下,反而拿起了一把最锋利的剑。”

未来已来。我们不知道这近万亿个参数中藏着怎样的智慧,但可以确定的是,人工智能的下一个十年,正在以此为契机,拉开全新的帷幕。(完)