近日,国内人工智能大模型领域的重大突破引发行业震动——月之暗面科技有限公司(Moonshot AI)正式发布新一代Kimi K3架构,其推理效率大幅提升40%,同时在复杂多步推理任务中取得显著进步。而最令人惊叹的是,这一核心架构的关键技术贡献者,竟是一位年仅17岁的少年。
这位名叫陈天宇的少年来自浙江杭州,目前就读于某中学高三年级。据月之暗面官方披露,陈天宇从初二开始自学深度学习与模型压缩技术,在开源社区中展现出惊人天赋。去年8月,他在GitHub上发布的一个关于注意力机制改进的算法项目被月之暗面研发团队注意到。经过多轮技术交流,公司核心算法组负责人决定邀请其以兼职研究员的身份参与K3架构的早期预研。
“我们起初只是抱着尝试的心态,但天宇对Transformer模型中稀疏注意力计算的见解,很快证明了他的价值。”月之暗面联合创始人兼技术副总裁李明在采访中表示。据介绍,K3架构中一个名为“自适应层级稀疏注意力”的核心模块,正是由陈天宇独立提出并完成初步代码实现。该模块通过动态剪枝冗余注意力头,在保持推理精度的前提下将计算量压缩约30%,为Kimi K3实现每秒处理更多上下文窗口提供了关键支撑。
陈天宇的技术背景令人惊叹。他在初二时偶然接触到李沐的《动手学深度学习》课程,便一发不可收。此后他利用课余时间自学了PyTorch、JAX等框架,并多次参与Kaggle竞赛,获得过A100 GPU免费算力奖励。“我觉得神经网络中的注意力机制特别有意思,就像人类大脑能快速聚焦关键信息一样。”陈天宇在电话采访中说,语气中带着少年特有的兴奋。
不过,这项技术突破并非一蹴而就。据团队透露,从原型到工程落地经历了近六个月的反复调优。陈天宇的算法初始版本在长序列任务上存在数值稳定性问题,后来经公司资深工程师与他联手优化梯度传播策略,最终达到了生产环境要求。
这一新闻在AI界引发广泛讨论。清华大学计算机系副教授王斌评价称:“这说明在AI时代,天赋与热爱可以突破年龄与学历的壁垒。更值得关注的是,月之暗面等企业愿意为年轻人提供顶级科研平台,这种开放姿态对行业生态是积极的。”也有专家提醒,应理性看待单一个案,基础教育阶段的科学启蒙环境同样重要。
目前,陈天宇已决定推迟一年入学,全职加入月之暗面参与Kimi K4预研。他告诉记者:“学校老师帮我保留了学籍,我想先做几年真正的研究。未来应该会读计算机博士,但现在更想抓住这个难得的机会。”月之暗面方面则表示,未来将设立“少年科学家”计划,定期从全球中学生中发掘具有潜力的算法人才。
随着Kimi K3架构的全面应用,月之暗面的大模型产品在长文档理解、代码生成等场景中的表现有望进一步提升。而一个17岁少年的名字,也已经悄然写入中国大模型技术演进的重要节点。