月之暗面杨植麟：提升深度推理能力是ai产品的下一个重点-pg娱乐电子游戏官网版

“如果说长文本是月之杨植月之暗面登月的第一步，那么提升模型深度推理能力则是暗面第二步。”11月16日，麟提理能力正值月之暗面kimi chat向全社会开放服务一周年之际，升深月之暗面创始人杨植麟接受了包括澎湃科技在内的度推媒体采访。他认为ai产品包括ai技术接下来发展的重点重要能力应是更加深度的推理能力，能够把现在只是月之杨植短链路的简单问答，变成更长链路的暗面组合式的任务操作。

据介绍，麟提理能力月之暗面在未来一两周内将上线新一代数学推理模型k0-math，升深对标openai o1系列可公开使用的度推两个模型：o1-mini和o1-preview。目前，重点在中考、月之杨植高考、暗面考研以及包含入门竞赛题的麟提理能力math等4个数学基准测试中，k0-math初代模型成绩超过了openai o1系列的o1-mini和o1-preview模型。在两个难度更大的竞赛级别的数学题库omni-math和aime基准测试中，k0-math初代模型的表现分别达到了o1-mini最高成绩的90%和83%。

杨植麟表示，数学产品是最适合让ai锻炼思考能力的场景，数学模型在教育产品上也有非常大的价值。

自从两年前chatgpt发布后，通过增加更多数据和计算能力来“扩大”当前模型，便能持续改进模型的能力，即所谓的scaling law（尺度定律）几乎成为业内共识。但日前openai原首席科学家伊利亚·苏茨克维（ilya sutskever）公开表示，扩大预训练的结果已经达到了平台期，“2010年代是规模扩大的时代，现在人们又回到了奇迹和发现的时代。每个人都在寻找下一个东西。”

在杨植麟看来，ai的发展就像在荡秋千，在两种状态之间来回切换，“一种是算法、数据准备好了，但算力不够。”他认为，从transformer架构诞生到gpt4的出现，更多的矛盾在于如何扩大规模（scale），在算法和数据上不存在本质问题。但是到了今天，规模已经到达了一定的程度，会发现再加更多的算力，也不一定能解决问题，其中核心问题是没有高质量的数据。这时要做的事便是改变算法，突破瓶颈。现在这是他所在的公司乃至整个行业都面临的共同问题。“好的算法能够释放scaling的潜力，让模型持续变得更好。”他认为，强化学习是接下来很重要的一个趋势。

但杨植麟也认为当下预训练还有空间，“半代到一代的模型，这个空间明年会释放出来，明年我觉得领先的模型会把预训练做到极致，但接下来最重点的东西会在强化学习上，但它还是scale，只是用不同的方式去scale。”

针对近期国内开始出现了一些ai创业公司被收购、人才回流大厂的现象，杨植麟表示，这是一个必然的规律，说明行业发展到了新的阶段，“一开始很多公司在做，现在只有少数公司在做，接下来可能大家做的东西也会逐渐不一样，我觉得这是一个可能必然的规律。”

杨植麟还透露，从今年上半年开始，月之暗面开始缩减业务，聚焦kimi，“我们一开始确实也尝试过几个产品一起做，但到后来发现还是要聚焦，把一个产品做到极致是最重要的，砍业务本质上也是为了控制人数，不希望人数增长太快，我们始终保持卡和人的比例是最高的，团队扩大对于创新也有致命的伤害。”当下，月之暗面最核心的任务就是提升用户留存率。

月之暗面成立于2023年4月，法定代表人杨植麟毕业于清华大学。据了解，该公司打造的对话式ai助手产品kimi上线一年以来，每月用户量达到了3600万人。

最新评论