腾讯姚顺雨团队深夜回应一切:下一代模型将大幅扩容,小尺寸模型已在路线图上
新浪科技讯 11月21日上午消息,今日凌晨,腾讯首席 AI 科学家、混元大模型负责人姚顺雨和混元团队的研究员在 Reddit 上进行了一场 AMA(Ask Me Anything)。
据介绍,这是混元团队首次在开发者社区公开答问。在两小时的集中问答时间内,混元团队共收到了300多条留言,涵盖模型技术路线、架构取舍、未来规划、安全评测等。
在问答过程中,姚顺雨和混元团队透露了不少信息,例如:“Hy4-mini(也就是更小尺寸的模型)已经在我们的路线图上了,敬请期待。”并表示,“会考虑做一个更小的图像模型,视频模型也敬请关注。”
谈及字节跳动和 Kimi 等公司正在推进超大规模模型,参数量达到3T,甚至 5T,而他们仍在700B的原因,该团队回应称,“Hy3和Hy4已经表明,做得扎实的较小模型,往往可以胜过更大的模型。更重要的是,它们成本更低,而你也能在这个过程中学到更多、收获更多。”
对于开发者关心的本地运行、工具调用和开源生态,他们给出了具体回应,也表达了对社区反馈的重视。安全方面,团队强调通过有害数据过滤、训练防护和红队评估推进负责任的开源,同时承认需要继续减少过度拒绝。
以下为按主题整理的部分问答实录:(A为腾讯混元团队回复)
一、下一代模型将大幅扩容,小尺寸模型已在研究
Q:有没有可能推出 Hy4-mini(也就是更小尺寸的模型)
A:当然!这已经在我们的路线图上了,敬请期待。
Q:有可能推出24–31B 的稠密模型吗?
A:有可能,正在考虑中。
Q:感谢你们开放模型权重!腾讯是否在考虑推出“Flash Lite”模型,例如 35B-A3B?这类模型可能很有用,例如面向客户的聊天机器人、文档解析、分类、简单自动化,以及其他受益于低开销和高速度的任务。
A:是的,敬请期待一款前沿的 Flash-Lite 模型。
Q:有计划发布新的开源图像模型吗?HunyuanImage-3.0 很棒,但对大多数配置来说太大了。希望先做一个 5–12B 的较小模型供本地使用,再做更大的模型,因为我们需要更多开源图像模型。我也希望看到新一代 HunyuanVideo。
A:我们会考虑做一个更小的图像模型;视频模型也敬请关注。
Q:你们认为这些模型已经达到容量上限了吗,也就是已经“吸收”了它们所能容纳的全部智能?未来更智能的 Hy 模型是否需要更多参数,还是说你们能在同样的规模下提供更强的模型,例如进一步后训练的 Hy4?
A:我觉得还有很大的潜力。
A:我们相信,Hy4 仍有很大的提升空间,尤其是在后训练方面。我们正在大规模强化学习上投入大量精力,同时持续改善用户体验和模型安全性。敬请期待后续更新!我们也计划训练更大的模型。我们相信 Scaling law,并将继续投入!
Q:看起来,字节跳动和 Kimi 等公司正在推进超大规模模型,参数量达到 3T,甚至 5T,而你们仍在 700B。这是为什么?你们如何看待参数量对智能的实际影响?在这方面有什么计划吗?
A:Hy3 和 Hy4 已经表明,做得扎实的较小模型,往往可以胜过更大的模型。更重要的是,它们成本更低,而你也能在这个过程中学到更多、收获更多。
Q:到 Hy 4.5 时,你们会把参数量扩大到 1.5 万亿至 2 万亿,对吗?
A:下一代 Hy 模型的规模一定会进一步显著扩大。
Q:有可能推出循环式 MoE 模型吗?
A:当然有可能。请持续关注。
Q:持续学习(continual learning)的进展如何?
A:这是一个很有前景的方向,我们正在积极研究。
来源:新浪科技 查看原文 >>