微模型开发迫在眉睫

崎山小鹿

高性能低功耗的神经网络微模型开发迫在眉睫，一些前沿的大模型训练，每一年对算力需求的增长大概有 4-5 倍。比如 Llama-3.1-405B，对算力的需求较 Llama2.0 提升了 50 倍。IDC 数据也显示，最近几年中国智算的算力复合增长率为 33.9%。随着模型参数每年 10 倍增长，模型的数据集每年达到 50 倍增长，都需要更高性能的存力。

人类的资源是有限的，我们不可能用无限的资源去支撑大模型的训练。


英伟达用150万参数的小模型就实现了对人形机器人的精确控制，这个小小的模型不仅能让机器人模仿人类的动作，像走路、保持平衡、甚至还能灵活控制手脚，更让人震惊的是过去人形机器人在现实世界需要一年的时间的高强度训练才能达到这样的效果，而现在只需要50分钟，重点是这个模型还可以直接零样本迁移到现实世界，无需微调，这意味着人形机器人训练门槛将大幅降低。或许人形机器人走入生活服务人类的时代不再遥远。

金双石科技一直致力于微模型的训练和开发，有兴趣做微模型开发的请和我们联系。