日前，“PatrickStar”派大星开源项目在GitHub上正式发布，这是腾讯微信AI团队与Tencent NLP Oteam联合研发的成果。PatrickStar 为GPT、BERT等超大模型训练过程中经常出现的“GPU内存墙”问题提供了更好的解决方案。
据项目团队介绍，在NLP训练过程中遇到“GPU内存墙”问题时，传统的方法需要增加更多的GPU来解决。采用创新系统设计的PatrickStar，使用了异构训练模式，通过细粒度的方式管理模型数据，进一步突破PTM模型规模的极限。PatrickStar可以充分利用CPU和GPU内存，这样就可以使用更少的GPU来训练更大的模型。减少了对GPU的依赖后，可以用更节能环保的方式让PTM预训练模型惠及到每一位NLP自然语言处理用户。
从目前测试的情况来看，Patrickstar可以使用8个Tesla V100 GPU和240GB GPU内存来训练一个120亿参数的模型，模型规模达到现有微软DeepSpeed Zero-Offload技术的两倍。对于相同尺寸的模型，PatrickStar的性能也更好。经过实测，在不到5000元价位的个人游戏电脑上，可以训练一个7亿参数的GPT模型。Patrickstar的这个表现，意味着即使是NLP个人爱好者，也有了可以自己做NLP训练的可能。
此前的数据表明，使用原有方法做PTM预训练时，由于对机器配置要求高，训练过程中持续高能耗，训练一次万亿级别的PTM往往要耗费154万元人民币。消耗的电能折合碳排放，相当于几十国内小汽车整个寿命周期的碳排放总和。
据PCEVA了解，腾讯团队不仅将PatrickStar派大星项目进行了开源，这个技术也已经参与到了微信搜一搜、微信对话开放平台、小微智能音响等产品研发工作中。腾讯微信AI团队与Tencent NLP Oteam以技术做支撑，助力在产品研发过程中降低对GPU卡硬件的使用数量，提升机器的利用率，减少数据中心的碳排放规模。接下来，微信AI团队也将持续深化开源技术的研发及应用，以创新促进行业发展及生态建设。
CopyRight © 2018-2024 云游碳惠—云南省碳汇自愿交易平台 版权所有，并保留所有权利。
公司地址：云南省昆明高新区科高路1612号火炬大厦3层1号
联系电话: 400-6811-508
1123088691
ICP备案号：:滇ICP备2024032483号 您是访问本站第 1852187 位访客
扫码关注我们
暂时还没有任何用户评论